大型語言模型有哪些用途？大型語言模型如何運(yùn)作呢？

大型語言模型能識(shí)別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語言模型GPTChatGPT 9.5k 0

從ChatGPT看知識(shí)管理及知識(shí)圖譜的發(fā)展

知識(shí)管理涉及到用于在組織中捕獲、存儲(chǔ)和共享知識(shí)的流程和技術(shù)。在聊天機(jī)器人設(shè)計(jì)的背景下，知識(shí)管理可以幫助確保聊天機(jī)器人能夠訪問廣泛的相關(guān)信息，并可以為用戶...

2023-03-03 標(biāo)簽：語言模型知識(shí)管理聊天機(jī)器人 2.6k 0

使用BLIP-2 零樣本“圖生文”

現(xiàn)代計(jì)算機(jī)視覺和自然語言模型在能力越來越強(qiáng)大的同時(shí)，模型尺寸也隨之顯著增大。由于當(dāng)前進(jìn)行一次單模態(tài)模型的預(yù)訓(xùn)練既耗費(fèi)資源又昂貴，因此端到端視覺語言預(yù)訓(xùn)練...

2023-03-03 標(biāo)簽：編碼器計(jì)算機(jī)視覺語言模型 2.7k 0

SimANS：簡單有效的困惑負(fù)樣本采樣方法

為訓(xùn)練該稠密檢索模型，已有方法通?；谝粚?duì)比學(xué)習(xí)訓(xùn)練目標(biāo)，即拉近語義一致的Query和Document的表示（Positive），并推遠(yuǎn)語義無關(guān)的Doc...

2023-03-03 標(biāo)簽：參數(shù)語言模型數(shù)據(jù)集 2.2k 0

LLaMA論文研讀：小參數(shù)+大數(shù)據(jù)的開放、高效基礎(chǔ)語言模型閱讀筆記

這些努力都是基于這樣的假設(shè)：更多的參數(shù)會(huì)帶來更好的性能。然而，Hoffmann等人（2022）最近的工作表明，在給定的計(jì)算預(yù)算下，最好的性能不是由最大的...

2023-03-03 標(biāo)簽：語言模型數(shù)據(jù)集大數(shù)據(jù) 2.9k 0

理解什么是NLP Subword算法

Subword算法如今已經(jīng)成為了一個(gè)重要的NLP模型性能提升方法。自從2018年BERT橫空出世橫掃NLP界各大排行榜之后，各路預(yù)訓(xùn)練語言模型如同雨后春...

2023-02-22 標(biāo)簽：語言模型nlp 1.1k 0

解讀ChatGPT背后的技術(shù)重點(diǎn)：RLHF、IFT、CoT、紅藍(lán)對(duì)抗

我們先來看看基于語言模型的會(huì)話代理的全景。ChatGPT 并非首創(chuàng)，事實(shí)上很多組織在 OpenAI 之前就發(fā)布了自己的語言模型對(duì)話代理 (dialog ...

2023-02-09 標(biāo)簽：語言模型OpenAIChatGPT 3k 0

英偉達(dá)耗費(fèi)64個(gè)A100訓(xùn)練StyleGAN-T！

有趣的是，2014 年，由 Goodfellow 等人提出的生成對(duì)抗網(wǎng)絡(luò)（GAN），在生成任務(wù)中并沒有大放異彩，正當(dāng)大家以為 GAN 在生成方面已經(jīng)不行...

2023-02-07 標(biāo)簽：編碼器語言模型英偉達(dá) 1.5k 0

有了Fine-tune-CoT方法，小模型也能做推理，完美逆襲大模型

如果給語言模型生成一些 prompting，它還向人們展示了其解決復(fù)雜任務(wù)的能力。標(biāo)準(zhǔn) prompting 方法，即為使用少樣本的問答對(duì)或零樣本的指令的...

2023-02-02 標(biāo)簽：模型語言模型大模型 1.7k 0

基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究

sparse retrieval：傳統(tǒng)的基于字或基于詞去建立倒排索引，同時(shí)基于此去構(gòu)建很多查詢理解的一系列的能力，包括一些文本相關(guān)性排序等；

2023-02-01 標(biāo)簽：語言模型自然語言知識(shí)圖譜 3k 0

摘要模型理解或捕獲輸入文本的要點(diǎn)

Abstract Intro ? 盡管基于預(yù)訓(xùn)練的語言模型的摘要取得了成功，但一個(gè)尚未解決的問題是生成的摘要并不總是忠實(shí)于輸入文檔。造成不忠實(shí)問題的原因...

2022-11-01 標(biāo)簽：編碼器語言模型數(shù)據(jù)集 1.7k 0

一種基于prompt和對(duì)比學(xué)習(xí)的句子表征學(xué)習(xí)模型

我們發(fā)現(xiàn)prompt，再給定不同的template時(shí)可以生成不同方面的positive pair，且避免embedding bias。

2022-10-25 標(biāo)簽：語言模型 1.5k 0

文本噪聲標(biāo)簽在預(yù)訓(xùn)練語言模型（PLMs）上的特性

數(shù)據(jù)的標(biāo)簽錯(cuò)誤隨處可見，如何在噪聲數(shù)據(jù)集上學(xué)習(xí)到一個(gè)好的分類器，是很多研究者探索的話題。在 Learning With Noisy Labels 這個(gè)大...

2022-10-12 標(biāo)簽：噪聲語言模型數(shù)據(jù)集 1.7k 0

基于訓(xùn)練階段使用知識(shí)庫+KNN檢索相關(guān)信息輔助學(xué)習(xí)方法

上面收的引入知識(shí)庫+KNN的方法，緩解了模型參數(shù)需要強(qiáng)記憶訓(xùn)練樣本的問題。此外，文中還通過KNN檢索結(jié)果來指導(dǎo)模型的學(xué)習(xí)過程。

2022-10-09 標(biāo)簽：數(shù)據(jù)KNN語言模型 2.5k 0