各種大語(yǔ)言模型是徹底被解封了

基礎(chǔ) LLM 基本信息表，GPT-style 表示 decoder-only 的自回歸語(yǔ)言模型，T5-style 表示 encoder-decoder ...

2023-04-20 標(biāo)簽：模型語(yǔ)言模型ChatGPT 2.7k 0

多語(yǔ)言AI的現(xiàn)狀

同樣的，使用這些低資源語(yǔ)言的研究人員在ML和NLP社區(qū)中的代表性同樣不足。例如，雖然我們可以觀察到隸屬于非洲大學(xué)的作者數(shù)量在頂級(jí)機(jī)器學(xué)習(xí)（ML）和NLP...

2023-04-20 標(biāo)簽：AI語(yǔ)言模型自然語(yǔ)言處理 1.4k 0

后ChatGPT時(shí)代NLP的下一個(gè)方向：增強(qiáng)式大規(guī)模語(yǔ)言模型

Visual ChatGPT 是一種智能交互系統(tǒng)，它將不同的視覺(jué)基礎(chǔ)模型與 ChatGPT 相結(jié)合，使得用戶可以通過(guò)發(fā)送語(yǔ)言和圖像與 AI 系統(tǒng)進(jìn)行交互...

2023-04-20 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集ChatGPT 1.5k 0

Auto-GPT是如何工作的？

我們每分配一個(gè)任務(wù)，Auto-GPT 都會(huì)給出一個(gè)相應(yīng)的解決計(jì)劃。比如，需要瀏覽互聯(lián)網(wǎng)或使用新數(shù)據(jù)，它便會(huì)調(diào)整其策略，直到任務(wù)完成。這就像擁有一個(gè)能處理...

2023-04-19 標(biāo)簽：語(yǔ)言模型智能體ChatGPT 1.9k 0

ChatGPT的朋友們：大語(yǔ)言模型經(jīng)典論文

本節(jié)目標(biāo)是通過(guò)OpenAI系列論文閱讀細(xì)窺ChatGPT的主要原理，其先進(jìn)的工作脈絡(luò)可以概括為下圖。從依賴往上追溯需要了解Codex 和 instruc...

2023-04-11 標(biāo)簽：語(yǔ)言模型深度學(xué)習(xí)ChatGPT 2.8k 0

In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開(kāi)其奧秘

In-context learning允許用戶為新用例快速構(gòu)建模型，而無(wú)需為每個(gè)任務(wù)微調(diào)和存儲(chǔ)新參數(shù)。它通常只需要很少的訓(xùn)練示例就可以使模型正常工作，而...

2023-04-11 標(biāo)簽：貝葉斯語(yǔ)言模型自然語(yǔ)言 2.4k 0

哈工大南洋理工提出全球首個(gè)「多模態(tài)DeepFake檢測(cè)定位」模型：讓AIGC偽造無(wú)處可藏

具體而言，在多模態(tài)媒體篡改中，各類新聞報(bào)道的圖片中重要人物的人臉（如圖 1 中法國(guó)總統(tǒng)人臉）被替換，文字中關(guān)鍵短語(yǔ)或者單詞被篡改（如圖 1 中正面短語(yǔ)「...

2023-04-11 標(biāo)簽：互聯(lián)網(wǎng)語(yǔ)言模型圖像檢測(cè) 1.9k 0

有哪些省內(nèi)存的大語(yǔ)言模型訓(xùn)練/微調(diào)/推理方法？

首先，我們需要了解如何根據(jù)參數(shù)量估計(jì)模型大致所需的 RAM，這在實(shí)踐中有很重要的參考意義。我們需要通過(guò)估算設(shè)置 batch_size，設(shè)置模型精度，選擇...

2023-04-10 標(biāo)簽：RAM參數(shù)語(yǔ)言模型 2.8k 0

基于預(yù)訓(xùn)練語(yǔ)言模型設(shè)計(jì)了一套統(tǒng)一的模型架構(gòu)

進(jìn)一步，本文研究了在更依賴 KG 的知識(shí)庫(kù)問(wèn)答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推理兩階段，先從大規(guī)模知識(shí)圖譜上檢索問(wèn)題相關(guān)的小子圖，...

2023-04-07 標(biāo)簽：PLM語(yǔ)言模型數(shù)據(jù)集 1.5k 0

Firefly(流螢): 中文對(duì)話式大語(yǔ)言模型

Bloom是個(gè)多語(yǔ)言模型，由于需要兼容多語(yǔ)言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會(huì)被用到。我們通過(guò)刪減冗余的詞表，從多語(yǔ)言模型中提取常用...

2023-04-07 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集Firefly 8.5k 0

大型語(yǔ)言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開(kāi)來(lái)的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語(yǔ)言模型nlp 1.7k 0

重新審視Prompt優(yōu)化問(wèn)題，預(yù)測(cè)偏差讓語(yǔ)言模型上下文學(xué)習(xí)更強(qiáng)

Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯度的優(yōu)化來(lái)調(diào)整這些 embeddings。然而，這些...

2023-04-03 標(biāo)簽：語(yǔ)言模型 1.2k 0

ChatGPT開(kāi)始聯(lián)網(wǎng)，最后的封印解除了

OpenAI 的解決方案是用第三方插件作為橋梁，讓 AI 在較安全的環(huán)境下「看」外界數(shù)據(jù)。昨天該機(jī)構(gòu)開(kāi)放了第一批 ChatGPT 插件名單。這批插件由 ...

2023-03-27 標(biāo)簽：語(yǔ)言模型OpenAIChatGPT 1.4k 0

語(yǔ)言模型性能評(píng)估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集

零樣本學(xué)習(xí)是AI識(shí)別方法之一。簡(jiǎn)單來(lái)說(shuō)就是識(shí)別從未見(jiàn)過(guò)的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類別， 還可以對(duì)于來(lái)自未見(jiàn)過(guò)的類別的數(shù)...

2023-03-27 標(biāo)簽：分類器語(yǔ)言模型數(shù)據(jù)集 2.9k 0

Recursive prompting增強(qiáng)語(yǔ)言模型方案

無(wú)監(jiān)督問(wèn)題分解，將原問(wèn)題分解為多個(gè)相對(duì)簡(jiǎn)單的子問(wèn)題。這里需要訓(xùn)練一個(gè)分解模型，用于將復(fù)雜問(wèn)題分解成多個(gè)子問(wèn)題。

2023-03-23 標(biāo)簽：語(yǔ)言模型無(wú)監(jiān)督學(xué)習(xí) 653 0

語(yǔ)言模型GPT-4在北京高考題目上的測(cè)試結(jié)果

計(jì)算符號(hào)的表示。針對(duì)數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（如， ）都不影響GPT-4的理解。為了統(tǒng)一，我們都...

2023-03-22 標(biāo)簽：電荷語(yǔ)言模型GPT 2.1k 0

ChatGPT開(kāi)源項(xiàng)目匯總表格

CarperAI 是EleutherAI研究小組的一個(gè)新實(shí)驗(yàn)室，其任務(wù)是“通過(guò)強(qiáng)化學(xué)習(xí)提高大型語(yǔ)言模型 (LLM) 的性能和安全性?！?CarperAI...

2023-03-22 標(biāo)簽：開(kāi)源語(yǔ)言模型ChatGPT 2.7k 0

如何利用大規(guī)模語(yǔ)言模型將自然語(yǔ)言問(wèn)題轉(zhuǎn)化為SQL語(yǔ)句？

有的工作嘗試引出中間推理步驟，通過(guò)將復(fù)雜問(wèn)題顯示分解為多個(gè)子問(wèn)題，從而以分而治之的方式來(lái)解決。

2023-03-22 標(biāo)簽：SQL語(yǔ)言模型SQL語(yǔ)句 8.1k 0

最全ChatGPT技術(shù)匯總

ChatGPT的強(qiáng)大能力是顯而易見(jiàn)的，但對(duì)于人工智能領(lǐng)域不太熟悉的人，對(duì)這種黑盒的技術(shù)仍然會(huì)擔(dān)憂或者不信任?？謶滞ǔ?lái)自于不了解，因此本文將為大家全面剖...

2023-03-22 標(biāo)簽：人工智能語(yǔ)言模型ChatGPT 5k 0

ELMER: 高效強(qiáng)大的非自回歸預(yù)訓(xùn)練文本生成模型

每個(gè)單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也使得自回歸模型難以并行化。目前大部分預(yù)訓(xùn)練生成模型均...

2023-03-13 標(biāo)簽：模型語(yǔ)言模型聊天機(jī)器人 2.4k 0