開源LLEMMA發(fā)布：超越未公開的頂尖模型，可直接應用于工具和定理證明

但LLEMMA的出現(xiàn)改變了這一局面。它不僅在MATH基準測試上創(chuàng)下了新高，甚至超越了某些還未對外公開的頂尖模型，如Minerva。更讓人欣喜的是，LLE...

2023-10-22 標簽：模型語言模型python 1.7k 0

多模態(tài)上下文指令調(diào)優(yōu)數(shù)據(jù)集MIMIC-IT

然而，一個理想的 AI 對話助手應該能夠解決涉及多種模態(tài)的任務。這需要獲得一個多樣化和高質(zhì)量的多模式指令跟隨數(shù)據(jù)集。比如，LLaVAInstruct-1...

2023-06-12 標簽：AI語言模型數(shù)據(jù)集 1.6k 0

一個通用的自適應prompt方法，突破了零樣本學習的瓶頸

為了解決這個問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對LLMs的零樣本學習進行了優(yōu)化...

2023-06-01 標簽：語言模型數(shù)據(jù)集自然語言 1.6k 0

計算機視覺迎來GPT時刻！UC伯克利三巨頭祭出首個純CV大模型！

在損失函數(shù)上，研究者從自然語言社區(qū)汲取靈感，即掩碼 token 建模已經(jīng)「讓位給了」序列自回歸預測方法。一旦圖像、視頻、標注圖像都可以表示為序列，則訓練...

2023-12-05 標簽：圖像計算機視覺語言模型 1.6k 0

大型語言模型與知識圖譜：機遇與挑戰(zhàn)

這對知識表示領(lǐng)域來說是一個巨大的步驟。長時間以來，人們關(guān)注的是明確的知識，例如嵌入在文本中的知識，有時也被稱為非結(jié)構(gòu)化數(shù)據(jù)，以及以結(jié)構(gòu)化形式存在的知識，...

2023-08-24 標簽：語言模型自然語言知識圖譜 1.6k 0

基于檢索的大語言模型簡介

簡介章節(jié)講的是比較基礎(chǔ)的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語言模型（LLM）

2023-11-15 標簽：語言模型LLM 1.6k 0

CPU后端和CUDA后端的執(zhí)行代碼和效果

下面展示一下在 https://github.com/BBuf/RWKV-World-HF-Tokenizer 做的自定義實現(xiàn)的RWKV world t...

2023-10-16 標簽：人工智能語言模型數(shù)據(jù)集 1.5k 0

華為提出Sorted LLaMA：SoFT代替SFT，訓練多合一大語言模型

而這一切的背后，是一項名為Sorted Fine-Tuning（SoFT）的新訓練技術(shù)。SoFT讓我們可以在一個訓練周期內(nèi)產(chǎn)出多個子模型，無需任何額外的...

2023-09-26 標簽：華為模型語言模型 1.5k 0

無監(jiān)督域自適應場景：基于檢索增強的情境學習實現(xiàn)知識遷移

本文對比了多種基線方法，包括無監(jiān)督域自適應的傳統(tǒng)方法（如Pseudo-labeling和對抗訓練）、基于檢索的LM方法（如REALM和RAG）和情境學習...

2023-12-05 標簽：解碼器編碼器語言模型 1.5k 0

怎樣讓PPO訓練更穩(wěn)定？早期人類征服RLHF的馴化經(jīng)驗

盡管魯迅先生曾言：真的強化敢于直面慘淡的結(jié)果，敢于正視崩壞的曲線。但日復一復地開盲盒難免會讓人心臟承受不了，好在前人們留下了寶貴的馴化經(jīng)驗，今天讓我們一...

2023-11-16 標簽：噪聲語言模型LLM 1.5k 0

大語言模型推斷中的批處理效應

隨著開源預訓練大型語言模型（Large Language Model, LLM ）變得更加強大和開放，越來越多的開發(fā)者將大語言模型納入到他們的項目中。其...

2024-01-04 標簽：語言模型機器學習LoRa 1.5k 0

時下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預訓練中表現(xiàn)出的單向性。這些限制了可用于預訓練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標簽：語言模型nlp 1.5k 0