此次，Claude 2 除了一大波能力上的升級，更重要的是大家都可以用了。

今日，那個被很多網(wǎng)友稱為「ChatGPT 最強競品」的人工智能系統(tǒng) Claude 迎來了版本大更新。 Claude 2 正式發(fā)布！ 據(jù)介紹，Claude 2 在編寫代碼、分析文本、數(shù)學(xué)推理等方面的能力得到加強，并且可以產(chǎn)生更長的響應(yīng)。 更重要的是，用戶可以在新的 beta 網(wǎng)站上免費試用，并且 Claude 2 商用 API 的價格與 1.3 版本相同。

機器之心在此前的文章中多次介紹過 Claude，它是由 OpenAI 離職人員創(chuàng)建的 Anthropic 公司打造的。在 ChatGPT 發(fā)布兩個月后，該公司就迅速開發(fā)出了 Claude，可以完成摘要總結(jié)、搜索、協(xié)助創(chuàng)作、問答、編碼等任務(wù)。 之后持續(xù)升級，五月份通過 100K Context Windows 將 Claude 的上下文窗口從 9k token 擴展到了 100k。 現(xiàn)在終于迎來了大版本更新。Anthropic 表示，Claude 2 基于此前從用戶那里獲得的反饋建議進行改進。 接下來看各方面能力細節(jié)。 Claude 2 在哪些方面得到了加強？ 總的來說，Claude 2 注重提高以下能力：

Anthropic 致力于提高 Claude 作為編碼助理的能力，Claude 2 在編碼基準和人類反饋評估方面性能顯著提升。

長上下文（long-context）模型對于處理長文檔、少量 prompt 以及使用復(fù)雜指令和規(guī)范進行控制特別有用。Claude 的上下文窗口從 9K token 擴展到了 100K token（Claude 2 已經(jīng)擴展到 200K token，但目前發(fā)布版本僅支持 100K token）。

以前的模型經(jīng)過訓(xùn)練可以編寫相當短的回答，但許多用戶要求更長的輸出。Claude 2 經(jīng)過訓(xùn)練，可以生成最多 4000 個 token 的連貫文檔，相當于大約 3000 個單詞。

Claude 通常用于將長而復(fù)雜的自然語言文檔轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)格式。Claude 2 經(jīng)過訓(xùn)練，可以更好地生成 JSON、XML、YAML、代碼和 Markdown 格式的正確輸出。

雖然 Claude 的訓(xùn)練數(shù)據(jù)仍然主要是英語，但 Claude 2 的訓(xùn)練數(shù)據(jù)中非英語數(shù)據(jù)比例已經(jīng)明顯增加。

Claude 2 的訓(xùn)練數(shù)據(jù)包括 2022 年和 2023 年初更新的數(shù)據(jù)。這意味著它知道最近發(fā)生的事件，但它仍然可能會產(chǎn)生混淆。

該研究進行了一系列評估實驗來測試 Claude 2 的性能水平，包括對齊評估和能力評估兩部分。 在模型對齊方面，該研究針對大模型的三個關(guān)鍵要求做了具體評估，包括：遵循指令、生成內(nèi)容有用（helpfulness）；生成內(nèi)容無害（harmlessness）；生成內(nèi)容準確、真實（honesty）。 人類反饋評估 大模型在生成過程中應(yīng)該遵循人類提供的指令，這將讓生成結(jié)果符合要求、實際有用。針對這一點，該研究對 Claude 2、Claude 1.3 和 Claude Instant 1.1 進行了實驗評估，并使用經(jīng)典的對弈水平評估指標 ——Elo 分數(shù)，幾個模型的評估結(jié)果如下圖 1 所示：

偏見評估 Bias Benchmark for QA（BBQ）是用于評估模型對人群偏見的常用基準。該研究在 BBQ 基準上進行實驗評估，幾種模型的實驗結(jié)果如下圖 2 所示：

下圖 3 顯示了在消除歧義的語境下幾種模型回答 BBQ 基準中問題的準確性。值得注意的是，Claude 模型的準確率會比 Helpful-Only 模型低是因為模型會拒絕回答一些存在偏見的問題。

事實性評估 大模型有時會生成虛假混亂的信息，因此測試模型生成內(nèi)容的事實性非常重要。TruthfulQA 是一個用于評估語言模型在對抗性環(huán)境中輸出的準確性和真實性的基準，幾種模型的測試結(jié)果如下圖 4 所示：

總的來說，Claude 2 在 HHH（在有用性（helpfulness）、無害性（harmlessness）、事實性（honesty）、）評估上的總體表現(xiàn)如下圖 6 所示：

在能力評估方面，該研究針對多語言翻譯任務(wù)、上下文窗口、標準基準評估、資格水平考試幾個方面對 Claude 2 展開評估實驗。 多語言翻譯 該研究選擇涵蓋 200 多種語言的翻譯基準 Flores 200 來評估 Claude 2 的多語言翻譯能力，其中包括低資源語言。Claude 2、Claude 1.3 和 Claude Instant 1.1 的評估結(jié)果如下圖 7 所示：

上下文窗口 今年早些時候，研究團隊將 Claude 的上下文窗口從 9K token 擴展到了 100K token，現(xiàn)在 Claude 2 進一步擴展了上下文窗口， 達到 200K token，相當于約 150000 個單詞。 為了證明 Claude 2 會實際使用完整的上下文，該研究測量了每個 token 位置的損失，平均超過 1000 個長文檔，如下圖 8 所示：

不過，研究團隊表示目前發(fā)布的版本僅支持 100K token 的上下文窗口，完整的上下文窗口將會集成到他們的產(chǎn)品中。 標準基準評估 該研究在幾個標準基準上評估測試了 Claude 2、Claude Instant 1.1 和 Claude 1.3，包括用于 python 函數(shù)合成的 Codex HumanEval、用于解決小學(xué)數(shù)學(xué)問題的 GSM8k、用于多學(xué)科問答的 MMLU、針對長故事問答的 QuALITY、用于科學(xué)問題的 ARC-Challenge、用于閱讀理解的 TriviaQA 和用于中學(xué)水平閱讀理解與推理的 RACE-H，具體的評估結(jié)果如下表所示：

值得注意的是，Claude 2 生成代碼的能力有了明顯的提升，在 Codex HumanEval 上的得分從 56% 上升到 71.2%。 資格水平考試 該研究還用幾個常見資格水平考試的題目測試了 Claude 2 的實際能力。 首先，Claude 2 在美國律師資格考試（Bar Exam）的多項選擇題測試中得分率為 76.5%，高于 Claude 1.3 的 73.0%。

其次，研究團隊還用美國研究生入學(xué)考試（GRE）測試了 Claude 2 的能力水平，Claude 2 在 GRE 閱讀和寫作考試中的得分高于 90%，在定量推理方面與達到了參加 GRE 考試的考生的中位數(shù)水平。

最后，該研究還在美國醫(yī)師執(zhí)照考試（USMLE）題目上測試了 Claude 2：

Anthropic 表示，人工智能寫作平臺 Jasper 和代碼導(dǎo)航工具 Sourcegraph 等公司已開始將 Claude 2 納入其運營中。 官方示例及試用體驗 我們先看 Anthropic 提供的一些官方示例。 1、編碼能力：為靜態(tài)地圖添加交互式數(shù)據(jù)。 2、文本處理能力：總結(jié)文檔、輸出表格。這里 Claude 2 用上了 100K token 文本處理功能，可以在 prompt 窗口上傳幾百頁的文檔。 除了以上，機器之心也嘗試了一些文本分析、數(shù)學(xué)推理和編寫代碼方面的示例。

試用地址：http://claude.ai 首先讓 Claude 2 以目錄形式總結(jié)一下「Claude 2 技術(shù)文檔」的要點，總結(jié)得非常詳細，對我們寫這篇文章有幫助。

再來兩道數(shù)學(xué)推理題，Claude 2 只用一次就能搞定。

最后測一些代碼題，生成、檢查和補全代碼都不在話下。

不過，Claude 2 仍不具備生成圖片的多模態(tài)能力。