Buildt 使用 OpenAI 基礎(chǔ)模型已經(jīng)有一段時(shí)間了。這些模型非常強(qiáng)大，關(guān)于這一點(diǎn)，互聯(lián)網(wǎng)上已經(jīng)有了大量的記錄，特別是隨著 ChatGPT 的出現(xiàn)，它的關(guān)注度超過(guò)了之前 GPT-3 的 100 倍。然而，在應(yīng)用這些模型解決相應(yīng)問(wèn)題（代碼庫(kù)搜索、理解和增強(qiáng)）的過(guò)程中，我們發(fā)現(xiàn)了一個(gè)明顯的障礙：延遲和成本。比較大的模型（特別是 davinci 家族）無(wú)疑能產(chǎn)生最高質(zhì)量的輸出，但運(yùn)行起來(lái)也最慢、最昂貴。

要獲得良好的搜索體驗(yàn)，顯然速度就得快。你看谷歌，100 毫秒就可以索引數(shù)百萬(wàn)個(gè)網(wǎng)頁(yè)，代碼庫(kù)搜索也是如此。我們發(fā)現(xiàn)，在單個(gè)搜索中，其中一個(gè)最耗時(shí)的點(diǎn)就是生成輸出的 LLM 層（我們使用 LLM 來(lái)增強(qiáng)搜索，讓你可以搜索代碼是什么，而不是它做什么，例如“找出最慢的遞歸函數(shù)”）。Alex grave 是 Github Copilot 的創(chuàng)建者之一。據(jù)他說(shuō)，每增加 10 毫秒的延遲，完成率就會(huì)下降 1%。這一邏輯也適用于搜索。所以，當(dāng)務(wù)之急是從 davinci 這樣的大型模型轉(zhuǎn)向 ada 和 babbage 這樣的小型模型。

我們的解決方案很簡(jiǎn)單，對(duì)于給定的任務(wù)，由 davinci 生成一個(gè)中等大小的語(yǔ)料庫(kù)，并精心優(yōu)化像 babbage 這樣的模型來(lái)完成相同的任務(wù)。如果操作得當(dāng)，你可以以低 40 倍的成本、低 4-5 倍的延遲獲得幾乎相同的完成率（或至少 90% 的相似性）。

如果你愿意花點(diǎn)時(shí)間，則還可以在循環(huán)中加一個(gè)人：我們最近就做了這樣的事情來(lái)優(yōu)化 babbage 模型，以便能夠識(shí)別代碼的特征，所以我讓 ChatGPT 幫我創(chuàng)建了一個(gè)基本的 Web UI，讓我們可以輕松地審核和改進(jìn) davinci 所的識(shí)別結(jié)果；從根本上說(shuō)，你永遠(yuǎn)無(wú)法從一個(gè)更小的模型那里獲得類(lèi)似的性能，所以讓完成率勝過(guò)你試圖模仿的模型，意味著你至少在訓(xùn)練完成時(shí)就比較接近。

關(guān)于這種技術(shù)，我想的最多的一個(gè)問(wèn)題是：我需要多少樣本？答案恐怕是“視情況而定”。

根據(jù)經(jīng)驗(yàn)，如果你只是想標(biāo)準(zhǔn)化平淡無(wú)奇的輸出格式，那么你可以用幾百個(gè)樣本；如果你是在做邏輯推理，那么你至少需要 1000 個(gè)樣本；如果你在做 DSL 工作，那么你需要幾千個(gè)樣本。樣本大小通常會(huì)是一個(gè)障礙，但有了用更大的模型來(lái)生成合成數(shù)據(jù)集的方法，那突然變得比較容易處理了，特別是當(dāng)這些模型變得越來(lái)越好時(shí)。

這種方法有很多應(yīng)用場(chǎng)景；如果你有一個(gè)提示符，它可以重復(fù)做同樣的工作，那么你就可以使用這項(xiàng)技術(shù)來(lái)加快速度，降低成本。

有人問(wèn)過(guò)我這種方法的維護(hù)問(wèn)題，特別是如果想要更改輸出結(jié)構(gòu)時(shí)會(huì)出現(xiàn)什么情況。我們內(nèi)部構(gòu)建了一個(gè)經(jīng)過(guò)精心優(yōu)化的管道來(lái)自動(dòng)化整個(gè)過(guò)程，其底層是 davinci-003 提示符，然后我們用它來(lái)生成 n 個(gè)合成樣本，格式化后傳遞給 OpenAI 調(diào)優(yōu) API，它會(huì)吐出一個(gè)調(diào)優(yōu)過(guò)的模型。這樣，如果你想更改提示符的輸出，只需一次單擊就可以更新一個(gè)調(diào)優(yōu)過(guò)的模型。

我總是很樂(lè)意談?wù)撨@個(gè)話題，歡迎在 Twitter 上關(guān)注我（@AlistairPullen），我上面描述的所有內(nèi)容都可以在我們的代碼搜索工具 Buildt 中找到。

審核編輯 ：李倩