“Writer”利用 NVIDIA AI 軟件構(gòu)建的大語(yǔ)言模型（LLM）幫助數(shù)百家公司創(chuàng)建內(nèi)容。

機(jī)器學(xué)習(xí)幫助 Waseem Alshikh 在大學(xué)里讀完了課本。如今，他正在利用生成式 AI 為數(shù)百家公司創(chuàng)建內(nèi)容。

在敘利亞出生和長(zhǎng)大的 Alshikh 不會(huì)說(shuō)英語(yǔ)，但他精通軟件。他在黎巴嫩上大學(xué)期間，將這一天賦發(fā)揮得淋漓盡致。

他回憶道：“第一天他們就給了我一摞課本，每本都有上千頁(yè)厚，而且全是用英語(yǔ)寫的?！?/p>

于是，他編寫了一個(gè)粗糙但有效的統(tǒng)計(jì)分類器程序來(lái)生成這些課本的內(nèi)容摘要，然后進(jìn)行學(xué)習(xí)。

從提出概念到創(chuàng)業(yè)

2014 年，他向在迪拜工作時(shí)結(jié)識(shí)的企業(yè)家 May Habib 分享了自己的故事。他們一拍即合，決定創(chuàng)辦一家初創(chuàng)企業(yè)，幫助總是要求“事半功倍”的營(yíng)銷部門利用機(jī)器學(xué)習(xí)快速創(chuàng)建網(wǎng)頁(yè)、博客、廣告等內(nèi)容。

Alshikh 在該初創(chuàng)企業(yè)擔(dān)任首席技術(shù)官。他表示：“最初我們無(wú)法實(shí)現(xiàn)這種技術(shù)。直到 Transformer 模型發(fā)布后，我們才基于此構(gòu)建了這種技術(shù)?！?/p>

“我們找了幾位工程師，花了近六個(gè)月的時(shí)間建立了我們的第一個(gè)模型。這是一個(gè)幾乎無(wú)法運(yùn)行的神經(jīng)網(wǎng)絡(luò)，擁有約 1.28 億個(gè)參數(shù)?！眳?shù)數(shù)量是衡量 AI 模型能力的常用指標(biāo)。

一路走來(lái)，這家年輕的公司逐漸贏得了一些業(yè)務(wù)，更名為 Writer，并與 NVIDIA 建立了聯(lián)系。

駛?cè)肟燔嚨?/p>

他表示：“在開始使用NVIDIA NeMo后，我們就能夠建立行業(yè)級(jí)模型了，參數(shù)量從 30 億個(gè)增加到 200 億個(gè)，再到現(xiàn)在的 400 億個(gè)，而且還在不斷擴(kuò)大?！?/p>

NeMo 是一個(gè)可以幫助企業(yè)整理其訓(xùn)練數(shù)據(jù)集、構(gòu)建和定制大語(yǔ)言模型（LLM），并在生產(chǎn)中大規(guī)模運(yùn)行這些模型的應(yīng)用框架。從韓國(guó)到瑞典，世界各地的企業(yè)都在使用它來(lái)定制本地語(yǔ)言和行業(yè)的大語(yǔ)言模型（LLM）。

Alshikh 表示：“在使用 NeMo 之前，我們需要四個(gè)半月的時(shí)間來(lái)構(gòu)建一個(gè)新的十億級(jí)參數(shù)模型。而現(xiàn)在我們只需要 16 天就能完成，這真令人難以置信。”

模型帶來(lái)機(jī)遇

今年上半年，這家初創(chuàng)企業(yè)不到 20 名的 AI 工程師團(tuán)隊(duì)利用 NeMo 開發(fā)了 10 個(gè)模型，每個(gè)模型都有超過(guò) 300 億個(gè)或更多的參數(shù)。

這帶來(lái)了巨大的機(jī)遇?，F(xiàn)在，已經(jīng)有數(shù)百家企業(yè)在使用 NeMo 為金融、醫(yī)療、零售和其他垂直市場(chǎng)定制的 Writer 模型。

▲ Writer 的 Recap 工具可根據(jù)采訪或活動(dòng)錄音制作書面摘要

這家初創(chuàng)企業(yè)的客戶包括德勤、歐萊雅、財(cái)捷、優(yōu)步等家喻戶曉的 500 強(qiáng)企業(yè)。

Writer 使用 NeMo 取得的成功僅僅是故事的開始。目前，已經(jīng)有數(shù)十家其他公司下載了 NeMo。

這款包含在NVIDIA AI Enterprise中的軟件將很快可供使用。NVIDIA AI Enterprise 是一套專為加速生成式 AI 工作負(fù)載而優(yōu)化，并以企業(yè)級(jí)支持、安全性和應(yīng)用編程接口穩(wěn)定性為保障的全棧式軟件。

▲ Writer 為企業(yè)用戶提供全棧式平臺(tái)

每月一萬(wàn)億次 API 調(diào)用

一些客戶在自己的系統(tǒng)或云服務(wù)上運(yùn)行 Writer 的模型，另一些客戶則要求 Writer 托管模型或者使用 Writer 的 API。

Alshikh 表示：“我們的云基礎(chǔ)設(shè)施基本上由兩個(gè)人管理，每月托管的 API 調(diào)用達(dá)萬(wàn)億次，每秒生成 90,000 個(gè)單詞。我們提供的高質(zhì)量模型可以與團(tuán)隊(duì)規(guī)模更大、預(yù)算更多的公司所提供的產(chǎn)品相媲美?！?/p>

▲NVIDIA NeMo 支持從數(shù)據(jù)整理一直到推理的整個(gè)端到端生成式 AI 流程

Writer 使用與 NeMo 打包在一起的 Triton 推理服務(wù)器為其客戶在生產(chǎn)中運(yùn)行模型。Alshikh 表示，許多運(yùn)行 LLM 的公司都在使用 Triton。與其他程序相比，Triton 可實(shí)現(xiàn)更低的延遲和更高的吞吐量。

“這意味著你可以將運(yùn)行一些服務(wù)的成本從 10 萬(wàn)美元減少到 2 萬(wàn)美元，這樣就能夠投入更多資金構(gòu)建有意義的功能。” Alshikh 說(shuō)道。