以及為什么 WasmEdge 是 AGI 采用 Rust 的關(guān)鍵路徑!

為什么不選 Python?

今天的 LLM 應(yīng)用程序，包括推理應(yīng)用程序和代理（Agent），大多用 Python 編寫。但這即將發(fā)生變化。Python 對于新一波開發(fā)者來說簡直太慢、太臃腫且不夠輕便。實(shí)際上， Chris Lattner[1]， ?LLVM、Clang和 Swift 的發(fā)明者展示出 Python 可能比編譯型語言慢35000倍——這是他發(fā)明 Mojo[2] 語言的原因，想要替代 Python 。

根據(jù) Chris Lattner 的說法，編譯型語言可以比 Python 快35000倍。

這迫使開發(fā)者將越來越多的應(yīng)用邏輯推送為原生編譯代碼 C 、C++ 和 Rust 。例如，非常熱門的項(xiàng)目 llama.cpp[3]、whisper.cpp[4]和 llama2.c[5] 都是 C 和 C++ 寫的，沒有Python 依賴。

OpenAI 聯(lián)合創(chuàng)始人兼總裁 Greg Brockman 也認(rèn)為 Python 太慢了。

這反過來降低了 Python 開發(fā)者的體驗(yàn)。事實(shí)上，管理云上部署的 Python 安裝已成為一個(gè)重大挑戰(zhàn)。

Wikimedia 的機(jī)器學(xué)習(xí)負(fù)責(zé)人 Chris Albon 甚至說自己很難弄清“現(xiàn)代”Python。

換句話說，Python 不僅非常慢，而且用來開發(fā) LLM 應(yīng)用程序的時(shí)候也非常難用。

Rust!

Python 的挑戰(zhàn)為高性能編譯語言創(chuàng)造了機(jī)會。隨著 Rust 在開發(fā)者社區(qū)對 C 和 C++ ?攻城略地，Elon Musk 指出 Rust 可能是 AGI 時(shí)代的語言。

好好消化一下這個(gè)事實(shí)吧?。p關(guān)：讓水槽進(jìn)來）

Rust 連續(xù)7年被 StackOverflow 評為最受開發(fā)者歡迎的編程語言[9]，其市場份額持續(xù)穩(wěn)步增長。

Rust + Wasm 兩全其美

然而，將 Rust 直接編譯成原生機(jī)器代碼也有其他問題。

安全性。原生二進(jìn)制文件可能會使整個(gè)系統(tǒng)崩潰。

可移植性。原生二進(jìn)制文件特定于底層操作系統(tǒng)和硬件。

性能。由于安全性和可移植性要求，通常需要在 Linux 容器中運(yùn)行原生二進(jìn)制文件。此類容器為程序添加了巨大的啟動(dòng)和運(yùn)行時(shí)開銷，從而顯著降低了速度。

Wasm 作為 Rust 應(yīng)用的領(lǐng)先安全運(yùn)行時(shí)環(huán)境出現(xiàn)，想要解決這些問題。有了云原生優(yōu)化的 Wasm 運(yùn)行時(shí) WasmEdge[10]，開發(fā)者現(xiàn)在可以在 LLM 應(yīng)用程序棧的每一層使用高性能 Rust，作為 Python 的高性能替代方案。

使用 Rust + Wasm 取代 Python 以提高性能，減少占用空間并改善安全性

代理層：網(wǎng)絡(luò)密集型任務(wù)，用于接收網(wǎng)絡(luò)事件、連接數(shù)據(jù)庫和調(diào)用其他 Web 服務(wù)。Rust 和 WasmEdge 提供異步和非阻塞 I/O，以實(shí)現(xiàn)高密度和高性能的代理應(yīng)用。示例：flows.network[11]。

推理層：CPU 密集型任務(wù)，用于將數(shù)據(jù)(如單詞和句子)預(yù)處理為數(shù)字，并將數(shù)字后處理為句子或結(jié)構(gòu)化的 JSON 數(shù)據(jù)。這些函數(shù)可以用 Rust 編寫以實(shí)現(xiàn)最佳性能，并在 WasmEdge 中運(yùn)行以實(shí)現(xiàn)安全性和可移植性。示例：mediapipe-rs[12]。

張量層：從 Wasm 將 GPU 密集型任務(wù)通過 WasmEdge 的 WASI-NN 插件傳遞給原生張量庫(如llama.cpp、PyTorch 和 Tensorflow)。

結(jié)論

Rust 和 Wasm 可以成為 Python 的高性能、開發(fā)者友好的替代選擇。

二者與底層 GPU 張量庫(也是用 C/C++/Rust 編寫的)有更好地集成。

二者在實(shí)現(xiàn)應(yīng)用程序特定的預(yù)處理和后處理數(shù)據(jù)功能方面更高效，這也是推理工作量的絕大部分。

二者在實(shí)現(xiàn)LLM 代理所需要的網(wǎng)絡(luò)密集型和長時(shí)間運(yùn)行的任務(wù)方面更高效。

與 Python 鏡像相比，它們的容器鏡像大小要小得多(幾 MB vs 數(shù)百 MB)。

由于軟件供應(yīng)鏈有限和攻擊面暴露較小，二者比 Python 容器更安全。

與 Python 程序相比，二者更容易安裝和管理依賴項(xiàng)。

關(guān)于?WasmEdge

WasmEdge 是輕量級、安全、高性能、可擴(kuò)展、兼容OCI的軟件容器與運(yùn)行環(huán)境。目前是 CNCF 沙箱項(xiàng)目。WasmEdge 被應(yīng)用在 SaaS、云原生，service mesh、邊緣計(jì)算、邊緣云、微服務(wù)、流數(shù)據(jù)處理等領(lǐng)域。

　　審核編輯：湯梓紅