?作者:算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力
前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑》,Llama 3.3 70B模型的發(fā)布,標(biāo)志著開源AI模型在智能水平上的一大飛躍。它不僅達到了之前只有Llama 3.1 405B模型才具備的智能水平,而且還超越了11月發(fā)布的GPT-4o模型。

本文我們將分享微軟剛剛發(fā)布的Phi-4模型,其模型參數(shù)只有14B,是Llama3.3 70B的五分之一,但性能卻跟Llama 3.3 70B模型差不多,甚至在GPQA和MATH兩項上還超越了Llama3.3 70B!
參考鏈接:https://arxiv.org/pdf/2412.08905
本文將分享Phi-4 14B模型在算力魔方4060版上的部署過程。
一,算力魔方?簡介
算力魔方?是一款可以DIY的迷你主機,采用了抽屜式設(shè)計,后續(xù)組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊,再搭配不同的 IO 模塊可以組成豐富的配置,適應(yīng)不同場景。
性能不夠時,可以升級計算模塊提升算力;IO 接口不匹配時,可以更換 IO 模塊調(diào)整功能,而無需重構(gòu)整個系統(tǒng)。
本文以下所有步驟將在帶有英特爾i7-1265U處理器的算力魔方?上完成驗證。
二,安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。

三,運行Phi-4
使用下面的命令完成運行Phi-4:
ollama run phi4

四,測試Phi-4數(shù)學(xué)能力
輸入下面的數(shù)學(xué)問題,測試Phi-4的數(shù)學(xué)能力:
A farmer has a rectangular field with a length of 2x + 5 meters and a width of x - 3 meters.
Part A: Find the area of the field in terms of x.
Part B: If the area of the field is 150 square meters, determine the value of x.
Part C: Calculate the perimeter of the field.
五,總結(jié)
使用Ollama可以方便快捷的將Phi-4模型本地化部署在算力魔方?上。
如果你有更好的文章,歡迎投稿!
稿件接收郵箱:nami.liu@pasuntech.com
更多精彩內(nèi)容請關(guān)注“算力魔方?”!
?審核編輯 黃宇
-
模型
+關(guān)注
關(guān)注
1文章
3750瀏覽量
52091 -
算力
+關(guān)注
關(guān)注
2文章
1527瀏覽量
16737
發(fā)布評論請先 登錄
算力魔方2025全年技術(shù)精華文章回顧:智驅(qū)萬物,方寸之間
算力高達 1100 TOPS!內(nèi)置 Jetson AGX Orin 模組的高算力服務(wù)器
米爾RK3576部署端側(cè)多模態(tài)多輪對話,6TOPS算力驅(qū)動30億參數(shù)LLM
積算科技上線赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型算力
如何本地部署NVIDIA Cosmos Reason-1-7B模型
基于算力魔方與PP-OCRv5的OpenVINO智能文檔識別方案
基于算力魔方的智能文檔信息提取方案
DeepSeek R1模型本地部署與產(chǎn)品接入實操
使用OpenVINO優(yōu)化并部署飛槳PP-OCRv4模型
如何在RAKsmart服務(wù)器上實現(xiàn)企業(yè)AI模型部署
依托raksmart服務(wù)器在多種系統(tǒng)上本地部署deepseek注意事項
在MAC mini4上安裝Ollama、Chatbox及模型交互指南
在算力魔方上本地部署Phi-4模型
評論