91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

在算力魔方上本地部署Phi-4模型

jf_23871869 ? 來源:jf_23871869 ? 作者:jf_23871869 ? 2025-01-15 11:05 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

?作者:算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力

前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑》,Llama 3.3 70B模型的發(fā)布,標(biāo)志著開源AI模型在智能水平上的一大飛躍。它不僅達到了之前只有Llama 3.1 405B模型才具備的智能水平,而且還超越了11月發(fā)布的GPT-4o模型。

wKgZPGeHLW-ABC3FAAFm4cCBsoA793.png

本文我們將分享微軟剛剛發(fā)布的Phi-4模型,其模型參數(shù)只有14B,是Llama3.3 70B的五分之一,但性能卻跟Llama 3.3 70B模型差不多,甚至在GPQA和MATH兩項上還超越了Llama3.3 70B!

參考鏈接:https://arxiv.org/pdf/2412.08905

本文將分享Phi-4 14B模型在算力魔方4060版上的部署過程。

一,算力魔方?簡介

算力魔方?是一款可以DIY的迷你主機,采用了抽屜式設(shè)計,后續(xù)組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊,再搭配不同的 IO 模塊可以組成豐富的配置,適應(yīng)不同場景。

性能不夠時,可以升級計算模塊提升算力;IO 接口不匹配時,可以更換 IO 模塊調(diào)整功能,而無需重構(gòu)整個系統(tǒng)。

本文以下所有步驟將在帶有英特爾i7-1265U處理器算力魔方?上完成驗證。

二,安裝Ollama

請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。

wKgZPGeHJcmAGKTfAAPzdFi2bXk106.png

三,運行Phi-4

使用下面的命令完成運行Phi-4:

ollama run phi4
wKgZPGeHJeuAN609AAGomLXNOs0320.png

四,測試Phi-4數(shù)學(xué)能力

輸入下面的數(shù)學(xué)問題,測試Phi-4的數(shù)學(xué)能力:

A farmer has a rectangular field with a length of 2x + 5 meters and a width of x - 3 meters.

Part A: Find the area of the field in terms of x.

Part B: If the area of the field is 150 square meters, determine the value of x.

Part C: Calculate the perimeter of the field.

五,總結(jié)

使用Ollama可以方便快捷的將Phi-4模型本地化部署在算力魔方?上。

如果你有更好的文章,歡迎投稿!

稿件接收郵箱:nami.liu@pasuntech.com

更多精彩內(nèi)容請關(guān)注“算力魔方?”!

?審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3750

    瀏覽量

    52091
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1527

    瀏覽量

    16737
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    魔方2025全年技術(shù)精華文章回顧:智驅(qū)萬物,方寸之間

    年末的鍵盤敲擊聲漸漸稀疏,屏幕滾動的代碼終于安靜下來,回顧過去一年,魔方與萬千開發(fā)者一起,AI浪潮中見證了一個個技術(shù)奇跡從實驗室走向
    的頭像 發(fā)表于 01-05 21:05 ?147次閱讀

    高達 1100 TOPS!內(nèi)置 Jetson AGX Orin 模組的高服務(wù)器

    CSB1-N4AGXOrin最高可配置4個NVIDIAJetsonAGXOrin(64GB)計算節(jié)點,最高1100TOPS(INT8)。支持主流AI大
    的頭像 發(fā)表于 12-17 16:31 ?565次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>高達 1100 TOPS!內(nèi)置 Jetson AGX Orin 模組的高<b class='flag-5'>算</b><b class='flag-5'>力</b>服務(wù)器

    湘軍,讓變成生產(chǎn)

    腦極體
    發(fā)布于 :2025年11月25日 22:56:58

    米爾RK3576部署端側(cè)多模態(tài)多輪對話,6TOPS驅(qū)動30億參數(shù)LLM

    通過硬件優(yōu)化與軟件棧協(xié)同,將視覺編碼、語言推理、對話管理三大核心能力封裝為可落地的工程方案,而本文將聚焦其多輪對話的部署全流程,拆解從模型加載到交互推理的每一個關(guān)鍵環(huán)節(jié)。 RK
    發(fā)表于 09-05 17:25

    科技上線赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型

    模型輕量化部署方案。用戶通過遠程平臺預(yù)置的模型鏡像與AI工具,僅需50%的GPU
    的頭像 發(fā)表于 07-30 21:44 ?898次閱讀

    如何本地部署NVIDIA Cosmos Reason-1-7B模型

    下一步行動。本文將一步步帶你本地服務(wù)器完成該模型部署,并搭建一個直觀的 Web 交互界面,親身體驗前沿 AI 的“思考”過程。
    的頭像 發(fā)表于 07-09 10:17 ?801次閱讀

    基于魔方與PP-OCRv5的OpenVINO智能文檔識別方案

    )團隊最新推出的PP-OCRv5模型精度和效率實現(xiàn)了顯著突破,結(jié)合Intel OpenVINO工具套件的硬件加速能力,能夠為各類文檔處理場景提供更強大的支持。 二,
    的頭像 發(fā)表于 06-12 21:19 ?1632次閱讀
    基于<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>魔方</b>與PP-OCRv5的OpenVINO智能文檔識別方案

    ElfBoard技術(shù)實戰(zhàn)|ELF 2開發(fā)板本地部署DeepSeek大模型的完整指南

    ELF 2開發(fā)板本地部署DeepSeek大模型的完整指南
    的頭像 發(fā)表于 05-16 11:13 ?2542次閱讀
    ElfBoard技術(shù)實戰(zhàn)|ELF 2開發(fā)板<b class='flag-5'>本地</b><b class='flag-5'>部署</b>DeepSeek大<b class='flag-5'>模型</b>的完整指南

    基于魔方的智能文檔信息提取方案

    的進步,使得自動化和智能化的文檔信息提取成為現(xiàn)實。本方案結(jié)合了Intel OpenVINO平臺的性能優(yōu)化優(yōu)勢與百度飛槳(PaddlePaddle)提供的PP-OCRv4模型,旨在開發(fā)一款高性能、高精度的智能文檔處理系統(tǒng)。
    的頭像 發(fā)表于 05-15 10:37 ?637次閱讀
    基于<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>魔方</b>的智能文檔信息提取方案

    DeepSeek R1模型本地部署與產(chǎn)品接入實操

    針對VS680/SL1680系列大芯片,我們的研發(fā)團隊正在研究將蒸餾后的輕量級DeepSeek模型(DeepSeek-R1-Distill-Qwen-1.5B)部署到SOC
    的頭像 發(fā)表于 04-19 16:32 ?754次閱讀
    DeepSeek R1<b class='flag-5'>模型</b><b class='flag-5'>本地</b><b class='flag-5'>部署</b>與產(chǎn)品接入實操

    魔方IO擴展模塊介紹 網(wǎng)絡(luò)篇1

    一,魔方簡介 魔方?AIPC是目前市面上唯一的模塊化迷你電腦,
    的頭像 發(fā)表于 04-09 14:33 ?1033次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>魔方</b>IO擴展模塊介紹 網(wǎng)絡(luò)篇1

    使用OpenVINO優(yōu)化并部署飛槳PP-OCRv4模型

    作者:魔方創(chuàng)始人/英特爾創(chuàng)新大使劉 一,什么是PaddleOCR工具庫? PaddleOCR 旨在打造一套豐富、領(lǐng)先、且實用的 OCR 工具庫,助力開發(fā)者訓(xùn)練出更好的
    的頭像 發(fā)表于 04-03 18:07 ?2575次閱讀
    使用OpenVINO優(yōu)化并<b class='flag-5'>部署</b>飛槳PP-OCRv<b class='flag-5'>4</b><b class='flag-5'>模型</b>

    如何在RAKsmart服務(wù)器實現(xiàn)企業(yè)AI模型部署

    AI模型的訓(xùn)練與部署需要強大的支持、穩(wěn)定的網(wǎng)絡(luò)環(huán)境和專業(yè)的技術(shù)管理。RAKsmart作為全球領(lǐng)先的服務(wù)器托管與云計算服務(wù)提供商,已成為企業(yè)部署
    的頭像 發(fā)表于 03-27 09:46 ?931次閱讀

    依托raksmart服務(wù)器多種系統(tǒng)本地部署deepseek注意事項

    RAKsmart服務(wù)器本地部署DeepSeek時,需根據(jù)不同的操作系統(tǒng)和環(huán)境做好全面適配。以下是關(guān)鍵注意事項及分步指南,主機推薦小編為您整理發(fā)布依托raksmart服務(wù)器
    的頭像 發(fā)表于 03-19 11:25 ?887次閱讀

    MAC mini4安裝Ollama、Chatbox及模型交互指南

    作者:魔方創(chuàng)始人/英特爾創(chuàng)新大使劉 一,簡介 本文將指導(dǎo)您如何在MAC mini4安裝O
    的頭像 發(fā)表于 03-11 17:17 ?1619次閱讀
    <b class='flag-5'>在</b>MAC mini<b class='flag-5'>4</b><b class='flag-5'>上</b>安裝Ollama、Chatbox及<b class='flag-5'>模型</b>交互指南