在全球人工智能技術(shù)飛速發(fā)展的今天，模型的快速迭代與高效部署成為各大科技企業(yè)競(jìng)相追逐的焦點(diǎn)。華為DCS AI全棧解決方案中的重要產(chǎn)品—ModelEngine AI平臺(tái)，全面支持DeepSeek大模型R1&V3和蒸餾系列模型的本地部署與優(yōu)化，加速客戶AI應(yīng)用快速落地。

ModelEngine作為大模型訓(xùn)練、推理和應(yīng)用開(kāi)發(fā)的AI平臺(tái)，提供從數(shù)據(jù)預(yù)處理到模型訓(xùn)練、優(yōu)化及部署的一站式服務(wù)。此次ModelEngine基于昇騰AI芯片，通過(guò)推理框架優(yōu)化和MoE存算協(xié)同，提供動(dòng)態(tài)換入換出和全局統(tǒng)一緩存，實(shí)現(xiàn)推理高并發(fā)和低時(shí)延，用戶通過(guò)ModelEngine體驗(yàn)DeepSeek更加快速高效的推理能力。

靈活部署：ModelEngine全面支持DeepSeek系列模型R1&V3 671B以及蒸餾系列模型，開(kāi)發(fā)者可通過(guò)ModelEngine實(shí)現(xiàn)“一鍵部署”，省去硬件選型、兼容性驗(yàn)證和環(huán)境配置等繁瑣步驟，大幅降低企業(yè)AI應(yīng)用門檻。此外，ModelEngine通過(guò)其高度的開(kāi)放性和模塊化設(shè)計(jì)，極大地縮短了DeepSeek的本地部署時(shí)間。

企業(yè)級(jí)穩(wěn)定性：ModelEngine提供負(fù)載均衡、模型安全接入、多用戶配額管理等高階特性，支持大規(guī)模生產(chǎn)環(huán)境下的穩(wěn)定運(yùn)行。某證券公司引入DCS AI全棧解決方案后，運(yùn)維成本降低42%。

DCS AI全棧解決方案近期將上線DeepSeek體驗(yàn)環(huán)境，敬請(qǐng)期待。

下面以DeepSeek-R1為例，基于ModelEngine 3步快速完成部署模型

1. 登錄ModelEngine模型管理頁(yè)面，上傳DeepSeek-R1 FP8權(quán)重，然后進(jìn)行模型權(quán)重格式轉(zhuǎn)換，將FP8精度模型權(quán)重轉(zhuǎn)換為BF16精度模型權(quán)重；

2. 在模型服務(wù)頁(yè)面，選擇BF16精度的模型權(quán)重版本，下發(fā)推理服務(wù)，啟動(dòng)任務(wù)部署；

3. ModelEngine使用MindIE推理框架啟動(dòng)DeepSeek-R1推理服務(wù)后，支持OpenAI API 調(diào)用風(fēng)格的推理服務(wù)接口和訪問(wèn)方式；

4. ModelEngine 啟動(dòng) DeepSeek-R1 推理服務(wù)后，平臺(tái)支持 OpenAI API 調(diào)用風(fēng)格的推理服務(wù)接口和訪問(wèn)方式，用戶可以將該 API 集成到對(duì)話、RAG 以及 Agent 應(yīng)用。

到這里，基于ModelEngine私有化本地部署的DeepSeek-R1完整版推理服務(wù)API已經(jīng)就緒了，可以將推理服務(wù)API集成到對(duì)話應(yīng)用、RAG或者Agent應(yīng)用中，在保證數(shù)據(jù)安全的前提下，讓DeepSeek-R1媲美世界頭部頂流閉源大模型服務(wù)智能的能力，助力客戶AI業(yè)務(wù)升級(jí)。