91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      日本團(tuán)隊(duì)發(fā)布在富岳超算上訓(xùn)練的Fugaku-LLM大模型

      微云疏影 ? 來(lái)源：綜合整理 ? 作者：綜合整理 ? 2024-05-11 10:05 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      5月11日訊，多方企業(yè)與機(jī)構(gòu)聯(lián)手的日本研究小組昨日公布了Fugaku-LLM大型模型。該模型最大特點(diǎn)在于在Arm架構(gòu)超算“富岳”上完成了訓(xùn)練。

      自2023年5月起，F(xiàn)ugaku-LLM模型的開(kāi)發(fā)工作開(kāi)始展開(kāi)，最初參與團(tuán)隊(duì)包括富士通、東京工業(yè)大學(xué)、日本東北大學(xué)以及日本理化學(xué)研究所（簡(jiǎn)稱理研）。

      至同年8月，又有三家合作伙伴——名古屋大學(xué)、CyberAgent（同時(shí)也是游戲巨頭Cygames的母公司）及HPC-AI領(lǐng)域創(chuàng)新企業(yè)Kotoba Technologies加入項(xiàng)目。

      研究團(tuán)隊(duì)在昨日的新聞發(fā)布會(huì)上表示，他們成功利用富岳超算的強(qiáng)大性能，使矩陣乘法運(yùn)算速度提升6倍，通信速度提高3倍，從而證明大型純CPU超算同樣適用于大模型訓(xùn)練。

      Fugaku-LLM模型參數(shù)規(guī)模達(dá)13B，成為日本國(guó)內(nèi)最大的大型語(yǔ)言模型。

      該模型采用13824個(gè)富岳超算節(jié)點(diǎn)，在3800億個(gè)Token上進(jìn)行訓(xùn)練，其中60%為日語(yǔ)數(shù)據(jù)，其余40%涵蓋英語(yǔ)、數(shù)學(xué)、代碼等內(nèi)容。

      研究團(tuán)隊(duì)表示，F(xiàn)ugaku-LLM模型能夠在交流過(guò)程中自然運(yùn)用日語(yǔ)敬語(yǔ)等特殊表達(dá)方式。

      在測(cè)試結(jié)果方面，該模型在日語(yǔ)MT-Bench模型基準(zhǔn)測(cè)試中的平均得分高達(dá)5.5，位列基于日本語(yǔ)料資源的開(kāi)放模型之首；在人文社科類別的測(cè)試中更獲得了9.18的高分。

      現(xiàn)如今，F(xiàn)ugaku-LLM模型已在GitHub和Hugging Face平臺(tái)公開(kāi)發(fā)布，外部研究人員和工程師可在遵循許可協(xié)議的基礎(chǔ)上，將該模型應(yīng)用于學(xué)術(shù)和商業(yè)領(lǐng)域。

      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
      • cpu
        cpu
        +關(guān)注

        關(guān)注

        68

        文章

        11279

        瀏覽量

        224987
      • 模型
        +關(guān)注

        關(guān)注

        1

        文章

        3752

        瀏覽量

        52109
      • 語(yǔ)言模型
        +關(guān)注

        關(guān)注

        0

        文章

        571

        瀏覽量

        11310
      • 大模型
        +關(guān)注

        關(guān)注

        2

        文章

        3650

        瀏覽量

        5183
      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評(píng)論

        相關(guān)推薦
        熱點(diǎn)推薦

        芯盾時(shí)代如何破局LLM供應(yīng)鏈漏洞危機(jī)

        隨著人工智能技術(shù)進(jìn)入 2026 年的爆發(fā)期，大語(yǔ)言模型（LLM）已不再是實(shí)驗(yàn)室里的原型，而是支撐企業(yè)核心業(yè)務(wù)的“數(shù)字引擎”。然而，LLM的強(qiáng)大高度依賴于全球化的AI生態(tài)。從海量的互聯(lián)網(wǎng)訓(xùn)練
        的頭像 發(fā)表于 02-04 16:53 ?1238次閱讀

        什么是大模型，智能體...？大模型100問(wèn)，快速全面了解！

        一、概念篇1.什么是大模型？大模型是指參數(shù)規(guī)模巨大（通常達(dá)到數(shù)十億甚至萬(wàn)億級(jí)別）、使用海量數(shù)據(jù)訓(xùn)練而成的人工智能模型。2.什么是大語(yǔ)言模型（
        的頭像 發(fā)表于 02-02 16:36 ?892次閱讀
        什么是大<b class='flag-5'>模型</b>，智能體...？大<b class='flag-5'>模型</b>100問(wèn)，快速全面了解！

        芯盾時(shí)代揭秘訓(xùn)練數(shù)據(jù)投毒攻擊

        在人工智能的“大航海時(shí)代”，大語(yǔ)言模型（LLM）被視為通往AGI（通用人工智能）的“方舟”。當(dāng)人們贊嘆于LLM的博學(xué)與全能，不斷給它投喂海量數(shù)據(jù)，通過(guò)工程優(yōu)化實(shí)現(xiàn)
        的頭像 發(fā)表于 01-23 10:25 ?531次閱讀

        LLM安全新威脅：為什么幾百個(gè)毒樣本就能破壞整個(gè)模型

        本文轉(zhuǎn)自：DeepHubIMBA作者：DhanushKumar數(shù)據(jù)投毒，也叫模型投毒或訓(xùn)練數(shù)據(jù)后門攻擊，本質(zhì)上是在LLM的訓(xùn)練、微調(diào)或檢索階
        的頭像 發(fā)表于 10-29 11:06 ?588次閱讀
        <b class='flag-5'>LLM</b>安全新威脅：為什么幾百個(gè)毒樣本就能破壞整個(gè)<b class='flag-5'>模型</b>

        在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)

        本帖欲分享在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)。我們采用jupyter notebook作為開(kāi)發(fā)IDE，以TensorFlow2為訓(xùn)練框架，目標(biāo)是
        發(fā)表于 10-22 07:03

        借助NVIDIA Megatron-Core大模型訓(xùn)練框架提高顯存使用效率

        隨著模型規(guī)模邁入百億、千億甚至萬(wàn)億參數(shù)級(jí)別，如何在有限顯存中“塞下”訓(xùn)練任務(wù)，對(duì)研發(fā)和運(yùn)維團(tuán)隊(duì)都是巨大挑戰(zhàn)。NVIDIA Megatron-Core 作為流行的大模型
        的頭像 發(fā)表于 10-21 10:55 ?1149次閱讀
        借助NVIDIA Megatron-Core大<b class='flag-5'>模型</b><b class='flag-5'>訓(xùn)練</b>框架提高顯存使用效率

        廣和通發(fā)布端側(cè)情感對(duì)話大模型FiboEmo-LLM

        9月，廣和通正式發(fā)布自主研發(fā)的端側(cè)情感對(duì)話大模型FiboEmo-LLM。該模型專注于情感計(jì)算與自然語(yǔ)言交互融合，致力于為AI玩具、智能陪伴設(shè)備等終端場(chǎng)景提供“情感理解-情感響應(yīng)”一體化
        的頭像 發(fā)表于 09-26 13:37 ?1903次閱讀

        摩爾線程發(fā)布大模型訓(xùn)練仿真工具SimuMax v1.0

        近日，摩爾線程正式發(fā)布并開(kāi)源大模型分布式訓(xùn)練仿真工具SimuMax 1.0版本。該版本在顯存和性能仿真精度上實(shí)現(xiàn)突破性提升，同時(shí)引入多項(xiàng)關(guān)鍵功能，進(jìn)一步增強(qiáng)了
        的頭像 發(fā)表于 09-11 18:19 ?3714次閱讀
        摩爾線程<b class='flag-5'>發(fā)布</b>大<b class='flag-5'>模型</b><b class='flag-5'>訓(xùn)練</b>仿真工具SimuMax v1.0

        大規(guī)模專家并行模型在TensorRT-LLM的設(shè)計(jì)

        DeepSeek-V3 / R1 等模型采用大規(guī)模細(xì)粒度混合專家模型 (MoE) 架構(gòu)，大幅提升了開(kāi)源模型的質(zhì)量。Llama 4 和 Qwen3 等新發(fā)布的開(kāi)源
        的頭像 發(fā)表于 09-06 15:21 ?1231次閱讀
        大規(guī)模專家并行<b class='flag-5'>模型</b><b class='flag-5'>在</b>TensorRT-<b class='flag-5'>LLM</b>的設(shè)計(jì)

        Votee AI借助NVIDIA技術(shù)加速方言小語(yǔ)種LLM開(kāi)發(fā)

        Votee AI 利用 NVIDIA 的 GPU 硬件、NeMo Curator 數(shù)據(jù)處理軟件、NeMo Framework 模型訓(xùn)練框架及 Auto Configurator 優(yōu)化工具，高效構(gòu)建
        的頭像 發(fā)表于 08-20 14:21 ?861次閱讀

        小白學(xué)大模型：從零實(shí)現(xiàn) LLM語(yǔ)言模型

        在當(dāng)今人工智能領(lǐng)域，大型語(yǔ)言模型（LLM）的開(kāi)發(fā)已經(jīng)成為一個(gè)熱門話題。這些模型通過(guò)學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語(yǔ)言文本，完成各種復(fù)雜的任務(wù)，如寫作、翻譯、問(wèn)答等。https
        的頭像 發(fā)表于 04-30 18:34 ?1306次閱讀
        小白學(xué)大<b class='flag-5'>模型</b>：從零實(shí)現(xiàn) <b class='flag-5'>LLM</b>語(yǔ)言<b class='flag-5'>模型</b>

        詳解 LLM 推理模型的現(xiàn)狀

        領(lǐng)域的最新研究進(jìn)展，特別是自DeepSeekR1發(fā)布后興起的推理時(shí)間計(jì)算擴(kuò)展相關(guān)內(nèi)容。在LLM中實(shí)施和改進(jìn)推理簡(jiǎn)單來(lái)說(shuō)，基于LLM的推理模型
        的頭像 發(fā)表于 04-03 12:09 ?1611次閱讀
        詳解 <b class='flag-5'>LLM</b> 推理<b class='flag-5'>模型</b>的現(xiàn)狀

        請(qǐng)問(wèn)如何在imx8mplus上部署和運(yùn)行YOLOv5訓(xùn)練的模型？

        我正在從事 imx8mplus yocto 項(xiàng)目。我已經(jīng)在自定義數(shù)據(jù)集上的 YOLOv5 上訓(xùn)練了對(duì)象檢測(cè)模型。它在 ubuntu 電腦上運(yùn)行良好?，F(xiàn)在我想在我的 imx8mplus 板上運(yùn)行該
        發(fā)表于 03-25 07:23

        用PaddleNLP為GPT-2模型制作FineWeb二進(jìn)制預(yù)訓(xùn)練數(shù)據(jù)集

        作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 《用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)》發(fā)布后收到讀者熱烈反響，很多讀者要求進(jìn)一步講解更多的技術(shù)細(xì)節(jié)。本文主要針對(duì)大語(yǔ)言
        的頭像 發(fā)表于 03-21 18:24 ?4307次閱讀
        用PaddleNLP為GPT-2<b class='flag-5'>模型</b>制作FineWeb二進(jìn)制預(yù)<b class='flag-5'>訓(xùn)練</b>數(shù)據(jù)集

        訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理？

        訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦，試了好幾個(gè)模型壓縮了也不行，ram占用過(guò)大，有無(wú)解決方案？
        發(fā)表于 03-11 07:18