91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

對(duì)象存儲(chǔ)適合AI和機(jī)器學(xué)習(xí)工作負(fù)載的三個(gè)原因

如意 ? 來源:51cto ? 作者:51cto ? 2020-07-06 09:27 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

各種各樣的企業(yè)在加快AI機(jī)器學(xué)習(xí)項(xiàng)目,但要真正發(fā)揮潛力,需要克服重大的技術(shù)障礙。雖然計(jì)算基礎(chǔ)架構(gòu)常常是關(guān)注的重點(diǎn),但存儲(chǔ)同樣重要。這三個(gè)主要的原因表明了為什么對(duì)象存儲(chǔ)(而不是文件存儲(chǔ)或塊存儲(chǔ))特別適合AI和機(jī)器學(xué)習(xí)工作負(fù)載:

1. 可擴(kuò)展性——有龐大且多樣的數(shù)據(jù)源可供學(xué)習(xí)時(shí),AI和機(jī)器學(xué)習(xí)最有效。數(shù)據(jù)科學(xué)家利用這些豐富的數(shù)據(jù)來訓(xùn)練領(lǐng)域模型。在“大數(shù)據(jù)的五個(gè)V”(容量、種類、速度、準(zhǔn)確性和價(jià)值)中,前兩個(gè)(容量和種類)最重要。簡(jiǎn)而言之,AI和機(jī)器學(xué)習(xí)依賴大量多樣化的數(shù)據(jù)(圖像、文本、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)),構(gòu)建有用的模型、提供準(zhǔn)確的結(jié)果并最終提供業(yè)務(wù)價(jià)值。

對(duì)象存儲(chǔ)是最具擴(kuò)展性的存儲(chǔ)架構(gòu),特別適合支持AI和機(jī)器學(xué)習(xí)所需的大量數(shù)據(jù)。對(duì)象存儲(chǔ)旨在通過橫向擴(kuò)展方法支持無限增長(zhǎng),使企業(yè)組織能夠通過隨時(shí)隨地添加節(jié)點(diǎn)來擴(kuò)大部署范圍。由于對(duì)象存儲(chǔ)使用單個(gè)全局命名空間,也可以同時(shí)跨多個(gè)地方進(jìn)行這種擴(kuò)展。另一方面,文件和塊系統(tǒng)通常采用縱向擴(kuò)展方法。這意味著這種平臺(tái)通過為單個(gè)節(jié)點(diǎn)添加更多計(jì)算資源實(shí)現(xiàn)縱向擴(kuò)展,這種方法最終受到限制。它們無法通過部署額外節(jié)點(diǎn)來增加計(jì)算資源以高效地橫向擴(kuò)展。

2. API——健壯靈活的數(shù)據(jù)API對(duì)于AI和機(jī)器學(xué)習(xí)很重要,如前所述,AI和機(jī)器學(xué)習(xí)使用多種類型的數(shù)據(jù)。存儲(chǔ)平臺(tái)需要支持API以容納各種數(shù)據(jù)。此外,AI和機(jī)器學(xué)習(xí)方面的創(chuàng)新日益在公共云上完成,但是仍有相當(dāng)一部分的AI和機(jī)器學(xué)習(xí)在本地或私有云中進(jìn)行,這取決于使用場(chǎng)合的具體情況(比如說,科學(xué)研究和醫(yī)療保健等領(lǐng)域的容量密集型工作負(fù)載往往最適合私有云)。這意味著企業(yè)需要在公共云和本地/私有云中都支持工作負(fù)載的存儲(chǔ)API。

文件和塊存儲(chǔ)平臺(tái)在它們支持的API方面受到限制,部分原因是它們是較舊的架構(gòu)。相比之下,對(duì)象存儲(chǔ)使用云端更高級(jí)的API,這種API旨在以應(yīng)用程序?yàn)?a target="_blank">中心,并支持比文件和塊存儲(chǔ)更廣泛的API,包括版本控制、生命周期管理、加密、對(duì)象鎖定和元數(shù)據(jù)。此外,支持AI和機(jī)器學(xué)習(xí)使用場(chǎng)景的新對(duì)象存儲(chǔ)API(比如支持流數(shù)據(jù)和海量數(shù)據(jù)集的查詢)也有可能。

由于對(duì)象存儲(chǔ)API圍繞Amazon S3實(shí)現(xiàn)了標(biāo)準(zhǔn)化,更容易整合本地和公共云中的軟件。企業(yè)可以輕松地將部署的AI和機(jī)器學(xué)習(xí)從本地/私有云環(huán)境擴(kuò)展到公共云,或者將云原生的AI和機(jī)器學(xué)習(xí)工作負(fù)載遷移到本地環(huán)境,功能不會(huì)減損。這種雙模式方法使企業(yè)能夠以合作、可互換的方式利用本地/私有云和公共云上的資源。

由于S3 API已成為對(duì)象存儲(chǔ)事實(shí)上的標(biāo)準(zhǔn),許多軟件工具和庫都可以充分利用該API。這允許共享代碼、軟件和工具,促進(jìn)AI/機(jī)器學(xué)習(xí)社區(qū)更快速的開發(fā)。例子包括流行的機(jī)器學(xué)習(xí)平臺(tái),比如擁有內(nèi)置S3 API的TensorFlow和Apache Spark。

3.元數(shù)據(jù)——與API一樣,使用AI和機(jī)器學(xué)習(xí)的企業(yè)利用無限制、可自定義的元數(shù)據(jù)顯得至關(guān)重要。元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)——從最基本的層面上講,某個(gè)數(shù)據(jù)何時(shí)在何地創(chuàng)建、創(chuàng)建者是誰。但是元數(shù)據(jù)可以描述更多信息:用戶可以創(chuàng)建任意的元數(shù)據(jù)標(biāo)簽來描述他們需要的任何屬性。

數(shù)據(jù)科學(xué)家需要豐富的元數(shù)據(jù)來查找特定數(shù)據(jù)以構(gòu)建和使用AI和機(jī)器學(xué)習(xí)模型。隨著更多信息添加到數(shù)據(jù)中,元數(shù)據(jù)注釋便于逐步積累知識(shí)。

文件和塊存儲(chǔ)僅支持有限的元數(shù)據(jù),比如上述基本屬性。這在很大程度上歸結(jié)為可擴(kuò)展性,因?yàn)槲募蛪K系統(tǒng)無力支持快速無縫的增長(zhǎng),如果存儲(chǔ)系統(tǒng)為依賴龐大數(shù)據(jù)集的AI和機(jī)器學(xué)習(xí)應(yīng)用程序支持豐富的元數(shù)據(jù),自然會(huì)出現(xiàn)這種情況。然而,對(duì)象存儲(chǔ)支持無限制的、完全可自定義的元數(shù)據(jù),從而更容易找到用于AI和機(jī)器學(xué)習(xí)算法的數(shù)據(jù),并從中獲得更準(zhǔn)確的信息。

以一家醫(yī)院針對(duì)X射線圖像使用圖像識(shí)別應(yīng)用程序?yàn)槔河辛嗽獢?shù)據(jù),可以使用TensorFlow模型來分析添加到對(duì)象存儲(chǔ)系統(tǒng)的每個(gè)圖像,然后為每個(gè)圖像分配細(xì)化的元數(shù)據(jù)標(biāo)簽(比如,傷病類型、基于骨骼大小或生長(zhǎng)情況來判斷患者的年齡或性別)。然后可以針對(duì)該元數(shù)據(jù)訓(xùn)練TensorFlow模型,并加以分析,對(duì)患者獲得新的寶貴信息(比如說,二三十歲的女性比五年前更容易患骨骼疾?。?/p>

幾乎每家《財(cái)富》 500強(qiáng)公司都在大張旗鼓地搞AI和機(jī)器學(xué)習(xí),可以想象這些技術(shù)在可預(yù)見的將來將是最重要的企業(yè)IT項(xiàng)目。然而,AI/機(jī)器學(xué)習(xí)項(xiàng)目要獲得回報(bào),企業(yè)就要使用合適的存儲(chǔ)基礎(chǔ)架構(gòu)。由于可擴(kuò)展性、支持各種API(尤其是S3)和豐富的元數(shù)據(jù),對(duì)象存儲(chǔ)可謂是AI和機(jī)器學(xué)習(xí)的最佳支柱。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲(chǔ)
    +關(guān)注

    關(guān)注

    13

    文章

    4787

    瀏覽量

    90057
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    定華雷達(dá)儀表學(xué)堂:不適合安裝雷達(dá)物位計(jì)的三個(gè)位置

    物位計(jì)測(cè)量準(zhǔn)確、運(yùn)行穩(wěn)定,安裝位置的選擇至關(guān)重要。以下是三個(gè)不適宜安裝的位置及具體原因分析: 1. 遠(yuǎn)離進(jìn)料口 原因:進(jìn)料口附近物料流動(dòng)劇烈,容易產(chǎn)生漩渦、氣泡或粉塵,這些都會(huì)對(duì)雷達(dá)波的正常傳播與反射造成干擾,導(dǎo)致
    的頭像 發(fā)表于 02-26 13:47 ?76次閱讀

    三個(gè)經(jīng)典開關(guān)電源實(shí)際問題解析

    下面三個(gè)關(guān)于多路輸出電源連續(xù)工作模式的問題,測(cè)試一下您的電源設(shè)計(jì)知識(shí)。然后核對(duì)您的答案。
    的頭像 發(fā)表于 01-22 16:08 ?1843次閱讀
    <b class='flag-5'>三個(gè)</b>經(jīng)典開關(guān)電源實(shí)際問題解析

    MDD從工程故障看極管三個(gè)極的設(shè)計(jì)誤區(qū)與失效案例

    一、為什么極管問題總是“看起來很隨機(jī)”?在FAE現(xiàn)場(chǎng)支持中,經(jīng)常遇到如下問題:-同一電路,有的板子正常,有的異常-高溫下工作不穩(wěn)定-更換批次后性能漂移這些問題,90%都與三個(gè)極的設(shè)計(jì)與使用方式有關(guān)
    的頭像 發(fā)表于 01-19 11:48 ?200次閱讀
    MDD從工程故障看<b class='flag-5'>三</b>極管<b class='flag-5'>三個(gè)</b>極的設(shè)計(jì)誤區(qū)與失效案例

    探索RISC-V在機(jī)器人領(lǐng)域的潛力

    應(yīng)用,特別是機(jī)器人操作系統(tǒng)領(lǐng)域的可行性。MUSE Pi Pro以其強(qiáng)大的K1 AI CPU和官方對(duì)主流開源軟件棧的積極適配,成為了一個(gè)非常有吸引力的選擇。 二、 硬件初窺:性能小鋼炮 MUSE Pi Pro
    發(fā)表于 12-03 14:40

    RK3576機(jī)器人核心:屏異顯+八路攝像頭,重塑機(jī)器人交互與感知

    時(shí)人臉識(shí)別、物體檢測(cè)與跟蹤等。同時(shí),在高負(fù)載下,芯片溫度穩(wěn)定在65℃左右,證明了其優(yōu)異的高能效比和低發(fā)熱特性,非常適合對(duì)功耗和散熱敏感的機(jī)器人產(chǎn)品。 為什么RK3576是機(jī)器人開發(fā)的
    發(fā)表于 10-29 16:41

    未來工業(yè)AI發(fā)展的三個(gè)必然階段

    與優(yōu)化 能力的深層革命。 未來十年,工業(yè)AI的發(fā)展將經(jīng)歷三個(gè)清晰的階段:? 智能輔助 → 智能決策 → 自主優(yōu)化 。這次進(jìn)化,構(gòu)成了工業(yè)從“人控機(jī)器”到“
    的頭像 發(fā)表于 10-27 15:47 ?450次閱讀
    未來工業(yè)<b class='flag-5'>AI</b>發(fā)展的<b class='flag-5'>三個(gè)</b>必然階段

    Solidigm 成立AI中央實(shí)驗(yàn)室,配備高性能、大密度存儲(chǔ)測(cè)試集群

    新實(shí)驗(yàn)室匯聚AI存儲(chǔ)專業(yè)技術(shù),為Solidigm合作者提供研究和優(yōu)化存儲(chǔ)對(duì)AI工作負(fù)載影響的平
    的頭像 發(fā)表于 10-10 17:03 ?779次閱讀

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI的未來:提升算力還是智力

    、浪費(fèi)資源與破壞環(huán)境 二、用小模型代替大模型 1、強(qiáng)化學(xué)習(xí) 2、指令調(diào)整 3、合成數(shù)據(jù) 、終身學(xué)習(xí)與遷移學(xué)習(xí) 1、終身學(xué)習(xí) 終身
    發(fā)表于 09-14 14:04

    科技云報(bào)到:西湖大學(xué)、智元機(jī)器人都選它,存儲(chǔ)成為AI下一個(gè)風(fēng)口

    科技云報(bào)到:西湖大學(xué)、智元機(jī)器人都選它,存儲(chǔ)成為AI下一個(gè)風(fēng)口
    的頭像 發(fā)表于 09-03 11:24 ?685次閱讀

    醫(yī)療AI進(jìn)化的三個(gè)關(guān)鍵技術(shù)路徑

    2025年第二十二屆中國(guó)腦血管病論壇(CFCVD)上上演了一場(chǎng)顛覆性對(duì)決——“Deepseek”、“豆包”和“39AIAI(人工智能)模型與數(shù)位臨床醫(yī)生圍繞腦梗死、腦出血、顱內(nèi)動(dòng)脈瘤
    的頭像 發(fā)表于 07-17 14:19 ?5275次閱讀

    【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗(yàn)】+ 入門篇學(xué)習(xí)

    很高興又有機(jī)會(huì)學(xué)習(xí)ai技術(shù),這次試讀的是「零基礎(chǔ)開發(fā)AI Agent」,作者葉濤、管鍇、張心雨。 大模型的普及是近年來的一件大事,萬物皆可大模型已成為趨勢(shì)。作為大模型開發(fā)應(yīng)用中重要組
    發(fā)表于 05-02 09:26

    【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗(yàn)】+初品Agent

    期待中的《零基礎(chǔ)開發(fā)AI Agent——手把手教你用扣子做智能體》終于寄到了,該書由葉濤、 管鍇、張心雨完成,并由電子工業(yè)出版社出版發(fā)行。 全書分為三個(gè)部分,即入門篇、工具篇及實(shí)踐篇。由此可見這是
    發(fā)表于 04-22 11:51

    NanoEdge AI Studio 面向STM32開發(fā)人員機(jī)器學(xué)習(xí)(ML)技術(shù)

    最佳ML庫。 *附件:nanoedgeaistudio.pdf 軟件下載: https://stm32ai.st.com/download-nanoedgeai/ 演示版可免費(fèi)試用三個(gè)月。專業(yè)版為
    的頭像 發(fā)表于 04-22 11:09 ?1342次閱讀
    NanoEdge <b class='flag-5'>AI</b> Studio 面向STM32開發(fā)人員<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>(ML)技術(shù)

    面向AI機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)平臺(tái) AMD/Xilinx Versal? AI Edge VEK280

    AMD/Xilinx Versal? AI Edge VEK280評(píng)估套件是一款面向AI機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)平臺(tái),專為邊緣計(jì)算場(chǎng)景優(yōu)化設(shè)計(jì)。以下從核心配置、技術(shù)特性、應(yīng)用場(chǎng)景及開發(fā)支持
    的頭像 發(fā)表于 04-11 18:33 ?2428次閱讀
    面向<b class='flag-5'>AI</b>與<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>應(yīng)用的開發(fā)平臺(tái) AMD/Xilinx Versal? <b class='flag-5'>AI</b> Edge VEK280

    **【技術(shù)干貨】Nordic nRF54系列芯片:傳感器數(shù)據(jù)采集與AI機(jī)器學(xué)習(xí)的完美結(jié)合**

    【技術(shù)干貨】nRF54系列芯片:傳感器數(shù)據(jù)采集與AI機(jī)器學(xué)習(xí)的完美結(jié)合 近期收到不少伙伴咨詢nRF54系列芯片的應(yīng)用與技術(shù)細(xì)節(jié),今天我們整理幾個(gè)核心問題與解答,帶你快速掌握如何在nRF54上部署
    發(fā)表于 04-01 00:00