91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Facebook如何提高內(nèi)容理解系統(tǒng)的準(zhǔn)確性和效率

電子工程師 ? 來(lái)源:lq ? 2019-05-06 09:36 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

去年陷入“數(shù)據(jù)丑聞”后的 Facebook 日子并不好過(guò),在這之后他們對(duì)外界強(qiáng)調(diào)的關(guān)鍵詞大部分都是“隱私”和“安全”。即便如此,在剛剛過(guò)去的 Facebook F8 大會(huì)上,扎克伯格忍不住自嘲,由于在數(shù)據(jù)隱私方面的問(wèn)題,很多人依然不信任 Facebook。

不過(guò),不止 Facebook 一家公司,如何使用現(xiàn)有的 AI 等技術(shù)最大限度保護(hù)用戶不受傷害是每個(gè)公司都要不斷探索的問(wèn)題。而對(duì)于經(jīng)歷過(guò)一年大風(fēng)浪的世界級(jí)企業(yè), Facebook 為重視數(shù)據(jù)隱私和平臺(tái)安全的努力也有目共睹。

Facebook CTOMike Schroepfer和 Facebook AI 部門(mén)的研究科學(xué)家Manohar Paluri 在近日的 F8 大會(huì)上發(fā)表了主題演講,他們主要談到了如何使用 AI 技術(shù)來(lái)保護(hù)平臺(tái)用戶安全地使用產(chǎn)品,需要做到兩點(diǎn):1、理解內(nèi)容;2、Facebook 如何使用自監(jiān)督學(xué)習(xí)方法來(lái)提高內(nèi)容識(shí)別的準(zhǔn)確性,同時(shí)減少翻譯、NLP、圖像識(shí)別等應(yīng)用中對(duì)標(biāo)記數(shù)據(jù)的要求。

Yann LeCun 對(duì)此評(píng)論稱(chēng),這有助于改進(jìn)對(duì)具有暴力畫(huà)面、仇恨的言論、干擾選舉、錯(cuò)誤信息、僵尸賬戶等違規(guī)內(nèi)容的過(guò)濾。

拋開(kāi)對(duì) Facebook 依然懷疑的目光,我們或許更應(yīng)該去看看它在技術(shù)上到底做了哪些努力,他們的 AI 等技術(shù)實(shí)踐也可能對(duì)其他公司在保護(hù)用戶數(shù)據(jù)和使用體驗(yàn)方面有重要的技術(shù)指導(dǎo)意義。

具體技術(shù)細(xì)節(jié),都在以下演講全文里:

AI 在 Facebook 的各種應(yīng)用中無(wú)處不在,其中最重要的一項(xiàng)工作是幫助我們平臺(tái)上的用戶安全使用。

為了使所有這些系統(tǒng)更加有效,我們需要在兩個(gè)方面繼續(xù)改進(jìn) AI 技術(shù):理解內(nèi)容以及使用少量的標(biāo)記訓(xùn)練數(shù)據(jù)高效工作。

我們最近在 NLP和 CV 方面取得的進(jìn)展表明,內(nèi)容理解方面的工作如何產(chǎn)生效益。在 NLP 領(lǐng)域,我們開(kāi)發(fā)了一個(gè)共享的多語(yǔ)言嵌入空間,可以作為一種通用語(yǔ)言來(lái)對(duì)有害內(nèi)容進(jìn)行處理,即使在資源匱乏的語(yǔ)言中也是如此。在 CV 領(lǐng)域,基于行業(yè)領(lǐng)先的研究基礎(chǔ),我們可以識(shí)別圖像中更多部分的內(nèi)容,并使用標(biāo)簽為視頻理解實(shí)現(xiàn)創(chuàng)紀(jì)錄的準(zhǔn)確性。

隨著我們理解內(nèi)容的能力在不同模式下不斷提升,我們?cè)谧员O(jiān)督技術(shù)的新前沿也取得了進(jìn)展。這種技術(shù)將通過(guò)預(yù)訓(xùn)練系統(tǒng)加速學(xué)習(xí),可以成為下一代更快、更靈活工具的基礎(chǔ)技術(shù)。

我們將在此重點(diǎn)介紹 Facebook 如何提高內(nèi)容理解系統(tǒng)的準(zhǔn)確性和效率,并找到通過(guò)較少監(jiān)督學(xué)習(xí)方法來(lái)完成更多工作的新方法。

一、使用多語(yǔ)言句子嵌入來(lái)處理違規(guī)內(nèi)容

為了檢測(cè)人們何時(shí)發(fā)布了違規(guī)內(nèi)容,我們的系統(tǒng)需要理解語(yǔ)言。具體來(lái)說(shuō),我們的系統(tǒng)使用機(jī)器學(xué)習(xí)來(lái)掃描給定的句子并回答一系列問(wèn)題,例如“它是否有害的(hateful)?”使用這些問(wèn)題的答案,以及互動(dòng)的語(yǔ)境和其他信號(hào),我們可以確定系統(tǒng)是否采取行動(dòng),例如標(biāo)記給人工審核員。

為了讓 ML 系統(tǒng)來(lái)回答這些問(wèn)題,我們則需要用給定語(yǔ)言的數(shù)千個(gè)例子來(lái)進(jìn)行訓(xùn)練。世界上大約有 6500 種語(yǔ)言,這包括目前缺乏大量培訓(xùn)數(shù)據(jù)集的語(yǔ)言,找到足夠的例子來(lái)開(kāi)發(fā)支持所有語(yǔ)言的內(nèi)容理解系統(tǒng)是巨大的挑戰(zhàn)。

通過(guò)在共享嵌入空間中以多種語(yǔ)言映射相似的句子,我們可以更好地理解相關(guān)內(nèi)容而無(wú)需翻譯每個(gè)句子。

為了幫助解決訓(xùn)練數(shù)據(jù)的稀缺性,我們正利用我們最近開(kāi)源的工具包 LASER(Language-Agnostic SEntence Representations),該工具包通過(guò)訓(xùn)練單個(gè)模型來(lái)理解大量語(yǔ)言。以前我們需要為每種語(yǔ)言準(zhǔn)備不同的模型,LASER 的表示空間允許我們訓(xùn)練一種語(yǔ)言模型,然后將該模型應(yīng)用于一系列語(yǔ)言,而無(wú)需特定語(yǔ)言的訓(xùn)練數(shù)據(jù),也無(wú)需進(jìn)行翻譯,這被稱(chēng)為“零樣本遷移學(xué)習(xí)(zero-shot transfer learning)”。LASER 還允許我們通過(guò)在語(yǔ)言未知的表示空間內(nèi)將這些句子相互映射,來(lái)識(shí)別出在意義上相似的句子。

LASER 開(kāi)源地址:https://github.com/facebookresearch/LASER

對(duì)于希望系統(tǒng)可以增加理解語(yǔ)言數(shù)量的研究人員來(lái)說(shuō),這樣的跨語(yǔ)言技術(shù)提供了一種更具可擴(kuò)展性的替代方案,可以嘗試收集和注釋每種語(yǔ)言的數(shù)據(jù)。這種方法還允許我們挖掘用于機(jī)器翻譯的并行訓(xùn)練數(shù)據(jù),并且對(duì)于低數(shù)據(jù)資源語(yǔ)言(我們的訓(xùn)練示例較少)特別有用。識(shí)別跨語(yǔ)言的類(lèi)似句子有助于同時(shí)捕獲多種語(yǔ)言的類(lèi)似違規(guī)行為。為了生成每個(gè)句子級(jí)別的嵌入,我們首先使用字節(jié)對(duì)編碼表示給定句子的單詞,然后使用一個(gè)五層雙向 LSTM(長(zhǎng)短期記憶)模型,然后是最大池化(max pooling)操作(因?yàn)榫渥影我庾謹(jǐn)?shù))。

通過(guò)大規(guī)模訓(xùn)練這個(gè)系統(tǒng)——93 種語(yǔ)言,屬于 30多個(gè)語(yǔ)系并用 22 種不同的腳本編寫(xiě),我們能夠獲得與語(yǔ)言無(wú)關(guān)的句子嵌入,并且能夠支持自動(dòng)檢測(cè)違規(guī)行為的這種能力尤其與低資源語(yǔ)言相關(guān)。

這種方法與我們的跨語(yǔ)言預(yù)訓(xùn)練研究一起,將提高我們以多種語(yǔ)言處理仇恨言論、欺凌和其他違規(guī)行為的能力,而無(wú)需額外語(yǔ)言標(biāo)記的訓(xùn)練數(shù)據(jù)。這兩種技術(shù)都將支持我們現(xiàn)有的多語(yǔ)言詞匯嵌入,它將來(lái)自不同語(yǔ)言的相似詞語(yǔ)映射到同一個(gè)空間(與 LASER 的句子級(jí)別映射相反)。這些嵌入已經(jīng)部署到生產(chǎn)中,用于包括識(shí)別違規(guī)內(nèi)容等廣泛的跨語(yǔ)言理解任務(wù)。

二、全景 FPN:圖片和視頻理解的最新技術(shù)

人們?cè)谖覀兊钠脚_(tái)上分享了數(shù)十億張圖片,那么理解其中的內(nèi)容對(duì)保護(hù)人們的安全至關(guān)重要。即使是簡(jiǎn)單的像素分析可能足以讓我們的系統(tǒng)識(shí)別圖片中的單個(gè)對(duì)象,我們甚至可以進(jìn)一步推動(dòng)業(yè)界領(lǐng)先的 CV 能力,并讓系統(tǒng)了解這些對(duì)象之間的聯(lián)系,以判斷違規(guī)行為。

(注:近日,基于何愷明團(tuán)隊(duì)提出的“全景分割”任務(wù)開(kāi)始變得熱門(mén),今年1月他們公布了《Panoptic Feature Pyramid Networks》論文。)

論文鏈接:https://arxiv.org/abs/1901.02446

我們的系統(tǒng)擅長(zhǎng)識(shí)別圖片前景中的對(duì)象,例如狗或球,但目前還是難以理解面積較大,包含較少像素集合的構(gòu)成圖片的背景。使用全景 FPN(Panoptic FPN)這種新的對(duì)象識(shí)別方法,我們可以在一個(gè)統(tǒng)一的神經(jīng)結(jié)構(gòu)上同時(shí)執(zhí)行實(shí)例分割任務(wù)(用于前景)和語(yǔ)義分割任務(wù)(用于背景)。

多年來(lái),F(xiàn)acebook 的 CV 系統(tǒng)逐漸識(shí)別到更多的圖像組件,現(xiàn)在可以通過(guò)單個(gè)網(wǎng)絡(luò)檢測(cè)前景和背景中的對(duì)象。這樣可以更好地理解照片的整體背景,以及更高計(jì)算效率的圖像識(shí)別。

Facebook 的實(shí)踐結(jié)果表明,與只做一個(gè)或其他網(wǎng)絡(luò)相比,全景 FPN 幾乎可以將執(zhí)行實(shí)例和語(yǔ)義分段所需的整體計(jì)算效率提升一半。在實(shí)踐中能使系統(tǒng)更好地了解圖像,這在判定是否違規(guī)時(shí)很重要。但是這項(xiàng)工作也會(huì)影響其他應(yīng)用,例如可能會(huì)改變我們用來(lái)向視障人士描述圖像的自動(dòng)轉(zhuǎn)換文字功能。

與圖片中的查找違規(guī)行為相比,在視頻中的難度是數(shù)量級(jí)的。理解視頻意味著要考慮構(gòu)成給定幀序列的大量圖像和該序列中所表示的移動(dòng),同時(shí)還要處理非視覺(jué)輸入,例如音頻

由于存在這樣的挑戰(zhàn),視頻理解還處于起步階段。我們?cè)跍?zhǔn)確性和效率方面始終如一地在推動(dòng)最先進(jìn)的技術(shù),部分是通過(guò)將系統(tǒng)的注意力和訓(xùn)練集中在最相關(guān)的數(shù)據(jù)上。例如,通過(guò)將 3D 卷積分解為 2D 和 1D 卷積(分別與給定視頻序列中的空間和時(shí)間相關(guān)),我們減少了可訓(xùn)練參數(shù)的數(shù)量?;蛘?,我們可以保持相同數(shù)量的參數(shù)并提高準(zhǔn)確性??傊褂么丝蚣?,我們可以找到準(zhǔn)確性和效率之間的平衡點(diǎn)。

不同于將給定視頻中的每一幀傳遞給時(shí)空卷積神經(jīng)網(wǎng)絡(luò),我們的顯著性采樣方法是將包含顯著性動(dòng)作的視頻隔離開(kāi)來(lái)進(jìn)行進(jìn)一步地處理。

為了理解視頻中發(fā)生的事情,我們將其分解為短片段(每個(gè)片段由少量連續(xù)幀組成),并通過(guò)我們最新的時(shí)空模型發(fā)送一小組連續(xù)幀。然后,我們可以匯總這些信息預(yù)測(cè)整個(gè)視頻內(nèi)容。

然而,在許多視頻中,只有少數(shù)片段具有針對(duì)特定任務(wù)的顯著性信息,其余的片段則是冗余的或不相關(guān)的,例如檢測(cè)欺凌視頻。因此,為了進(jìn)一步提高視頻中發(fā)現(xiàn)可操作事件的速度和效率,我們創(chuàng)建了一個(gè)顯著性采樣器。該系統(tǒng)經(jīng)過(guò)訓(xùn)練,專(zhuān)注于包含特定行為的部分,然后更詳細(xì)地處理這些幀集。這種更有針對(duì)性的分析和訓(xùn)練能更快、更準(zhǔn)確地視頻理解內(nèi)容。

三、將標(biāo)簽用于視頻理解的創(chuàng)紀(jì)錄準(zhǔn)確性

我們還開(kāi)發(fā)了一種不同的方法為識(shí)別行為設(shè)定了新的技術(shù)方法,包括指出內(nèi)容違規(guī)的行為。

這種技術(shù)直接建立在我們?nèi)ツ暝?F8 大會(huì)(2018年5月)上公布的研究成果上,該研究使用帶有標(biāo)簽的數(shù)十億公共圖像來(lái)訓(xùn)練網(wǎng)絡(luò),并且能夠在圖像識(shí)別任務(wù)中擊敗最先進(jìn)的技術(shù)。在我們的新方法中,帶標(biāo)簽的數(shù)據(jù)充當(dāng)了弱監(jiān)督數(shù)據(jù),這意味著標(biāo)記的訓(xùn)練示例是可使用的,但這并沒(méi)有完全監(jiān)督的精確度。

與專(zhuān)門(mén)用于訓(xùn)練 AI 模型的標(biāo)簽相比,這樣得到的注釋噪音大且不精確。但是,這種方法所提供的標(biāo)記示例的數(shù)量表明,我們可以基于前所未有的大量訓(xùn)練數(shù)據(jù),而不是通過(guò)基于弱監(jiān)督的訓(xùn)練數(shù)據(jù)來(lái)顯著改善視頻理解。

在這種情況下,我們訓(xùn)練的最大數(shù)據(jù)集包含超過(guò) 6500 萬(wàn)個(gè)帶有標(biāo)簽的公共 Instagram 視頻。相比之下,當(dāng)前的行動(dòng)分類(lèi)數(shù)據(jù)集僅包含幾十萬(wàn)個(gè)視頻。使用這些視頻帶來(lái)的技術(shù)挑戰(zhàn)與十億次數(shù)量級(jí)別的圖像識(shí)別工作類(lèi)似,例如必須在硬件上進(jìn)行分布式訓(xùn)練,也有新的挑戰(zhàn),包括處理通常只適用于視頻一小部分的標(biāo)簽的事實(shí),比如一個(gè)標(biāo)記為#wedding 和 #dance 的視頻可能只是一對(duì)新婚夫婦在長(zhǎng)時(shí)視頻中花了幾秒鐘在跳舞。

盡管存在這種隨機(jī)噪聲問(wèn)題,但我們發(fā)現(xiàn)內(nèi)容的多樣性和示例的絕對(duì)規(guī)模抵消了標(biāo)簽噪聲。通過(guò)使用我們的顯著性采樣器,視頻識(shí)別模型在三個(gè)主要的視頻分類(lèi)基準(zhǔn)測(cè)試中實(shí)現(xiàn)了最先進(jìn)的精度。這包括在將視頻分類(lèi)為 400 種不同的人類(lèi)行為類(lèi)別之一時(shí),在動(dòng)力學(xué)數(shù)據(jù)集上達(dá)到 82.8% 的準(zhǔn)確度,這比其他最為先進(jìn)技術(shù)的準(zhǔn)確度提高了 5.1%,而錯(cuò)誤率相對(duì)減少超過(guò)了 25%。我們已將這種方法應(yīng)用于生產(chǎn)系統(tǒng),將欺凌檢測(cè)率提高到了近85%。

通過(guò)將音頻合并到此模型也可以獲得更好的結(jié)果。我們的實(shí)驗(yàn)證明,與使用相同架構(gòu)和訓(xùn)練過(guò)程的視覺(jué)模型相比,我們的音視頻模型在 AudioSet 音頻事件檢測(cè)基準(zhǔn)測(cè)試中創(chuàng)造了新的記錄——在檢測(cè)褻瀆性?xún)?nèi)容和成人內(nèi)容方面的準(zhǔn)確性提高了20%。

四、自監(jiān)督方法在內(nèi)容理解的應(yīng)用前景

語(yǔ)言、圖像和視頻理解方面是 Facebook 持續(xù)努力的一部分。但當(dāng)我們著眼于保持平臺(tái)安全這一長(zhǎng)期任務(wù)時(shí),創(chuàng)建可以使用大量未標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練的系統(tǒng)將變得越來(lái)越重要。

我們今天的大部分系統(tǒng)都依賴(lài)于有監(jiān)督的培訓(xùn),但這可能會(huì)導(dǎo)致一系列的訓(xùn)練挑戰(zhàn),例如在缺乏訓(xùn)練數(shù)據(jù),在收集和標(biāo)記示例以從頭開(kāi)始構(gòu)建新分類(lèi)器的長(zhǎng)訓(xùn)練時(shí)間的情況下,由于新的內(nèi)容違規(guī)事件迅速發(fā)酵,如選舉等事件已成為有害內(nèi)容的爆發(fā)點(diǎn),我們有責(zé)任加快系統(tǒng)的開(kāi)發(fā),從而提高響應(yīng)能力。

一個(gè)可能的答案是 Facebook 首席 AI 科學(xué)家 Yann LeCun 多年來(lái)一直在討論的自監(jiān)督方法,而不僅僅依賴(lài)于以人類(lèi)訓(xùn)練為目的標(biāo)記數(shù)據(jù),或者甚至依賴(lài)于帶有公共標(biāo)簽的圖像和視頻的弱監(jiān)督數(shù)據(jù)。自監(jiān)督方法能夠利用完全無(wú)標(biāo)記的數(shù)據(jù),該方法具有通用性,使自監(jiān)督系統(tǒng)能夠使用少量標(biāo)記數(shù)據(jù)來(lái)概括不可見(jiàn)的任務(wù),并可能使我們更接近實(shí)現(xiàn)人類(lèi)級(jí)別智能的 AI 技術(shù)目標(biāo)。

基本上,F(xiàn)acebook AI 團(tuán)隊(duì)的曾經(jīng)研究策略最近都轉(zhuǎn)化成了能提供強(qiáng)大效果的系統(tǒng),一些自監(jiān)督的語(yǔ)言理解模型持續(xù)領(lǐng)先于使用傳統(tǒng)的、完全監(jiān)督方法訓(xùn)練的系統(tǒng)。

具體來(lái)說(shuō),我們開(kāi)發(fā)了一些模型,通過(guò)訓(xùn)練信號(hào)的其余部分來(lái)學(xué)習(xí)預(yù)測(cè)給定信號(hào)的一部分。例如,我們訓(xùn)練其中一個(gè)自監(jiān)督系統(tǒng),通過(guò)掩蓋句子中的單詞來(lái)更好地理解語(yǔ)言,即使模型之前從未見(jiàn)過(guò)那個(gè)確切的句子。

給出一個(gè)像“A conversation about ________ and human connection”這樣的短句,人們可以很容易地猜出幾個(gè)可以填補(bǔ)空白的詞,但是這項(xiàng)任務(wù)對(duì) AI 來(lái)說(shuō)更具挑戰(zhàn)性。這是一個(gè)有用且可擴(kuò)展的訓(xùn)練任務(wù)的基礎(chǔ),類(lèi)似于 Google 同時(shí)引入的 BERT 模型來(lái)解決任務(wù)。我們可以依次清空一個(gè)句子的每個(gè)單詞,并對(duì)十億個(gè)單詞重復(fù)這個(gè)過(guò)程,這個(gè)過(guò)程當(dāng)然無(wú)需標(biāo)記。

通過(guò)分別分析屏蔽字左側(cè)和右側(cè)句子的上下文語(yǔ)境,我們的雙向變換模型能夠在不依賴(lài)標(biāo)記數(shù)據(jù)的情況下預(yù)測(cè)丟失的字詞。

為了預(yù)測(cè)每個(gè)隱藏的單詞,我們使用雙向變換網(wǎng)絡(luò)(bidirectional transformer networks),通過(guò)計(jì)算句子的前后狀態(tài)(掩碼右側(cè)和左側(cè)的單詞)來(lái)模擬句子的其余部分,然后組合這些表示來(lái)確定中心詞。一旦系統(tǒng)以這種未標(biāo)記的方式進(jìn)行了訓(xùn)練,我們就可以使用標(biāo)記數(shù)據(jù)對(duì)特定任務(wù)進(jìn)行微調(diào),例如用來(lái)識(shí)別仇恨言論。

在內(nèi)部測(cè)試時(shí),這種自監(jiān)督和有監(jiān)督訓(xùn)練的混合使我們能夠以少 10 倍的數(shù)據(jù)訓(xùn)練出比肩完全監(jiān)督模型能獲得的準(zhǔn)確度,或者使用相同數(shù)量的訓(xùn)練數(shù)據(jù),相比完全監(jiān)督模型能相對(duì)減少 20% 的誤差。

我們還使用自監(jiān)督訓(xùn)練來(lái)改善語(yǔ)音識(shí)別能力。我們創(chuàng)建了一個(gè)音頻片段幾個(gè)版本,并且更改了一些音頻的部分內(nèi)容,而模型必須僅使用原始音頻作為輸入來(lái)確定哪個(gè)版本是正確的,同樣沒(méi)有轉(zhuǎn)錄或使用其他標(biāo)簽。

對(duì)于這種方法,我們使用兩個(gè)堆疊在一起的網(wǎng)絡(luò):將原始音頻映射到較低時(shí)頻的特征表示的編碼器網(wǎng)絡(luò),以及預(yù)測(cè)正確音頻的上下文網(wǎng)絡(luò)。為了使任務(wù)更有效地進(jìn)行訓(xùn)練,我們通過(guò)上下文網(wǎng)絡(luò)進(jìn)一步預(yù)測(cè)未來(lái),使預(yù)測(cè)問(wèn)題變得愈加困難。

在使用兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始的、未標(biāo)記的音頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練模型后,系統(tǒng)優(yōu)化后以解決一項(xiàng)越來(lái)越困難的任務(wù):預(yù)測(cè)不同時(shí)間的音頻,箭頭表示未來(lái)進(jìn)一步的預(yù)測(cè)。

一旦這種預(yù)訓(xùn)練的、自監(jiān)督模型能很好的理解語(yǔ)音,我們就會(huì)使用少量的監(jiān)督數(shù)據(jù):80 小時(shí)的轉(zhuǎn)錄音頻來(lái)訓(xùn)練最終的語(yǔ)音識(shí)別系統(tǒng)。我們的系統(tǒng)使用的標(biāo)記數(shù)據(jù)比最佳系統(tǒng) Deep Speech 2 少了 150 倍,同時(shí)將字詞錯(cuò)誤率降低了 9%。這項(xiàng)工作使我們能夠快速將語(yǔ)音識(shí)別功能擴(kuò)展到更多語(yǔ)言,并且每種語(yǔ)言都不需要大量的轉(zhuǎn)錄語(yǔ)音。

這兩種方法都側(cè)重于語(yǔ)音和語(yǔ)言理解,但它們也代表了我們?nèi)绾翁剿魃踔两Y(jié)合不同程度的數(shù)據(jù)監(jiān)督的更基礎(chǔ)的方法轉(zhuǎn)變。這包括利用大量未標(biāo)記的訓(xùn)練數(shù)據(jù),以及使用少量標(biāo)記數(shù)據(jù)來(lái)釋放自監(jiān)督系統(tǒng)的巨大潛力。在所有與人工智能相關(guān)的任務(wù)中,強(qiáng)調(diào)自監(jiān)督可以加速這些任務(wù),但沒(méi)有一項(xiàng)任務(wù)比提高使用我們產(chǎn)品的人的安全更重要。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 圖像識(shí)別
    +關(guān)注

    關(guān)注

    9

    文章

    533

    瀏覽量

    40055
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8553

    瀏覽量

    136929
  • ai技術(shù)
    +關(guān)注

    關(guān)注

    1

    文章

    1313

    瀏覽量

    25744

原文標(biāo)題:Yann LeCun推薦!自監(jiān)督學(xué)習(xí)、全景FPN...內(nèi)容平臺(tái)的四大技術(shù)指南

文章出處:【微信號(hào):rgznai100,微信公眾號(hào):rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    系統(tǒng)快速、穩(wěn)定性和準(zhǔn)確性之間的權(quán)衡

    衡量一個(gè)測(cè)控系統(tǒng)的好壞的標(biāo)準(zhǔn)主要在于該系統(tǒng)的快速、穩(wěn)定性和準(zhǔn)確性,但一般常常會(huì)得此失彼,比如我要滿足系統(tǒng)
    發(fā)表于 07-28 11:42

    如何提高工程預(yù)算的準(zhǔn)確性

    ,工程結(jié)束后,要進(jìn)行決算,最終確定工程的總支出。提高工程預(yù)決算的準(zhǔn)確性,對(duì)規(guī)范***投資管理,合理確定工程造價(jià),提高資金的使用效率,有著極為重要的現(xiàn)實(shí)意義。一、造成工程預(yù)決算不
    發(fā)表于 07-25 17:35

    怎么提高頻率測(cè)量的準(zhǔn)確性

    觀察到的大約少10%。有沒(méi)有辦法提高這種方法的準(zhǔn)確性? 以上來(lái)自于百度翻譯 以下為原文I'm trying to read a sensor that outputs frequency (pulses
    發(fā)表于 01-04 14:28

    合同智能審核軟件-提高審查效率準(zhǔn)確性

    審查的準(zhǔn)確性。使用軟件能夠提高審查速度在提高合同審查的速度方面,靈玖合同智能審核軟件設(shè)定了豐富的合同審核范圍:1.審查合同格式是否規(guī)范:檢查內(nèi)容包括字體字號(hào)行距,章節(jié)表格序號(hào),上下標(biāo)和
    發(fā)表于 09-05 17:22

    如何提高交流脈沖對(duì)HPMMM充磁和去磁時(shí)磁場(chǎng)定向的準(zhǔn)確性

    如何提高交流脈沖對(duì)HPMMM充磁和去磁時(shí)磁場(chǎng)定向的準(zhǔn)確性?
    發(fā)表于 11-19 06:30

    如何確認(rèn)延時(shí)函數(shù)時(shí)間的準(zhǔn)確性?

    如何確認(rèn)延時(shí)函數(shù)時(shí)間的準(zhǔn)確性?
    發(fā)表于 01-27 07:35

    如何提高投標(biāo)報(bào)價(jià)編制的準(zhǔn)確性

        施工企業(yè)要在激烈的市場(chǎng)競(jìng)爭(zhēng)中戰(zhàn)勝對(duì)手,贏得工程項(xiàng)目,投標(biāo)報(bào)價(jià)的準(zhǔn)確性是關(guān)鍵。下面結(jié)合多年工作的實(shí)際,談一下如何提高投標(biāo)報(bào)價(jià)編制的準(zhǔn)確性。
    發(fā)表于 01-08 15:36 ?13次下載

    提高中溫?zé)崃艿?b class='flag-5'>系統(tǒng)溫度測(cè)量準(zhǔn)確性的研究_栗鵬飛

    提高中溫?zé)崃艿?b class='flag-5'>系統(tǒng)溫度測(cè)量準(zhǔn)確性的研究_栗鵬飛
    發(fā)表于 01-18 20:21 ?0次下載

    華為提高人機(jī)自然對(duì)話的準(zhǔn)確性專(zhuān)利

    華為的該項(xiàng)專(zhuān)利用于人機(jī)對(duì)話的方法,具體通過(guò)將自然語(yǔ)言問(wèn)題和知識(shí)庫(kù)向量化,然后向量計(jì)算得到基于知識(shí)庫(kù)的回答,提高了人機(jī)對(duì)話中自然語(yǔ)言答案的準(zhǔn)確性。
    的頭像 發(fā)表于 12-30 11:32 ?2864次閱讀
    華為<b class='flag-5'>提高</b>人機(jī)自然對(duì)話的<b class='flag-5'>準(zhǔn)確性</b>專(zhuān)利

    AI可提高天氣預(yù)報(bào)的準(zhǔn)確性準(zhǔn)確性,助力農(nóng)民和可再生能源行業(yè)

     AI正在被用于提高天氣預(yù)報(bào)的準(zhǔn)確性準(zhǔn)確性,幫助農(nóng)民和可再生能源行業(yè),并刺激一些兼并和收購(gòu)活動(dòng)。
    的頭像 發(fā)表于 09-30 16:32 ?3395次閱讀

    如何提高電流探頭的準(zhǔn)確性與靈敏度

    相信很多用戶都很熟悉電流探頭的使用。來(lái)看看如何提高它的準(zhǔn)確性和靈敏度。目前市場(chǎng)上有各種各樣的探測(cè)器。其中是鉗位交直流式,可用于夾持載流導(dǎo)線測(cè)量交直流電流。
    發(fā)表于 04-02 11:11 ?2869次閱讀

    提升效率準(zhǔn)確性——RFID電商倉(cāng)儲(chǔ)管理系統(tǒng)的優(yōu)勢(shì)

    隨著電商行業(yè)的蓬勃發(fā)展,倉(cāng)儲(chǔ)管理變得愈發(fā)重要。RFID(射頻識(shí)別)技術(shù)為電商倉(cāng)儲(chǔ)管理帶來(lái)了突破的進(jìn)展。本文將介紹RFID電商倉(cāng)儲(chǔ)管理系統(tǒng)的工作原理和優(yōu)勢(shì),并探討如何通過(guò)該系統(tǒng)提高倉(cāng)儲(chǔ)
    的頭像 發(fā)表于 07-03 15:50 ?1148次閱讀
    提升<b class='flag-5'>效率</b>與<b class='flag-5'>準(zhǔn)確性</b>——RFID電商倉(cāng)儲(chǔ)管理<b class='flag-5'>系統(tǒng)</b>的優(yōu)勢(shì)

    如何評(píng)估 ChatGPT 輸出內(nèi)容準(zhǔn)確性

    評(píng)估 ChatGPT 輸出內(nèi)容準(zhǔn)確性是一個(gè)復(fù)雜的過(guò)程,因?yàn)樗婕暗蕉鄠€(gè)因素,包括但不限于數(shù)據(jù)的質(zhì)量和多樣、模型的訓(xùn)練、上下文的理解、以及輸出內(nèi)容
    的頭像 發(fā)表于 10-25 17:48 ?1796次閱讀

    如何提高電位測(cè)量準(zhǔn)確性

    在電子工程和物理實(shí)驗(yàn)中,電位測(cè)量是一項(xiàng)基本而重要的任務(wù)。電位測(cè)量的準(zhǔn)確性直接影響到實(shí)驗(yàn)結(jié)果的可靠和產(chǎn)品的安全。 1. 選擇合適的測(cè)量設(shè)備 選擇合適的測(cè)量設(shè)備是提高電位測(cè)量
    的頭像 發(fā)表于 12-28 13:56 ?1554次閱讀

    如何提高OTDR測(cè)試的準(zhǔn)確性

    OTDR(光時(shí)域反射儀)是光纜線路故障定位和光纖特性測(cè)量的重要工具,提高OTDR測(cè)試的準(zhǔn)確性對(duì)于確保光纜線路的穩(wěn)定運(yùn)行至關(guān)重要。以下是一些提高OTDR測(cè)試準(zhǔn)確性的方法: 一、
    的頭像 發(fā)表于 12-31 09:25 ?2179次閱讀