此前，為了提升元宇宙中的觸感交互，Meta公司的研究團(tuán)隊(duì)開發(fā)了一款觸覺手套，這種手套舒適、可定制，最重要的是能夠在虛擬世界中再現(xiàn)一系列感覺，包括紋理、壓力和振動(dòng)等。

　　近日，Meta公司又有新動(dòng)作。其發(fā)布了自監(jiān)督語音處理模型XLS-R，該模型共支持128種語言，目的是助力元宇宙中的跨語種交流。

　　當(dāng)今，有據(jù)可考的語言有7000余種。盡管現(xiàn)在的翻譯系統(tǒng)越來越強(qiáng)大，但要用AI完全實(shí)現(xiàn)這些語言的互通并非易事。一般來說，語料庫的豐富程度決定了語言翻譯模型的質(zhì)量，現(xiàn)有的語音翻譯一般集中于大語種之間，小語種語料往往比較匱乏，因此使用這類母語的人往往較難通過AI獲得較高的翻譯質(zhì)量。

　　但XLS-R通過自監(jiān)督技術(shù)對10倍的語音數(shù)據(jù)進(jìn)行訓(xùn)練，大大改善了以前的多語言模型，尤其是小語種的處理。因此母語不同的人，比如一位說英語，一位說漢語的人，兩人可以靠XLS-R在元宇宙中進(jìn)行無障礙對話。

　　XLS-R基于的是Facebook去年發(fā)布的wav2vec 2.0技術(shù)。該技術(shù)通過多層卷積神經(jīng)網(wǎng)絡(luò)對語音音頻進(jìn)行編碼，以及對產(chǎn)生的潛伏語音表征進(jìn)行跨度遮蔽，能夠建立捕捉整個(gè)序列信息的表征。

　　這樣訓(xùn)練出的模型，可以預(yù)測音頻中被掩蔽部分的正確語音單元，同時(shí)也可以學(xué)習(xí)新的語音單元。在此基礎(chǔ)上開發(fā)的XLS-R，不僅能夠建立上下文表征，還可以捕獲整個(gè)潛伏表征序列上建立的依賴關(guān)系。

　　XLS-R共有20億參數(shù)，它在測試的37種語言中，表現(xiàn)優(yōu)于大多數(shù)語種先前的工作。甚至在老撾語等小語種識別上，也能低于之前的錯(cuò)誤率。此外，XLS-R也讓低資源語言與英語之間的翻譯大幅改進(jìn)，例如從印度尼西亞語到英語的翻譯，準(zhǔn)確性平均翻了一番。

　　目前，XLS-R還只是一個(gè)預(yù)訓(xùn)練模型，為了能更好的應(yīng)用于具體任務(wù)，還需要對其進(jìn)行相關(guān)改進(jìn)。