Meta AI 創(chuàng)建了可支持?jǐn)?shù)十種語(yǔ)言的語(yǔ)音翻譯器

巴別魚(yú)——經(jīng)典科幻小說(shuō)《銀河系漫游指南》中設(shè)想的翻譯動(dòng)物——的夢(mèng)想可能更接近現(xiàn)實(shí)?？萍季揞^ Meta 的研究人員創(chuàng)建了一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)，可以幾乎立即將 101 種語(yǔ)言的語(yǔ)音翻譯成語(yǔ)音合成器以 36 種目標(biāo)語(yǔ)言中的任意一種說(shuō)出的單詞。

大規(guī)模多語(yǔ)言和多模式機(jī)器翻譯 (SEAMLESSM4T) 系統(tǒng)還可以將語(yǔ)音翻譯為文本、文本翻譯為語(yǔ)音以及文本翻譯為文本。該結(jié)果于 1 月 1 日^發(fā)表在《自然》雜志上。

Meta 總部位于加利福尼亞州門(mén)洛帕克，運(yùn)營(yíng) Facebook、WhatsApp 和 Instagram 等社交媒體網(wǎng)站。Meta 表示，在成功發(fā)布 SEAMLESSM4T 的成功發(fā)布后，它正在將 SEAMLESSM4T 開(kāi)源給其他想要在其基礎(chǔ)上進(jìn)行開(kāi)發(fā)的研究人員。 LLaMA面向全球開(kāi)發(fā)人員的大型語(yǔ)言模型。

數(shù)據(jù)稀缺

機(jī)器翻譯在過(guò)去幾十年中取得了巨大進(jìn)步，這在很大程度上要?dú)w功于在大型數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的引入。主要語(yǔ)言（尤其是英語(yǔ)）的訓(xùn)練數(shù)據(jù)比比皆是，但許多其他語(yǔ)言的訓(xùn)練數(shù)據(jù)卻非常稀缺。這種不平等限制了機(jī)器可以訓(xùn)練翻譯的語(yǔ)言范圍。 “這會(huì)影響互聯(lián)網(wǎng)上不常出現(xiàn)的任何語(yǔ)言，”紐約州伊薩卡康奈爾大學(xué)的計(jì)算機(jī)科學(xué)家艾莉森·科內(nèi)克 (Allison Koenecke) 在該論文隨附的《新聞與觀點(diǎn)》文章中寫(xiě)道。機(jī)器人作家：語(yǔ)言生成人工智能的興起和風(fēng)險(xiǎn)

Meta 團(tuán)隊(duì)以之前的語(yǔ)音到語(yǔ)音翻譯²以及名為No Language Left Behind?³的項(xiàng)目為基礎(chǔ)，該項(xiàng)目旨在為大約 200 種語(yǔ)言提供文本到文本翻譯。根據(jù)經(jīng)驗(yàn)，Meta 和其他地方的研究人員發(fā)現(xiàn)，即使在訓(xùn)練數(shù)據(jù)有限的翻譯語(yǔ)言中，使翻譯系統(tǒng)成為多語(yǔ)言也可以提高其性能；為什么會(huì)發(fā)生這種情況尚不清楚。

該團(tuán)隊(duì)從互聯(lián)網(wǎng)和聯(lián)合國(guó)檔案等其他來(lái)源收集了數(shù)百萬(wàn)小時(shí)的演講音頻文件，以及人工生成的演講翻譯。作者還收集了其中一些演講的文字記錄。

該團(tuán)隊(duì)還使用可靠的數(shù)據(jù)來(lái)訓(xùn)練模型以識(shí)別兩個(gè)匹配的內(nèi)容。這使得研究人員能夠?qū)⒋蠹s 50 萬(wàn)小時(shí)的音頻與文本配對(duì)，并自動(dòng)將一種語(yǔ)言的每個(gè)片段與其他語(yǔ)言的對(duì)應(yīng)片段進(jìn)行匹配。