1 簡介

最先進(jìn)的機(jī)器翻譯系統(tǒng)，包括基于短語的統(tǒng)計(jì)機(jī)器翻譯方法、最近出現(xiàn)的基于神經(jīng)網(wǎng)絡(luò)的翻譯方法，嚴(yán)重依賴于對齊的平行訓(xùn)練語料。然而，實(shí)際收集這些平行語料數(shù)據(jù)的代價(jià)非常大，因此語料的規(guī)模也往往有限，這將會(huì)限制相關(guān)的研究和應(yīng)用。

我們知道在互聯(lián)網(wǎng)中存在海量的單語數(shù)據(jù)，很自然的想到，能否利用它們?nèi)ヌ嵘龣C(jī)器翻譯系統(tǒng)的效果呢？實(shí)際上，基于這個(gè)想法，研究人員已經(jīng)提出了許多不同的方法，這里可以粗略的分為兩類。第一類，目標(biāo)語言的單語語料被用于訓(xùn)練語言模型，然后集成到翻譯模型（從平行雙語語料中訓(xùn)練出）中，最終提升翻譯質(zhì)量。第二類，通過使用翻譯模型（從對齊的平行語料中訓(xùn)練）從單語數(shù)據(jù)中生成偽雙語句對，然后在后續(xù)的訓(xùn)練過程中，這些偽雙語句對被用于擴(kuò)充訓(xùn)練數(shù)據(jù)。盡管上述方法能夠在一定程度上提升翻譯系統(tǒng)的效果，但是它們依然存在一定的局限性。第一類的方法只使用了單語數(shù)據(jù)來訓(xùn)練語言模型，并沒有解決平行訓(xùn)練數(shù)據(jù)不足這個(gè)問題。盡管第二類方法可以擴(kuò)充平行訓(xùn)練數(shù)據(jù)，但是并不能保證偽雙語句對的質(zhì)量。

在這篇文章中，劉鐵巖團(tuán)隊(duì)提出了一種Dual-Learning（對偶學(xué)習(xí)）機(jī)制，可以有效地利用單語數(shù)據(jù)（源語言與目標(biāo)語言）。通過使用他們提出的機(jī)制，單語數(shù)據(jù)與平行雙語數(shù)據(jù)扮演著相似的角色，在訓(xùn)練過程中，可以顯著降低對平行雙語數(shù)據(jù)的要求。對偶學(xué)習(xí)機(jī)制應(yīng)用在機(jī)器翻譯中，可以想象成兩個(gè)agent（機(jī)器）在玩通信游戲，如下圖所示，

萬碼學(xué)堂,電腦培訓(xùn),計(jì)算機(jī)培訓(xùn),Java培訓(xùn),JavaEE開發(fā)培訓(xùn),青島軟件培訓(xùn),軟件工程師培訓(xùn)

  1. 第一個(gè)機(jī)器，只理解語言A，通過噪聲信道，發(fā)送一條信息（是語言A）給第二個(gè)機(jī)器，噪聲信道通過翻譯模型會(huì)將語言A轉(zhuǎn)換成語言B；

  2. 第二個(gè)機(jī)器，只理解語言B，接收到翻譯過來的信息（是語言B）。它檢查這條信息，并通知第一個(gè)機(jī)器（第二個(gè)機(jī)器可能無法確認(rèn)這個(gè)翻譯的正確性，因?yàn)樗恢涝嫉南ⅲＨ缓?，它通過另一個(gè)噪聲信道（使用另外一個(gè)翻譯模型，將接收到的消息從語言B轉(zhuǎn)換為語言A）將接收到的信息發(fā)送給第一個(gè)機(jī)器。

  3. 從第二個(gè)機(jī)器接收到信息后，第一個(gè)機(jī)器會(huì)檢查它，并通知第二個(gè)機(jī)器它接收到的信息是否包含它原來的信息。通過這個(gè)反饋，兩個(gè)機(jī)器就可以知道這兩個(gè)通信信道（也就是兩個(gè)翻譯模型）表現(xiàn)是否良好以及能否提高它們的效果。

  4. 這個(gè)游戲也可以從第二個(gè)機(jī)器開始，那么原始的消息就是語言B，這兩個(gè)機(jī)器將會(huì)經(jīng)過一個(gè)對稱化的過程，通過反饋從而提高兩個(gè)信道（翻譯模型）的效果。

    5. 延伸閱讀

    學(xué)習(xí)是年輕人改變自己的最好方式-Java培訓(xùn),做最負(fù)責(zé)任的教育,學(xué)習(xí)改變命運(yùn),軟件學(xué)習(xí),再就業(yè),大學(xué)生如何就業(yè),幫大學(xué)生找到好工作,lphotoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動(dòng)軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計(jì)培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)學(xué)習(xí)是年輕人改變自己的最好方式