1 簡介
最先進(jìn)的機器翻譯系統(tǒng)，包括基于短語的統(tǒng)計機器翻譯方法、最近出現(xiàn)的基于神經(jīng)網(wǎng)絡(luò)的翻譯方法，嚴(yán)重依賴于對齊的平行訓(xùn)練語料。然而，實際收集這些平行語料數(shù)據(jù)的代價非常大，因此語料的規(guī)模也往往有限，這將會限制相關(guān)的研究和應(yīng)用。
我們知道在互聯(lián)網(wǎng)中存在海量的單語數(shù)據(jù)，很自然的想到，能否利用它們?nèi)ヌ嵘龣C器翻譯系統(tǒng)的效果呢？實際上，基于這個想法，研究人員已經(jīng)提出了許多不同的方法，這里可以粗略的分為兩類。第一類，目標(biāo)語言的單語語料被用于訓(xùn)練語言模型，然后集成到翻譯模型（從平行雙語語料中訓(xùn)練出）中，最終提升翻譯質(zhì)量。第二類，通過使用翻譯模型（從對齊的平行語料中訓(xùn)練）從單語數(shù)據(jù)中生成偽雙語句對，然后在后續(xù)的訓(xùn)練過程中，這些偽雙語句對被用于擴充訓(xùn)練數(shù)據(jù)。盡管上述方法能夠在一定程度上提升翻譯系統(tǒng)的效果，但是它們依然存在一定的局限性。第一類的方法只使用了單語數(shù)據(jù)來訓(xùn)練語言模型，并沒有解決平行訓(xùn)練數(shù)據(jù)不足這個問題。盡管第二類方法可以擴充平行訓(xùn)練數(shù)據(jù)，但是并不能保證偽雙語句對的質(zhì)量。
在這篇文章中，劉鐵巖團(tuán)隊提出了一種Dual-Learning（對偶學(xué)習(xí)）機制，可以有效地利用單語數(shù)據(jù)（源語言與目標(biāo)語言）。通過使用他們提出的機制，單語數(shù)據(jù)與平行雙語數(shù)據(jù)扮演著相似的角色，在訓(xùn)練過程中，可以顯著降低對平行雙語數(shù)據(jù)的要求。對偶學(xué)習(xí)機制應(yīng)用在機器翻譯中，可以想象成兩個agent（機器）在玩通信游戲，如下圖所示，
第一個機器，只理解語言A，通過噪聲信道，發(fā)送一條信息（是語言A）給第二個機器，噪聲信道通過翻譯模型會將語言A轉(zhuǎn)換成語言B；
第二個機器，只理解語言B，接收到翻譯過來的信息（是語言B）。它檢查這條信息，并通知第一個機器（第二個機器可能無法確認(rèn)這個翻譯的正確性，因為它不知道原始的消息）。然后，它通過另一個噪聲信道（使用另外一個翻譯模型，將接收到的消息從語言B轉(zhuǎn)換為語言A）將接收到的信息發(fā)送給第一個機器。
從第二個機器接收到信息后，第一個機器會檢查它，并通知第二個機器它接收到的信息是否包含它原來的信息。通過這個反饋，兩個機器就可以知道這兩個通信信道（也就是兩個翻譯模型）表現(xiàn)是否良好以及能否提高它們的效果。
這個游戲也可以從第二個機器開始，那么原始的消息就是語言B，這兩個機器將會經(jīng)過一個對稱化的過程，通過反饋從而提高兩個信道（翻譯模型）的效果。
