(照:微軟亞洲研究院副院長、自然語言計算組負責人 周明)
繼在語音辨識和機器閱讀領域取得的“過人”成績,由微軟亞洲研究院與雷德蒙研究院的研究人員組成的團隊今(15)日宣佈,其研發的機器翻譯系統在通用新聞報導測試集newstest2017的中翻英測試集上,達到了可與人工翻譯媲美的水準。這是第一個在新聞報導的翻譯品質和準確率上可以比肩人工翻譯的翻譯系統。
newstest2017新聞報導測試集由產業界和學術界的合作夥伴共同開發,並於去年秋天在WMT17大會上發佈。為了確保翻譯結果準確且達到人類的翻譯水準,微軟研究團隊邀請了雙語語言顧問將微軟的翻譯結果與兩個獨立的人工翻譯結果進行了比較評估。
微軟技術院士,負責微軟語音、自然語言和機器翻譯工作的黃學東稱,這是對自然語言處理領域最具挑戰性任務的一項重大突破。「在機器翻譯方面達到與人類相同的水準是所有人的夢想,我們沒有想到這麼快就能實現。」他表示,「消除語言障礙,代表人們的溝通進步,這非常有意義,值得我們多年來為此付出的努力。」
機器翻譯是科研人員攻堅了數十年的研究領域,曾經很多人都認為機器翻譯根本不可能達到人類翻譯的水準。雖然此次突破意義非凡,但研究人員也提醒大家,這並不代表人類已經完全解決了機器翻譯的問題,只能說明我們離終極目標又更近了一步。微軟亞洲研究院副院長、自然語言計算組負責人周明表示,在WMT17測試集上的翻譯結果達到人類水準很鼓舞人心,但仍有很多挑戰需要我們解決,比如在即時的新聞報導上測試系統等。
微軟機器翻譯團隊研究經理Arul Menezes表示,團隊想要證明的是:當一種語言對(比如中-英)擁有較多的訓練資料,且測試集中包含的是常見的大眾類新聞詞彙時,那麼在人工智慧技術的加持下機器翻譯系統的表現可以與人類媲美。
雖然學術界和產業界的科研人員致力於機器翻譯研究很多年,但近兩年深度神經網路的使用讓機器翻譯的表現取得了很多實質性突破,翻譯結果相較於以往的統計機器翻譯結果更加自然流暢。為了能夠取得中-英翻譯的里程碑式突破,來自微軟亞洲研究院和雷德蒙研究院的三個研究組,進行了跨越中美時區、跨越研究領域的聯合創新。
其中,微軟亞洲研究院機器學習組將他們的最新研究成果 - 對偶學習(Dual Learning)和推敲網路(Deliberation Networks)應用在此次取得突破的機器翻譯系統中。微軟亞洲研究院副院長、機器學習組負責人劉鐵岩介紹道,「這兩個技術的研究靈感其實都來自於我們人類的做事方式。」對偶學習利用的是人工智慧任務的天然對稱性。當我們將其應用在機器翻譯上時,效果就好像是通過自動校對來進行學習 - 當我們把訓練集中的一個中文句子翻譯成英文之後,系統會將相應的英文結果再翻譯回中文,並與原始的中文句子進行比對,進而從這個比對結果中學習有用的回饋資訊,對機器翻譯模型進行修正。而推敲網路則類似於人們寫文章時不斷推敲、修改的過程。通過多輪翻譯,不斷地檢查、改善翻譯結果,從而使翻譯的品質大幅提升。對偶學習和推敲網路的工作發表在NIPS、ICML、AAAI、IJCAI等人工智慧的全球頂級會議上,並且已被其他學者推廣到機器翻譯以外的研究領域。
周明帶領的自然語言計算組多年來一直致力於攻克機器翻譯,這一自然語言處理領域最具挑戰性的研究任務。周明表示:「由於翻譯沒有唯一的標準答案,它更像是一種藝術,因此需要更加複雜的演算法和系統去應對。」自然語言計算組基於之前的研究積累,在此次的系統模型中增加了另外兩項新技術:聯合訓練(Joint Training)和一致性規範(Agreement Regularization),以提高翻譯的準確性。聯合訓練可以理解為用反覆運算的方式去改進翻譯系統,用中英翻譯的句子對去補充反向翻譯系統的訓練資料集,同樣的過程也可以反向進行。一致性規範則讓翻譯可以從左到右進行,也可以從右到左進行,最終讓兩個過程生成一致的翻譯結果。
可以說,兩個研究組分別將各自所在領域的累積與最新發現應用在此次的機器翻譯系統中,從不同角度切入,讓翻譯品質大幅提升。在專案合作過程中,他們每週都會與雷德蒙總部的團隊開會討論,確保技術可以無縫融合,系統可以快速反覆運算。