哈工大訊飛聯(lián)合實(shí)驗(yàn)室:摘得AI中文語法錯(cuò)誤自動(dòng)診斷大賽桂冠

人氣：10013 發(fā)布時(shí)間：2018-07-29

以前寫作文，老師改語病，如今，AI就能揪出問題。在語病糾錯(cuò)的武林江湖里，中文又比英文難得多。最近，一場通過AI檢測中文語病的“中文語法錯(cuò)誤自動(dòng)診斷大賽”上，哈工大訊飛聯(lián)合實(shí)驗(yàn)室摘得桂冠。
 第五屆中文語法錯(cuò)誤自動(dòng)診斷大賽（Chinese Grammatical Error Diagnosis，簡稱 CGED）剛在澳大利亞墨爾本舉辦。本屆CGED評(píng)測的參賽者可謂高手如云，團(tuán)隊(duì)包括中國社科院、阿里巴巴、北京大學(xué)、哈工大訊飛聯(lián)合實(shí)驗(yàn)室（下文簡稱HFL）等，最終由HFL競得冠軍。而上一屆的冠軍是阿里巴巴團(tuán)隊(duì)。
 寫完一篇作文，語文老師批改時(shí)從里面選出多余的詞、缺少的詞、使用不當(dāng)?shù)谋硎觥⒁约罢Z序不通的表述，然后一一改正過來。這樣的場景，現(xiàn)在已經(jīng)成為一場世界性的比賽——第五屆中文語法錯(cuò)誤自動(dòng)診斷大賽。今年第五屆的評(píng)測大會(huì)于上周四（2018年7月19日）在澳大利亞墨爾本舉行，這場比賽最終由哈工大訊飛聯(lián)合實(shí)驗(yàn)室摘得桂冠。
 比賽方式是，主辦方挑選了一些外國人寫作的中文句子片段，讓參賽者通過人工智能算法技術(shù)對(duì)其中的語法語義錯(cuò)誤進(jìn)行識(shí)別并進(jìn)行系統(tǒng)性能評(píng)估。
 比賽從四個(gè)維度對(duì)參賽者的能力進(jìn)行評(píng)估：語病識(shí)別（即：識(shí)別句子是否有錯(cuò)誤）、語病分類（識(shí)別具體的錯(cuò)誤類型）、語病定位（識(shí)別錯(cuò)誤的位置和類型）、語病修正（對(duì)于缺詞和錯(cuò)詞，提供修正的建議）。一共有13個(gè)團(tuán)隊(duì)參加了這項(xiàng)比賽。
 在這四項(xiàng)成績中，哈工大訊飛聯(lián)合實(shí)驗(yàn)室獲得了后三項(xiàng)的第一名、以及第一項(xiàng)的第二名，總體排名第一，首次參賽便摘得冠軍。
 值得一提的是，去年的比賽只有三項(xiàng)成績，第四項(xiàng)“語病修正”是今年才增加的比賽分項(xiàng)。和去年相比，除了“指出問題”，還提供“解決答案”，其難度更上一級(jí)。在“語病修正”的任務(wù)中，在“第一候選”或“前三候選”項(xiàng)，HFL分別獲得0.1723分和0.2527分，以絕對(duì)領(lǐng)先的成績排第一名。也就是說，在13個(gè)參賽團(tuán)隊(duì)中，HFL做語法改錯(cuò)題成績最棒。
 為什么可以在“語病修正”任務(wù)中斬獲佳績？
 科大訊飛研究院北京分院副院長、哈工大訊飛聯(lián)合實(shí)驗(yàn)室主任助理付瑞吉分析，因?yàn)閰①愊到y(tǒng)采取了端到端的神經(jīng)網(wǎng)絡(luò)模型與詞匯點(diǎn)互信息相結(jié)合，將語病位置空出，根據(jù)上下文以及語病信息對(duì)于該位置正確的詞匯進(jìn)行推測。擁有極強(qiáng)探索精神的你，可以直接英語論文深究其中原理.糾錯(cuò)語法AI冠軍如何誕生？
 通過神經(jīng)網(wǎng)絡(luò)序列標(biāo)注模型生成
 怎么區(qū)分“靜靜的頓河”與“靜靜地等待”這兩個(gè)短句中，“的”和“地”有何區(qū)別？哈工大訊飛聯(lián)合實(shí)驗(yàn)室出品的AI神器就能做得到！靠的是對(duì)神經(jīng)網(wǎng)絡(luò)序列標(biāo)注模型BiLSTM-CRF進(jìn)行改進(jìn)。
 付瑞吉分析，這次HFL的AI可以獲得冠軍，有賴于對(duì)神經(jīng)網(wǎng)絡(luò)序列標(biāo)注模型BiLSTM-CRF進(jìn)行改進(jìn)，包括底層的整個(gè)模型、單模型內(nèi)部的融合、模型外的融合三大板塊。具體而言——
 第一，將詞向量、統(tǒng)計(jì)、先驗(yàn)的語法知識(shí)相融合，如漢語語言習(xí)慣用法等統(tǒng)計(jì)特征，比如“靜靜的頓河”和“靜靜地等待”中結(jié)構(gòu)助詞“的”和“地”的使用會(huì)根據(jù)上下文的詞性而決定；
 第二，采用模型內(nèi)部融合的技術(shù)，將多個(gè)BiLSTM單模型的輸出加權(quán)融合，再經(jīng)過CRF計(jì)算最終結(jié)果；
 第三，采用了模型選取、模型排序等外部融合方法，發(fā)揮了不同模型的優(yōu)勢。
 總體來說，這三項(xiàng)“黑科技”讓哈工大訊飛聯(lián)合實(shí)驗(yàn)室出品的AI可以獲得更好的語感，從而摘冠。