中新網(wǎng)北京12月31日電 (宋佳)在北京智源人工智能研究院自然語言處理(簡稱NLP)重大研究方向前沿技術(shù)開放日活動上，由清華大學(xué)教授孫茂松帶領(lǐng)的團(tuán)隊發(fā)布了機(jī)器中文語言能力評測基準(zhǔn)“智源指數(shù)”(CUGE)。
團(tuán)隊代表31日對媒體表示，人工智能大模型時代，評測基準(zhǔn)成為大模型發(fā)展的風(fēng)向標(biāo)。從扁平到全面系統(tǒng)，從簡化到多重維度，“智源指數(shù)”旨在嘗試為大模型評測設(shè)計一張全面評估綜合能力的新“考卷”。
具體來說，“智源指數(shù)”根據(jù)人類語言考試大綱和當(dāng)前NLP研究現(xiàn)狀，以“語言能力—任務(wù)—數(shù)據(jù)集”的分層框架來選擇和組織數(shù)據(jù)集，涵蓋7種重要的語言能力、17個主流NLP任務(wù)和19個代表性數(shù)據(jù)集。在評分策略上，“智源指數(shù)”提供不同層次的模型性能評分。
為促進(jìn)“智源指數(shù)”的共建共享，提升其易用性，該團(tuán)隊同時發(fā)布了在線評測平臺和公開排行榜，并表示將“定期吸納最新優(yōu)秀數(shù)據(jù)集”，以及“建立用戶面向數(shù)據(jù)集和評測結(jié)果的反饋、討論機(jī)制，構(gòu)建起中文高質(zhì)量數(shù)據(jù)集社區(qū)”。
北京語言大學(xué)教授、國家語言文字工作委員會原副主任李宇明認(rèn)為，這些舉措將推進(jìn)中文信息處理工作前進(jìn)，促進(jìn)中文在人類社會中發(fā)揮更大的作用。
中國工程院院士、中國人工智能學(xué)會理事長戴瓊海也表示，孫茂松教授帶領(lǐng)智源NLP學(xué)者共同建立的成果，對中文信息處理乃至中國人工智能的發(fā)展都具有重要意義。
除“智源指數(shù)”外，本次開放日活動還進(jìn)行了“自然語言處理評測中的問題與對策”“邁向通用連續(xù)型知識庫”“文本復(fù)述生成”等研究成果的階段性匯報，內(nèi)容涵蓋預(yù)訓(xùn)練模型、知識計算、人機(jī)對話、文本生成等十余項重點NLP科研問題。
據(jù)介紹，在智源研究院的支持下，自然語言處理重大研究方向?qū)W者團(tuán)隊積極探索自然語言處理新格局。在落地應(yīng)用方面，清華大學(xué)教授李涓子團(tuán)隊構(gòu)建的“多模態(tài)北京旅游知識圖譜”，可為路徑規(guī)劃和景點信息查詢等功能提供數(shù)據(jù)支持，并且可為游客進(jìn)行旅游行程的規(guī)劃。
而在預(yù)訓(xùn)練大模型方面，為突破預(yù)訓(xùn)練語言模型的高計算成本、高設(shè)備需求、難應(yīng)用適配等問題，清華大學(xué)副教授劉知遠(yuǎn)等提出了面向PLM的全流程高效計算框架，并基于此框架構(gòu)建了以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型CPM—2。
作為代表性創(chuàng)新型研究院，智源研究院力求通過構(gòu)筑協(xié)作社區(qū)，打造用于未來研究的計算和數(shù)據(jù)平臺。該院于2019年4月啟動“智源學(xué)者計劃”，這項計劃在人工智能的數(shù)理基礎(chǔ)、人工智能的認(rèn)知神經(jīng)基礎(chǔ)、機(jī)器學(xué)習(xí)、自然語言處理等研究方向，支持學(xué)者自由探索。這項計劃更推崇青年人才挑大梁、當(dāng)主角。(完)