基于BERT-BiGRU-CRF與多頭注意力機(jī)制
所屬分類：技術(shù)論文
上傳者：wwei
文檔大?。?span>991 K
標(biāo)簽： 地理知識(shí)圖譜 命名實(shí)體識(shí)別 BERT預(yù)訓(xùn)練模型
所需積分：0分積分不夠怎么辦？
文檔介紹：地理知識(shí)圖譜作為一種科學(xué)領(lǐng)域的知識(shí)圖譜，從概念探討和初步實(shí)驗(yàn)階段快速發(fā)展為地理信息科學(xué)領(lǐng)域的跨學(xué)科研究熱點(diǎn)。地理命名實(shí)體識(shí)別是地理知識(shí)圖譜構(gòu)建的基礎(chǔ)，直接影響著地理知識(shí)圖譜的構(gòu)建效率與質(zhì)量。設(shè)計(jì)了一個(gè)地理知識(shí)圖譜應(yīng)用管理系統(tǒng)，針對(duì)其中地理實(shí)體庫(kù)構(gòu)建過(guò)程依賴人工制定規(guī)則以及信息提取不充分等問(wèn)題，面向地理知識(shí)圖譜構(gòu)建過(guò)程進(jìn)行地理命名實(shí)體識(shí)別研究。首先，通過(guò)人工標(biāo)注方法構(gòu)建了一個(gè)地理知識(shí)語(yǔ)料庫(kù)；其次，通過(guò)BERT預(yù)訓(xùn)練模型得到結(jié)合語(yǔ)境信息的動(dòng)態(tài)字向量，利用雙向門控循環(huán)單元提取全局語(yǔ)義特征，并基于注意力機(jī)制獲得增強(qiáng)語(yǔ)義特征；最后，通過(guò)CRF解碼輸出概率最大的全局最優(yōu)標(biāo)簽序列，實(shí)現(xiàn)地理命名實(shí)體的自動(dòng)識(shí)別。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)的BiLSTM-CRF、BERT-BiLSTM-CRF等模型，所提出的基于BERT-BiGRU-CRF與多頭注意力機(jī)制的模型在地理命名實(shí)體識(shí)別任務(wù)中表現(xiàn)更優(yōu)，能夠?yàn)榈乩碇R(shí)圖譜構(gòu)建提供有效支撐。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。