大規(guī)模異構(gòu)數(shù)據(jù)遷移的自適應(yīng)清洗與智能轉(zhuǎn)換框架[其他][其他]

在數(shù)字化轉(zhuǎn)型背景下，傳統(tǒng)集中式數(shù)據(jù)庫向分布式架構(gòu)遷移面臨異構(gòu)數(shù)據(jù)模型語義沖突、業(yè)務(wù)連續(xù)性要求、人工轉(zhuǎn)換低效等核心挑戰(zhàn)。提出智能轉(zhuǎn)換框架AUTOMIG，其核心創(chuàng)新在于深度挖掘數(shù)據(jù)內(nèi)在關(guān)聯(lián)的智能決策機(jī)制與適應(yīng)大規(guī)模異構(gòu)環(huán)境的高效執(zhí)行引擎。AUTOMIG創(chuàng)新性地利用圖神經(jīng)網(wǎng)絡(luò)自動(dòng)發(fā)現(xiàn)隱含于數(shù)據(jù)庫模式中的復(fù)雜表間關(guān)聯(lián)，并結(jié)合多目標(biāo)優(yōu)化模型智能決策最優(yōu)存儲(chǔ)方案，提升跨模型轉(zhuǎn)換的自動(dòng)化程度。同時(shí)，框架設(shè)計(jì)獨(dú)特的雙模式日志捕獲與流批協(xié)同清洗管道，實(shí)現(xiàn)對(duì)海量歷史數(shù)據(jù)與高頻實(shí)時(shí)變更數(shù)據(jù)的低延遲、高可靠同步與清洗。該框架成功實(shí)現(xiàn)了在容器化平臺(tái)上的部署并以大規(guī)模教育培訓(xùn)系統(tǒng)數(shù)據(jù)遷移為典型應(yīng)用案例實(shí)踐驗(yàn)證。結(jié)果表明其圖神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的關(guān)聯(lián)發(fā)現(xiàn)顯著提升了復(fù)雜查詢性能，而雙模式協(xié)同執(zhí)行引擎則大幅縮短了遷移總耗時(shí)并優(yōu)化了資源利用效率，為企業(yè)數(shù)字化轉(zhuǎn)型提供了可靠的技術(shù)支撐和實(shí)踐路徑。

發(fā)表于：10/15/2025 3:17:00 PM