科学岛团队在“闻声识智”研究方面取得新进展

近(jìn)日(rì)，中(zhōng)国(guó)科(kē)学(xué)院(yuàn)合(hé)肥(féi)物(wù)质(zhì)院(yuàn)健(jiàn)康(kāng)所(suǒ)李(li)海(hǎi)研(yán)究(jiū)员(yuán)团(tuán)队(duì)在(zài)利(lì)用(yòng)语(yǔ)音(yīn)信(xìn)号(hào)辅(fǔ)助(zhù)评(píng)估(gū)(gū)阿(ā)(ā)尔(ěr)(ěr)茨(cí)(cí)海(hǎi)(hǎi)默(mò)(mò)病(bìng)(bìng)（AD）的(de)(de)研(yán)(yán)究(jiū)(jiū)中(zhōng)(zhōng)取(qǔ)(qǔ)得(de)(de)重(zhòng)要(yào)进(jìn)展(zhǎn)。相(xiāng)关成(chéng)果(guǒ)发(fā)表(biǎo)在(zài)计(jì)算(suàn)机(jī)与(yǔ)医(yī)学(xué)领(lǐng)域TOP期(qī)刊(kān)IEEE Journal of Biomedical and Health Informatics上(shàng)。

阿(ā)尔(ěr)茨(cí)海(hǎi)默(mò)病(bìng)是(shì)最(zuì)常(cháng)见(jiàn)的(de)神(shén)经(jīng)退(tuì)行(xíng)性(xìng)疾(jí)病(bìng)，随(suí)着(zhe)患(huàn)病(bìng)率(lǜ)逐(zhú)年(nián)上(shàng)升(shēng)，早(zǎo)期(qī)检(jiǎn)测(cè)和评估对改善患者生活质量至关重要。研究表明，语言功能衰退是AD患者认知功能下降的早期表现之一。近年来，自动化言语分析因其无创、便捷和低成本等特点成为AD检测领域的研究热点。然而，当前研究普遍存在(zài)模(mó)型(xíng)复(fù)杂(zá)度(dù)高(gāo)、可(kě)解(jiě)释(shì)性(xìng)差(chà)的(de)问(wèn)题(tí)，同(tóng)时(shí)未(wèi)能(néng)充(chōng)分(fēn)挖(wā)掘(jué)不(bù)同(tóng)模(mó)态(tài)间(jiān)的(de)交(jiāo)互(hù)信(xìn)息(xi)，影(yǐng)响(xiǎng)了(le)检(jiǎn)测(cè)精(jīng)度(dù)，也(yě)限(xiàn)制(zhì)了(le)自(zì)动(dòng)化(huà)言(yán)语(yǔ)分(fēn)析(xī)在(zài)临(lín)床(chuáng)中(zhōng)的(de)进(jìn)一(yī)步(bù)推(tuī)广(guǎng)。

为(wèi)解(jiě)决(jué)这(zhè)一(yī)挑(tiāo)战(zhàn)，研(yán)究团队提出了一种联合混合注意力机制与多模态表征的多任务学习框架（DEMENTIA）。该框架结合大语言模型技术，融合了语音、文本和专家知识，通过混合注意力机制充分捕获模态内及模态间的交互关系，提高了(le)AD检(jiǎn)测(cè)精(jīng)度(dù)，并(bìng)且(qiě)可(kě)以(yǐ)预(yù)测(cè)认(rèn)知(zhī)功(gōng)能(néng)评(píng)分(fēn)。此(cǐ)外(wài)，团(tuán)队(duì)对(duì)各(gè)模(mó)态(tài)表(biǎo)征(zhēng)及(jí)决(jué)策(cè)进(jìn)行(xíng)了(le)详(xiáng)尽(jǐn)的(de)可(kě)解(jiě)释(shì)性(xìng)分(fēn)析(xī)，验(yàn)证(zhèng)了(le)模(mó)型(xíng)对(duì)临(lín)床(chuáng)决(jué)策(cè)的(de)支(zhī)持(chí)能(néng)力(lì)，并(bìng)测(cè)试(shì)了(le)模(mó)型(xíng)的(de)泛化性能。总之，团队的研究成果展现了言语在AD早期筛查与认知衰退监测方面的巨大潜力，对应对人口老龄化带来的认知衰退问题有重要科研和社(shè)会(huì)价(jià)值(zhí)。

李(li)海(hǎi)研(yán)究(jiū)员(yuán)一(yī)直(zhí)致(zhì)力(lì)于(yú)基(jī)于(yú)语(yǔ)音(yīn)的(de)认(rèn)知(zhī)、心(xīn)理(lǐ)评(píng)估(gū)研(yán)究(jiū)，并(bìng)取(qǔ)得(de)了(le)一(yī)系(xì)列(liè)成(chéng)果(guǒ)。课(kè)题(tí)组(zǔ)发(fā)展(zhǎn)了(le)通(tōng)用(yòng)言(yán)语(yǔ)认(rèn)知(zhī)评(píng)估(gū)技(jì)术(shù)和(hé)框(kuāng)架(jià)，不(bù)仅(jǐn)能(néng)够(gòu)协(xié)助(zhù)老(lǎo)龄(líng)化社会的痴呆防治(zhì)工(gōng)作(zuò)，也(yě)有(yǒu)望(wàng)应(yīng)用(yòng)于(yú)青(qīng)少(shǎo)年(nián)心(xīn)理(lǐ)健(jiàn)康(kāng)监(jiān)测(cè)和(hé)学(xué)生(shēng)心(xīn)理(lǐ)评(píng)估(gū)等(děng)方(fāng)面(miàn)。

联(lián)合(hé)混(hùn)合(hé)注(zhù)意(yì)力(lì)机(jī)制(zhì)与(yǔ)多(duō)模(mó)态表征的多任务学习AD评估框架