国内刊号:11-2175/TN
国际刊号:1002-7300
发布日期:
作者:黄嘉瑒,赵英亮,韩星程
单位:中北大学信息与通信工程学院 太原 030051
关键词:自闭症;显著性图;眼动轨迹;跨模态注意力机制;分类
基金:国家自然科学基金(62203405)、山西省应用基础研究计划基金(202303021212206)、山西省重点研发计划(202202110401015)项目资助
由于自闭症儿童早期在视觉注意方面存在异常,为早期干预提供了重要的区分标准。针对自闭症研究中对于模态间的语义对齐、动态交互等关注不足,本研究提出一种融合显著性图与眼动轨迹数据特征的多模态模型,为自闭症的诊断提供一种客观的实现方法。该方法构建了一个双流网络架构:采用U-Net特征提取器处理显著性图,利用时序卷积网络对眼动轨迹进行时序建模,为了实现两种不同模态数据间的动态加权融合,引入跨模态注意力机制。并在时序建模的过程中,同时进行眼动轨迹预测,额外将预测误差作为区分特征引入分类过程中,来提升模型的分类性能。通过对比实验验证,所提出的模型在自闭症早期筛查任务中取得了98.89%的准确率。
来源:2026年第2期
《电子测量技术》期刊编辑部