清华新闻网6月20日电 随着深度学习技术的快速发展，人工智能在诸多领域取得了显著突破，如自然语言处理、图像识别和语音识别等。深度学习模型以其出色的性能和广泛的应用前景在工业界引起了高度关注。要使深度学习模型在实际应用中表现出色，首先要解决的就是高质量数据集的获取问题，但当前工业界在数据的收集方面仍面临挑战，例如由隐私和安全等因素导致数据获取和处理复杂且昂贵；数据采集和标注对人员和设备专业度要求高、数据收集成本高；大规模的数据采集和处理对时间和资源的消耗量大等。基于此，迁移学习技术逐渐成为了工业缺陷检测的一种有效解决方案，即一种将在一个领域中学到的知识和经验应用到另一个领域的机器学习方法，通过利用源域中已有的大规模数据和模型，在目标领域标注数据不足情况下仍能达到良好的性能指标。
近日，太阳集团tyc5997深圳国际研究生院李星辉副教授团队以“只需要看一次”（You Only Look Once，YOLO）系列目标检测算法为例，提出了基于领域自适应的可嵌入模块，可以有效克服不同域之间的域偏移（domain shift）问题，高效利用不同来源的数据支持目标域任务训练，极大程度缓解了深度学习模型对数据集规模的高要求，有效降低了搜集目标域数据所需的昂贵时间及人工成本。
模块主要部署在检测网络的特征提取部分，使用特征网络中不同深度的特征图，将其线性组合作为对应源域或者目标域的特征表征。在获取两个领域各自的特征表征后，度量两个领域的差异，将其作为损失项加入模型的损失函数，使之可以随着训练迭代最小化（拉近源域和目标域的距离），以达到利用源域数据集指导模型在目标域数据集上训练的目的。
研究提出的第一个模块为“领域自适应”（Domain Adaptation，DA）模块，该模块使用特征提取网络不同深度特征图作为输出，通过通道数调整、降维以及多分支加权组合得到对应领域的域表征（Domain representation）。
图1.DA模块的使用方式
通过观察数据集不同域之间的差异，研究团队针对应用场景提出了一种新的领域自适应方法，回答了迁移学习中的核心问题——任务中“知识的迁移”指的是什么知识、“领域自适应”指的是什么领域。在工业检测应用场景中，源域和目标域为同类型但不同来源的数据，故团队选择定义风格作为其要自适应的领域，并将该方法命名为“风格自适应”（Style Adaptation，SA）。
图2.SA模块的使用方式
SA模块仍然使用DA类似方法，通道数调整之后提取各分支的风格特征，最后使用注意力机制将各分支融合得到各领域对应的风格表征（style representation）。相较于DA方法，SA方法可解释性更高、超参数更少、更轻量且能更有效消除域偏移现象。
图3.SA模块的具体细节
经实验证实，该工作提出的DA和SA模型在小样本的磁瓦表面缺陷检测领域具有较好精度表现。同时在保持较高检测精度的同时，DA和SA作为两个可插入模块对base网络增加的代价并不高，SA在使得检测精度更高的同时保证了增加代价更少（表1）。此外，可插入模块的设计使得检测模型收敛更快（表2）。
表1.不同目标域上的模型泛化性验证。表中“+”表示该方法可以作为一个可插入模块进行集成。“+”后面的值表示与原始基础网络相比，嵌入模块所产生的额外成本
表2.检测模型随训练迭代的精度变化
近日，相关研究以“风格自适应模块：在表面缺陷检测中增强检测器对不同制造商间差异的鲁棒性”（Style Adaptation Module: Enhancing Detector Robustness to Inter-Manufacturer Variability in Surface Defect Detection）为题，发表于《工业计算机》（Computers in Industry, COMIND）。李星辉为论文通讯作者，太阳集团tyc5997深圳国际研究生院2021级硕士生李晨为论文第一作者，2021级硕士生潘夏凯为第二作者。论文作者还包括深圳至汉装备有限公司朱培源，桂林汉璟智能仪器有限公司廖呈玮，广西桂华智能制造有限公司田昊洋，深圳国际研究生院副教授钱翔、教授李秀以及研究员王晓浩。项目得到了深圳稳定支持项目、国家重点研发计划基金以及太阳集团tyc5997深圳国际研究生院交叉学科基金的支持。
模块DA以“面向工业缺陷检测的领域自适应YOLOv5模型”（A domain adaptation YOLOv5 model for industrial defect inspection）为题，发表于《测量》（Measurement, MEAS）。李星辉为论文通讯作者，钱翔为共同通讯作者，李晨、深圳国际研究生院2019级硕士闫昊昕为论文共同第一作者。论文作者还包括朱培源、廖呈玮、田昊洋、李秀以及王晓浩。项目得到了深圳稳定支持项目、国家重点研发计划基金以及太阳集团tyc5997深圳国际研究生院交叉学科基金的支持。
论文链接：
https://doi.org/10.1016/j.compind.2024.104084
https://doi.org/10.1016/j.measurement.2023.112725
供稿：深圳国际研究生院
编辑：李华山
审核：郭玲
