近日，由我校信息学院严严教授、王菡子教授、硕士生疏颖、厦门理工学院陈思副教授、伦敦大学学院薛景浩教授和浙江大学沈春华教授共同完成的论文“exploring spatial-semantic relationship for facial attribute recognition with limited labeled data”被国际学术期刊《international journal of computer vision》（ijcv）录用（doi：10.1007/s11263-023-01787-w）。ijcv是计算机科学领域顶级国际期刊之一，是中国计算机学会推荐的a类期刊，近五年的影响因子为11.478。
该论文针对标签数据有限的人脸属性识别问题提出了一种新的空间语义图像块学习网络。该网络由一个多分支共享子网络、三个辅助任务子网络和一个目标任务子网络组成。考虑到人脸属性的多样性，多分支共享子网络包括一个任务共享分支和四个局部分支，每个分支都包含用以提取局部区域特定特征的级联的双路交叉注意力模块。该空间语义图像块学习网络涉及两个阶段的训练。在第一阶段，在大规模无标签的人脸数据上进行多任务训练从而得到预训练好的多分支共享子网络，训练任务包括三个辅助任务：（1）图像块旋转识别任务，该任务基于自监督学习对面部图像的空间信息进行编码；（2）图像块分割任，该任务利用人脸解析模型捕获面部图像的像素级语义信息；（3）图像块分类任务，该任务利用人脸解析模型捕获面部图像的图像级语义信息。通过这三个任务的联合训练，网络可以更好地提取图像中的空间语义关系。在第二阶段，基于预训练好的多分支共享子网络，我们只需少量带标签数据即可轻松微调人脸属性识别子网络以预测面部属性。
图 1 一种基于空间语义图像块学习的人脸属性识别算法
该项研究获得了国家自然科学基金项目（项目批准号：62071404、u21a20514和61872307）、之江实验室开放研究项目（项目批准号：2021kg0ab02）、福建省自然科学基金项目（项目批准号：2020j01001）和厦门市青年创新基金项目（项目批准号：3502z20206046）的资助。