近日，王连生副教授课题组在nature机器智能子刊《nature machine intelligence》上发表论文《generalized radiograph representation learning via cross-supervision between images and free-text radiology reports》，提出了一种不需要标注的放射影像预训练方法。
近些年来，基于深度学习的方法在放射影像分析中取得了很好的效果，而预训练是取得这些成果的基础。预训练方法期望获得迁移性更好的图像表征，以往的预训练通过在源域上进行大规模全监督或者自监督学习来达到目的。但是，全监督的预训练需要图像的标签，制作标签是一个费时费力的工程，而自监督学习目前与全监督还有一定的差距。为了解决这个重要问题，论文提出一种交叉监督的方法：refers（reviewing free-text reports for supervision，refers），该方法使用放射影像自带的影像报告来作为监督信息进行预训练。refers使用transformer可以同时处理患者的多张放射影像，从而获得更加全面的信息。
实验结果表明，refers的性能不但优于其他迁移学习和自监督学习的方法，甚至超过了使用人工标签进行全监督得到的预训练模型。论文认为refers有很大的潜力可以取代以前的预训练方法。
上述工作由王连生副教授及其课题组成员陈潇宇、张英豪，与香港大学yizhou yu教授团队合作完成。王连生副教授为第一通讯作者，硕士生陈潇宇、张英豪为共同第一作者。
论文链接：