近日,信息學院王連生副教授課題組在Nature機器智慧子刊Nature Machine Intelligence發表論文《Generalized Radiograph Representation Learning via Cross-supervision between Images and Free-text Radiology Reports》,提出了一種不需要標注的放射影像預訓練方法。
近些年來,基於深度學習的方法在放射影像分析中取得了很好的效果,而預訓練是取得這些成果的基礎。預訓練方法期望獲得遷移性更好的影像表徵,以往的預訓練通過在源域上進行大規模全監督或者自監督學習來達到目的。但是,全監督的預訓練需要影像的標籤,製作標籤是一個費時費力的工程,而自監督學習現時與全監督還有一定的差距。為了解决這個重要問題,論文提出一種交叉監督的方法:REFERS(Reviewing FreE-text Reports for Supervision,REFERS),該方法使用放射影像自帶的影像報告來作為監督資訊進行預訓練。REFERS使用transformer可以同時處理患者的多張放射影像,從而獲得更加全面的資訊。
論文的實驗結果表明,REFERS的效能不但優於其他遷移學習和自監督學習的方法,甚至超過了使用人工標籤進行全監督得到的預訓練模型。論文認為REFERS有很大的潜力可以取代以前的預訓練方法。
上述工作由王連生副教授及其課題組成員陳瀟宇、張英豪,以及香港大學Yizhou Yu教授團隊合作完成。王連生副教授擔任第一通訊作者,碩士生陳瀟宇、張英豪擔任共同第一作者。
論文連結:https://www.nature.com/articles/s42256-021-00425-9