一项新研究显示，基于放射影像进行临床诊断的 AI 模型尚未成熟。
研究人员常认为放射学是 AI 有潜力革新的领域，因为视觉或多模态模型在识别图像方面表现出色。基于充分的训练，假设 AI 模型能够像医学专家一样准确读取 X 光片和计算机断层扫描 (CT) 图像。
为了验证这一假设，来自 Johns Hopkins University、University of Bologna、Istanbul Medipol University 和 Italian Institute of Technology 的研究人员认为，首先需要构建一个更好的基准测试来评估视觉语言模型。
作者 Yixiong Chen, Wenjie Xiao, Pedro R. A. S. Bassi, Xinze Zhou, Sezgin Er, Ibrahim Ethem Hamamci, Zongwei Zhou 和 Alan Yuille 在题为 "Are Vision Language Models Ready for Clinical Diagnosis? A 3D Medical Benchmark for Tumor-centric Visual Question Answering"（视觉语言模型准备好用于临床诊断了吗？以肿瘤为中心的 3D 医学视觉问答基准）的预印本论文中解释了多个原因。
首先，大多数现有临床数据集规模较小且记录不够多样化，科学家们认为这是由于让专家标注数据所需的高成本和耗时所致。
其次，这些数据集通常依赖 2D 数据，这意味着 AI 有时无法从 3D CT 扫描中获得学习资源。
第三，用于自动评估机器学习模型的算法，如 BLEU 和 ROUGE，在处理简短且基于事实的医学答案时表现不佳。
此外，现有数据集可能采用了私有和机构内部的数据，这些数据无法供后续研究使用。
因此，作者开发了 DeepTumorVQA——一个专注于 CT 扫描中腹部肿瘤的诊断视觉问答 (VQA) 基准测试。
DeepTumorVQA 基于来自 17 个公共数据集的 9,262 个 CT 体积（共 3.7M 切片）构建，并辅以 395,000 个专家级问题，涉及识别、测量、视觉推理和医学推理四个类别。
23 位持证放射科医师花费六个月时间手动标注了患者肝脏、肾脏、胰腺和结肠上 3D 图像中显示的 7,629 个病灶，随后他们还共同核对标注以达成共识。病灶指的是扫描中显示的异常组织，诊断可以确定其是良性还是恶性。
依托这一基准数据，研究人员着手评估五个专为医疗设计的视觉模型：RadFM、M3D（其中一个基于 Llama2，另一个基于 Phi-3）、Merlin 和 CT-CHAT。
图表展示了 DeepTumorVQA 的问题（点击放大）。
作者从四个类别对这些模型进行了评估：器官和病灶体积测量的准确性；识别诸如病灶等特征的能力；基于视觉信息进行推理的能力（例如判断两只肾脏中哪只较大）；以及医学推理（例如鉴别某一病灶是良性囊肿还是恶性肿瘤）。
符合 Betteridge 定律，作者对 “视觉语言模型是否准备好进行临床诊断？” 的回答是 “不”。
在测量任务中，这些模型的表现明显优于随机猜测；尽管在计数任务中，当以多选题形式呈现时，它们表现优于自由回答形式。
而在识别任务中，模型表现则相对逊色。所有模型均能识别病灶、囊肿与肿瘤，成功率在 65% 到 86% 不等，但研究人员发现这些模型的回答未能捕捉到细微的视觉线索。
在视觉推理任务中，模型在多步推理上表现尚可，但在肾脏体积对比等任务上存在困难，研究人员归因于 “双侧推理和精确定位的难度”。
被测试的模型在医学推理方面遇到的难题最多，研究人员指出这是因为此类任务要求整合训练数据中未曾涉及的信息。
作者总结道：“总体来看，虽然现代视觉语言模型在基础及识别密集型任务中展现出潜力，但其在实际诊断中的应用目前仍受限于弱视觉信号、不可靠的数值处理以及肤浅的推理链。”
AI 可以在辅助角色上帮助临床医师，但尚不足以取代医学专家的判断。 (R)
本文链接：http://www.xihao.site/showinfo-1-76649.html基于放射影像的临床诊断中，AI模型尚未达到实际应用水平
