ChatGPT在医学影像方面的五大疑问：新一代AI是否能够成为放射科医生的得力助手？

ChatGPT激发了人工智能领域的追求者，吸引了来自不同领域的科学家和从业者的目光，他们期待这一里程碑式的技术能够为他们所在的行业带来新的变革。

最近，上海科技大学生物医学工程学院创始院长、联影智能联席CEO沈定刚教授主持了一场线上MICS学术沙龙活动，邀请了四位学者，分别是乔治亚大学计算机科学系终身教授刘天明、美国亚利桑那州梅奥诊所放射肿瘤学教授和医学物理部科研主任、AAPM Fellow刘伟、美国伦斯勒理工学院生物医学工程系P.K. Lashmet讲席副教授闫平昆，以及哈佛大学医学院和麻省总医院讲师李响。他们共同探讨了chatgpt在医学影像领域中的多个可能性。

在讨论中，刘天明指出，ChatGPT的效果惊艳，是因为采用了In-context Learning或者叫做Prompt（提示词）等技术，同时利用具备大量参数的Transformer对转换为向量的文本进行处理。这些技术的发展都需要长期的积累和研究。

然而，在医学等专业性较强的领域内，ChatGPT的表现还不够好，仍需对其进行从常识性知识到生物医学领域知识的迁移和进一步的学习训练，以提升其在专业领域中的表现。

刘伟表示，如果想将ChatGPT应用到医学影像之中，多模态学习必不可少。医学领域中目前存在很多的图像、音频、文本等不同种类的数据，必须利用多模态学习将其进行结合，才能应用在临床工作中。

此外，还要考虑到特定领域数据的限制，针对医学这种专业领域的数据，需要使用更专业的提示词来生成问题。

李响分享了团队的一个新进展，他们尝试利用包含了医学领域专业知识的知识图谱来帮助更好地使用ChatGPT。

知识图谱可以加在整个流程之中，不论是文本的输入、语言的生成还是ChatGPT的效果改善等。

但是，获得一个好的知识图谱很困难，李响团队正在尝试利用ChatGPT从大量的专业语料库中自动发掘知识图谱，为语言模型在临床工作中的部署提供重要的先验知识。

闫平昆则认为，从影像分析的角度来看，ChatGPT之所以如此成功，尤其相较于现在的视觉模型而言，是因为它学习的对象——文字，具有人类表达方式的先天优势。

当前阶段应该考虑的是，如何将图像信息更好地输入进大模型之中。一种方法是通过图像分析模型提取图像中的信息，将其发送给ChatGPT。另一种方法是多模态学习，特别是视觉-语言学习。将图像信息与语言结合在一起后，就可以直接对图像信息进行编码，与文字一起发送到大模型中。