从ChatGPT到ChatCAD：基于大型语言模型的医学图像交互式计算机辅助诊断-Toy模板网

这篇具有很好参考价值的文章主要介绍了从ChatGPT到ChatCAD：基于大型语言模型的医学图像交互式计算机辅助诊断。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

基本信息

1. 标题：ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models.

2. 期刊：arXiv

3. IF/JCR/分区：无

4. DOI：arXiv:2302.07257

5. 作者：沈定刚教授团队

1. 导读

2023年年初最火热的话题之一就是OpenAI的ChatGPT1，给人类带来了巨大的冲击。1月底，美国《财富》杂志2/3月合刊的封面文章《全球爆红的ChatGPT是如何诞生的？》引爆了创投圈。在这巨大的浪潮冲击下，如何让其在医疗领域发挥其强大的作用呢？沈定刚教授团队给出了初步的答案。在本文中，作者提出了一种将大型语言模型（LLMs）集成到医学影像计算机辅助诊断网络中的初步方法。

从ChatGPT到ChatCAD：基于大型语言模型的医学图像交互式计算机辅助诊断

2. 背景动机2.1 计算机辅助诊断（CAD）

传统的计算机辅助诊断网络模型是基于各种计算机视觉的先进算法在大量数据上进行训练，使他们能够学习识别特定于医学领域的视觉信息中的复杂模式和关系，在医学领域的各个任务中已取得了显著性地效果。

2.2 大型语言模型（LLMs）

大型语言模型（如ChatGPT）是经过大量文本数据训练的高级人工智能系统，在自然语言处理方面取得了显著成果，并有可能彻底改变各个行业。ChatGPT已经成功通过了部分美国医疗执照考试，展示了其在增加医疗专业人员提供护理方面的潜力。然而LLMs目前难以从医学影像中解释和提取信息，从而限制了他们全面支持临床决策过程的能力。但医学影像在临床决策中发挥着巨大的作用，如何整合 LLM 以理解计算机视觉任务中的视觉信息是一个有趣的问题。