近年来，计算病理学因数字切片扫描、AI研究、大型数据集和高性能计算资源的融合而显著进步。深度学习技术解决了癌症分型、分级、转移检测和治疗响应预测等任务。然而，自然语言在病理学中的重要性尚未完全体现。大语言模型和多模态生成AI的发展为计算病理学开辟了新前沿，通过自然语言和人类互动提升用户体验。多模态AI如ChatGPT展示了在病理图像分析、初步诊断和教育培训中的潜力，能够在临床决策、研究和医学教育中提供支持，促进病理学的发展

研究人员旨在开发并评估PathChat，一个专为病理学设计的多模态生成型AI助手。PathChat由定制的多模态大语言模型（MLLM）驱动，能够处理视觉和自然语言输入，采用对话形式来进行病理学领域的各种病理案例分析。

 图1：指令跟随数据集整理和PathChat概述。a.病理学指令数据集，研究中使用了超过100万张切片图像和118万个病理图像字幕对进行预训练，最终微调了超过45万条指令，涵盖999,202个问答轮次。b.从UNI模型开始到形成PathChat的过程。

图2：多项选择评估。a. PathChat展示了在多项选择式诊断问题中的应用。病理学家选定显著组织学图像ROI，并附加由他们提供的临床背景信息，以蓝色显示，帮助支持诊断结果的选择。b.MLLMs在多项选择式诊断问题上的准确性。在公开病例的问题（PathQABench-Public）上，与GPT4V进行了比较，PathChat表现得更好。

图3：PathChat的开放式响应评估和七名病理学家的读者研究。a. 通过7名病理学家评估了260个开放式问题上四个AI助手模型的响应排序。b. 比较了PathChat和其他MLLMs在开放式问题上的表现，显示了中位数获胜率和中位数获胜+平局率。c. 对一个由两名病理学家达成共识的子集（235个问题）进行了MLLMs的准确性评估。d. 分析了在共识子集上不同类别问题的准确性：显微镜检查问题（101个）、诊断问题（79个）、临床问题（61个）、辅助检测问题（76个）。

图4：交互式多轮对话的额外使用案例。PathChat可以推断肿瘤的原发部位(a)；指导免疫组化（IHC）解释（b）；遵循肿瘤分级的知名指南（c）；提供疑似恶性肿瘤的潜在IHC结果建议（d）;帮助医生进行需要多轮免疫组化检查的复杂差异诊断（e）。

研究提供了专为人类病理学设计的AI助手PathChat，并将其与其他模型性能做了比较。通过创建高质量的基准数据集PathQABench，评估了PathChat在形态学检查、诊断、肿瘤分级、建议进一步测试等方面的能力。结果显示，PathChat 在多项选择诊断题上优于其他 MLLMs，在开放式问答中能生成更准确和更优的答案，同时展示了其支持复杂诊断工作流程等额外用例的潜力。

AI助手的性能和功能有待进一步优化。包括减少幻觉现象、增强诊断准确性，以及支持更复杂的病理学任务。这将通过引入强化学习等技术，增加对千兆像素WSI的支持，以及结合更新的医学知识和指南来实现。最终目标是提升AI助手在病理学实践中的应用价值和实用性。

END

文案 | 陈莎

排版 | 陈莎

审核 | 陈莎

发布｜姜笑南