麻省理工学院和其他地方的研究人员开发了一种机器学习框架，当被要求识别医学图像中的潜在疾病时，它可以生成多个合理的答案。通过捕捉这些图像中固有的模糊性，这项技术可以防止临床医生错过可以为诊断提供信息的关键信息。来源:麻省理工学院新闻;iStock

　　通过为一张医学图像提供可信的标签地图，Tyche机器学习模型可以帮助临床医生和研究人员获取关键信息。

　　在生物医学中，分割涉及对医学图像中重要结构(如器官或细胞)的像素进行注释。人工智能模型可以通过突出显示可能显示某种疾病或异常迹象的像素来帮助临床医生。

　　然而，这些模型通常只提供一个答案，而医学图像分割的问题往往远非黑与白。五个专业的人类注释者可能提供五种不同的分割，可能不同意肺CT图像中结节的存在或边界的范围。

　　接受诊断中的不确定性

　　“拥有选择权有助于做出决策。即使只是看到医学图像中的不确定性也会影响人们的决定，所以考虑到这种不确定性是很重要的，”麻省理工学院计算机科学博士候选人Marianne Rakic说。

　　Rakic是麻省理工学院、麻省理工学院布罗德研究所和哈佛大学以及麻省总医院的一篇论文的主要作者，该论文介绍了一种新的人工智能工具，可以捕捉医学图像中的不确定性。

　　堤喀简介

　　该系统被称为Tyche(以希腊神话中的机遇之神命名)，它提供了多个看似合理的分割，每个分割都突出了医学图像中略有不同的区域。用户可以指定Tyche输出多少个选项，并选择最适合其目的的选项。

　　重要的是，Tyche可以在不需要再训练的情况下处理新的分割任务。训练是一个数据密集的过程，包括向模型展示许多示例，并且需要大量的机器学习经验。

　　由于不需要再培训，对于临床医生和生物医学研究人员来说，Tyche比其他方法更容易使用。它可以“开箱即用”地应用于各种任务，从识别肺部x射线中的病变到精确定位脑部MRI中的异常。

　　最终，该系统可以通过提醒人们注意其他人工智能工具可能遗漏的潜在关键信息来改善诊断或帮助生物医学研究。

　　“模糊性一直没有得到充分研究。“如果你的模型完全错过了一个结节，三位专家说有，两位专家说没有，这可能是你应该注意的事情，”资深作者阿德里安·达尔卡补充道，他是哈佛医学院和MGH的助理教授，也是麻省理工学院计算机科学和人工智能实验室(CSaiL)的研究科学家。

　　他们的合著者包括电子工程和计算机科学研究生Hallee Wong;何塞·哈维尔·冈萨雷斯·奥尔蒂斯23届博士;博德研究所生物图像分析副主任贝丝·西米尼;以及Dugald C. Jackson计算机科学与电气工程教授John Guttag。Rakic将在IEEE计算机视觉和模式识别会议上展示Tyche, Tyche已被选为亮点。

　　用AI解决歧义

　　用于医学图像分割的人工智能系统通常使用神经网络。神经网络大致以人脑为基础，是一种机器学习模型，由许多相互连接的节点层或神经元组成，用于处理数据。

　　在与Broad研究所和MGH使用这些系统的合作者交谈后，研究人员意识到两个主要问题限制了它们的有效性。模型不能捕捉不确定性，它们必须重新训练，即使是稍微不同的分割任务。

　　Rakic说，有些方法试图克服一个陷阱，但事实证明，用一个解决方案解决两个问题特别棘手。

　　“如果你想考虑到模糊性，你通常不得不使用一个极其复杂的模型。通过我们提出的方法，我们的目标是让它在一个相对较小的模型上更容易使用，这样它就可以快速做出预测，”她说。

　　研究人员通过修改一个简单的神经网络架构来构建堤喀。

　　用户首先向Tyche提供一些显示分段任务的示例。例如，例子可以包括心脏MRI中病变的几张图像，这些图像已经被不同的人类专家分割，这样模型就可以学习任务并看到存在歧义。

　　研究人员发现，只需16张被称为“上下文集”的示例图像，就足以让模型做出良好的预测，但可以使用的示例数量没有限制。上下文集使Tyche无需重新训练即可解决新任务。

　　为了让Tyche捕捉不确定性，研究人员修改了神经网络，使其基于一个医学图像输入和上下文集输出多个预测。他们调整了网络的层，这样，当数据从一层移动到另一层时，每一步产生的候选分割可以彼此“交谈”，也可以与上下文集中的例子“交谈”。

　　通过这种方式，该模型可以确保候选分割都略有不同，但仍然可以解决任务。

　　“这就像掷骰子一样。如果你的模型可以摇出2、3或4，但不知道你已经摇出了2和4，那么其中任何一个都可能再次出现，”她说。

　　他们还修改了训练过程，以便通过最大化其最佳预测的质量来奖励它。

　　如果用户要求五个预测，最后他们可以看到Tyche生成的所有五个医学图像分割，即使其中一个可能比其他更好。

　　研究人员还开发了一个版本的Tyche，可以与现有的医学图像分割预训练模型一起使用。在这种情况下，Tyche通过对图像进行轻微的转换，使模型能够输出多个候选对象。

　　更好更快的预测

　　当研究人员用带注释的医学图像数据集测试Tyche时，他们发现它的预测捕捉到了人类注释者的多样性，并且它的最佳预测比基线模型的任何预测都要好。Tyche的运行速度也快于大多数模型。

　　拉基奇说:“输出多个候选人，并确保他们彼此不同，真的会给你带来优势。”

　　研究人员还发现，Tyche可以比使用大型专业数据集训练的更复杂的模型表现得更好。

　　对于未来的工作，他们计划尝试使用更灵活的上下文集，可能包括文本或多种类型的图像。此外，他们还想探索可以改进Tyche最坏预测的方法，并增强系统，以便它可以推荐最佳的分割候选者。

　　参考文献:Marianne Rakic, Hallee E. Wong, Jose Javier Gonzalez Ortiz, Beth Cimini, John Guttag和Adrian V. Dalca撰写的“Tyche:随机上下文学习用于医学图像分割”，2024年1月24日，电子工程与系统科学>图像和视频处理。arXiv: 2401.13650

　　这项研究的部分资金由美国国立卫生研究院、麻省理工学院和哈佛大学布罗德研究所的埃里克和温迪施密特中心以及广达计算机公司提供。