导读 发表在《医学互联网研究杂志》上的一篇新论文描述了 DALL-E 2 等生成模型(一种用于文本到图像生成的新型深度学习模型)如何代表一种有前
发表在《医学互联网研究杂志》上的一篇新论文描述了 DALL-E 2 等生成模型(一种用于文本到图像生成的新型深度学习模型)如何代表一种有前途的未来图像生成、增强和操作工具卫生保健。生成模型是否具有足够的医学领域知识来提供准确有用的结果?Lisa C Adams 博士及其同事在他们最新的题为“DALL-E 2 对放射学了解多少?”的观点中探讨了这个话题。
DALL-E 2由 OpenAI 于 2022 年 4 月首次推出，是一种人工智能 (AI) 工具，因基于文本输入生成新颖的逼真图像或艺术品而广受欢迎。DALL-E 2 的生成能力非常强大，因为它已经接受了互联网上数十亿个现有文本图像对的训练。
为了了解这些功能是否可以转移到医疗领域以创建或增加数据，来自德国和美国的研究人员检查了 DALL-E 2 在创建和操作 X 射线、计算机断层扫描 (CT)、磁共振成像 ( MRI)和超声图像。
该研究的作者发现，DALL-E 2 已经学习了 X 射线图像的相关表示，并显示出文本到图像生成的巨大潜力。具体来说，DALL-E 2 能够根据简短的文本提示创建逼真的 X 射线图像，但在给出特定的 CT、MRI 或超声图像提示时，它的表现就不太好。
它还能够合理地重建放射图像中缺失的方面。它可以做的更多——例如，仅使用一张膝盖图像作为起点，创建一张完整的全身 X 光片。然而，DALL-E 2 生成具有病理异常的图像的能力有限。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！