标签：预训练模型

（由多段落组成） 近年来，随着深度学习技术的快速发展，模型架构设计成为了研究的重要方向。然而，从头训练一个新架构的成本往往过高，这限制了研究人员对新架构的探索能力。为了解决这一问题，李飞飞团队提出了一种名为“嫁接”的创新方法，该方法通过直接修改预训练模型的关键组件来测试新的架构设计。 这种方法的核心思想是将预训练模型作为基础，通过替换或调整其内部组件来验证新架构的有效性。相比传统的从头训练方式，“嫁接”只需使用不到2%的预训练计算量即可完成实验，大大降低了资源消耗。例如，在图像生成领域广...

在生物医学成像领域，基础模型的预训练已成为一项关键技术，但受限于小规模和专业化的数据集。德国弗劳恩霍夫数字医学研究所（Fraunhofer MEVIS）的研究团队提出了一种创新的多任务学习策略，以解决数据稀缺的问题。他们开发的通用生物医学预训练模型（UMedPT）在多种成像任务上进行训练，包括CT、显微镜和X射线图像，采用分类、分割和物体检测等多种标记策略。 UMedPT模型在外部独立验证中表现出色，其成像特征的跨中心可转移性达到了新的高度。研究发表在2024年7月的《Nature Computational Science》上，题为“克服生物医...