如今，医院以数字格式记录健康数据。深度学习可以帮助使用这些记录预测诊断、建议治疗或模拟医疗事件之间的相关性。然而，电子健康记录由不同类型的信息组成：连续特征(如实验室测试)、分类特征(如诊断代码)或自由文本临床记录。就目前而言，处理多模态数据的模型是手工设计的，并且是针对特定任务的。
最近的一项研究提出了一种优化策略的新方法，用于融合健康记录中的多模式数据。它寻找每个模态的独立架构和融合策略，以在正确的表示级别组合架构。实验表明，所建议的方法在预测诊断代码等任务中优于当前的单峰神经架构搜索方法。
将深度学习应用于电子健康记录(EHR)的一项重要挑战是其多模态结构的复杂性。EHR通常包含具有稀疏和不规则纵向特征的结构化(代码)和非结构化(自由文本)数据的混合体——所有这些都是医生在做出决定时使用的。在深度学习机制中，确定不同的模态表示应该如何融合在一起是一个难题，通常通过手工建模和直觉来解决。在这项工作中，我们扩展了最先进的神经架构搜索(NAS)方法，并首次提出了多模态融合架构搜索(MUFASA)，以同时搜索多模态融合策略和特定于模态的架构。我们凭经验证明，我们的MUFASA方法在具有可比计算成本的公共EHR数据上优于已建立的单峰NAS。此外，MUFASA生产的架构优于Transformer和EvolvedTransformer。与CCS诊断代码预测的这些基线相比，我们发现的模型将前5名召回率从0.88提高到0.91，并展示了推广到其他EHR任务的能力。深入研究我们的顶级架构，我们提供了经验证据，证明MUFASA的改进源于其为每种数据模式定制建模和找到有效融合策略的能力。我们发现的模型将top-5召回率从0.88提高到0.91，并展示了推广到其他EHR任务的能力。深入研究我们的顶级架构，我们提供了经验证据，证明MUFASA的改进源于其为每种数据模式定制建模和找到有效融合策略的能力。我们发现的模型将top-5召回率从0.88提高到0.91，并展示了推广到其他EHR任务的能力。通过深入研究我们的顶级架构，我们提供了经验证据，证明MUFASA的改进源于其为每种数据模式定制建模和找到有效融合策略的能力。
