然后，多模态系统必须根据时间和上下文约束将不同模态的输入结合起来，以便对其进行解释，这个过程被称为多模态融合，多模态融合是从九十年代到现在的几项研究工作的目标，通过系统解释熔合输入。多模态人机交互指的是通过自然通信模式与虚拟和物理环境相互作用，这意味着多模态交互能够实现更自由和自然的通信，将用户与输入和输出中的自动化系统连接起来。
多模态交互指什么？
多模态人机交互指的是通过自然通信模式与虚拟和物理环境相互作用，这意味着多模态交互能够实现更自由和自然的通信，将用户与输入和输出中的自动化系统连接起来。具体而言，多模态系统可以提供灵活、高效并且可用的一个环境，允许用户通过语音、笔迹、手势和注视等输入模式进行交互，并通过输出模态来接收系统的信息，例如语音合成、智能图形和其他模式巧妙结合。
然后，多模态系统必须根据时间和上下文约束将不同模态的输入结合起来，以便对其进行解释，这个过程被称为多模态融合，多模态融合是从九十年代到现在的几项研究工作的目标，通过系统解释熔合输入。自然和灵活性可以为每种不同的形式（渠道）及其同时使用产生一种以上的解释，因此它们通常会由于不精确性、噪音或其他类似因素而产生多模态歧义。
为了解决模糊性，已经提出了几种方法。最后，系统通过根据一致反馈（分裂）排列的各种模式通道（分解）返回用户输出。移动设备，传感器和网络技术的普遍使用可以提供足够的计算资源来管理多模式交互所隐含的复杂性。 “使用云来管理共享计算资源来管理多模式交互的复杂性是一个机会，事实上，云计算允许交付共享的可扩展，可配置的计算资源，这些资源可以动态地自动配置和发布”。
