首先介绍一下什么是模态。然后，多模态系统必须根据时间和上下文约束将不同模态的输入结合起来，以便对其进行解释，这个过程被称为多模态融合，多模态融合是从九十年代到现在的几项研究工作的目标，通过系统解释熔合输入。多模态人机交互指的是通过自然通信模式与虚拟和物理环境相互作用，这意味着多模态交互能够实现更自由和自然的通信，将用户与输入和输出中的自动化系统连接起来。
多模态交互指什么？
多模态人机交互指的是通过自然通信模式与虚拟和物理环境相互作用，这意味着多模态交互能够实现更自由和自然的通信，将用户与输入和输出中的自动化系统连接起来。具体而言，多模态系统可以提供灵活、高效并且可用的一个环境，允许用户通过语音、笔迹、手势和注视等输入模式进行交互，并通过输出模态来接收系统的信息，例如语音合成、智能图形和其他模式巧妙结合。
然后，多模态系统必须根据时间和上下文约束将不同模态的输入结合起来，以便对其进行解释，这个过程被称为多模态融合，多模态融合是从九十年代到现在的几项研究工作的目标，通过系统解释熔合输入。自然和灵活性可以为每种不同的形式（渠道）及其同时使用产生一种以上的解释，因此它们通常会由于不精确性、噪音或其他类似因素而产生多模态歧义。
为了解决模糊性，已经提出了几种方法。最后，系统通过根据一致反馈（分裂）排列的各种模式通道（分解）返回用户输出。移动设备，传感器和网络技术的普遍使用可以提供足够的计算资源来管理多模式交互所隐含的复杂性。 “使用云来管理共享计算资源来管理多模式交互的复杂性是一个机会，事实上，云计算允许交付共享的可扩展，可配置的计算资源，这些资源可以动态地自动配置和发布”。
什么是跨模态搜索，主要的技术方向有哪些？
首先介绍一下什么是模态。这里模态指的就是文字、图像、声音、视频等信息的载体。跨模态信息搜索（又称跨媒体搜索）就是通过寻找不同模态之间的关系，实现利用某一种模态样本，去检索近似语义的其他模态样本。比如我们在百度的网页搜索中输入关键字，然后返回相应的检索结果，这就是同模态检索，即以文搜文。而在图片检索页面输入关键字，返回的图片结果则是跨模态检索，即以文搜图。
下图就是图文搜索的过程示意，输入要查询的信息图片或文字，然后在数据库中找到与之有相同语义的图文，最后返回结果。跨模态搜索的难点在于如何比较不同模态之间数据的相似度。因为模态之间的信息表达形式差别很大，因此首先需要将他们转化为方便进行比较的表示。最常用的表示方式就是对数据提取特征得到数据的特征向量。而不同的文本所对应的向量空间仍有很大的差异。
所以还需要进一步的将不同模态都映射到同一语义空间中来进行比较。按照向量的表示不同，跨模态搜索可以分为实值表示和二值表示。即向量是实数还是0-1。表示成0-1的好处在于能够加快搜索比较的速度。而依据学习的数据形式不同，跨模态搜索还能够划分为一下四种1）无监督学习，指的是对共现信息的表示学习。共现信息就是只要不同模态的数据出现在一起，就可以认为他们是相关联的。
比如网页中新闻的图片和文字信息等等。2）成对的数据的学习，即不同模态的数据已经成对匹配好了。而在此基础之上进行跨模态信息的检索。3）基于排序的学习，关键在于如何设计出he4）监督学习，利用已经人为标记好的标签信息来进行学习。不仅要学习出不同模态下相同语义的关系，同时也还要学习出不同模态的相同标签之间数据的关系。
