1.數據采集和處理難點:多模態數據的研究涉及多種媒體數據，如文本、圖像、音頻、視頻等，每種數據都有自己的特點，處理方法也非常復雜。
2.模型設計和訓練困難:設計相應的模型和算法來研究多模態數據的處理是非常困難的，比如深度學習模型、特征提取算法、融合算法等。