谷歌创新框架：从非结构化数据，实现多模态学习

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 看、听、说的多模态已成为主流大模型的重要功能之一。但在数据爆炸时代，大模型学习文本类的结构化数据相对还好一些，但要去学习视频、音频、图片等非结构化数据非常困难。 目前，从结构化和非结构化数据实现多模态学习，会随着模态数量、输入大小和数据异构性的增加，深度神经网络会变过拟合和泛化效果不佳。 尤其是当在规模有限的数据集上训练时，这一状况就越发明显，例如，经常表现出非平稳行为的时间序列数据。因此，谷歌提出了创新框架LANISTR来解决这些难题。 论文地址：https://arxiv.org/pdf/2305.16556 LANISTR是一个基于注意力机制的框架，其核心思想是在单模态和多模态层面上 ………………………………