首个文字生成手语模型来了！SignLLM通过文字描述来生成手语视频，目前已经支持八国手语！

文章预览

SignLLM 是目前第一个通过文字描述生成手语视频的多语言手语模型。 该项目引入了首个多语言手语数据集 Prompt2Sign，它使用工具自动采集和处理网络上的手语视频，能够不断更新，且具有轻量化特点。 该模型当前支持 8 种手语类型。包括美国手语 、德国手语、瑞士德语手语、瑞士法语手语 、瑞士意大利语手语  、阿根廷手语 、韩国手语和土耳其手语。 PS：目前未提供代码（后续提供），也期待更新中文手语~ 相关链接 论文：https://arxiv.org/pdf/2405.10718 项目：https://github.com/SignLLM/Prompt2Sign 论文阅读 摘要 在本文中，我们介绍了第一个综合性的多语言手语数据集Prompt2Sign，它建立于包括美国手语(ASL)和其他七种语言在内的公共数据。我们的数据集将大量视频转换成精简的，模型友好的格式，优化与翻译模型的训练比如seq2seq和text2text。 在这个新数据 ………………………………