开源了！阿里轨迹控制版视频生成 Tora 开源发布

主要观点总结

阿里团队在GitHub上开源了轨迹控制版的视频生成工具——Tora。该工具基于先进的DiT框架，专注于轨迹控制的视频生成。Tora提供了文生视频功能，通过Gradio可视化界面展现，用户可以通过绘制轨迹和输入文本提示来生成视频。

关键观点总结

关键观点1: Tora是阿里团队在GitHub上开源的轨迹控制版视频生成工具。

它基于DiT框架，专注于轨迹控制的视频生成，为学术界和开源社区提供了强大的工具。

关键观点2: Tora提供了文生视频功能。

用户可以通过Gradio可视化界面，通过绘制任意数量的轨迹并输入一段文本提示，生成为期6秒的轨迹控制视频。用户还可以选择使用预设轨迹或自定义绘制轨迹，以实现个性化效果。

关键观点3: Tora在处理不同轨迹方面表现出色。

即使输入的文本提示中的物体未能与预设轨迹精确匹配，Tora也能保持物体的自然运动规律，使其运动尽可能符合预设轨迹，生成的视频更具观看价值，提升了用户体验。

文章预览

关注公众号，发现CV技术之美 阿里团队近期在 GitHub 上正式开源了轨迹控制版的视频生成工具—— Tora。这一开源项目为学术界和开源社区提供了强大的工具，允许用户探索视频生成领域的无限可能。 Tora 基于先进的 DiT 框架，专注于轨迹控制的视频生成。在此次发布中，阿里团队提供了完整的代码与模型权重，供研究人员和开发者在学术环境中使用。 根据 GitHub 仓库中的 README 文件，由于阿里团队目前的商用计划，当前开放的版本仅为文生视频版本。 未来，团队还计划提供 ModelScope 的试用 demo、训练代码及完整版 Tora，让更多用户受益于其强大的功能。 Tora 的文生视频功能通过 Gradio 可视化界面展现，用户的操作过程极为简单。 只需绘制任意数量的轨迹，并输入一段文本提示（prompt），便可生成为期 6 秒的轨迹控制视频。 用户可以选择使用提供的 ………………………………