哈工大&提出Poetry2Image：专为中文古诗词图像生成，忠于原诗意境和语义。

文章预览

直接基于诗句中的文本进行图像生成通常会导致丢失图像中的关键元素。为了解决此问题，哈工大提出Poetry2Image，通过实施有针对性的图像校正解决这个问题，有效地捕捉这首诗所传达的语义和艺术精髓。 Poetry2Image流程分为如下几步： 搜索和翻译：系统会在一个庞大的诗歌数据库中搜索用户提供的古诗，并找出它的现代- 汉语翻译和赏析。 生成初始图像：利用诗歌的现代汉语翻译，系统会生成一幅初步的图像。 提取关键元素：系统会使用一个大型的语言模型来识别并提取诗歌中的关键元素，比如“竹马”或“青梅”。 图像修正：系统会检查生成的图像是否包含了所有这些关键元素。如果没有，系统会提出修改建议，比如添加缺失的元素或调整元素的位置。 迭代优化：如果图像中的元素不完整或不正确，系统会根据建议再次生成图像，这个过程 ………………………………