AI 画图的“中文之痛”：Glyph-ByT5 让 AI 写出优雅的汉字！

文章预览

文生图、图生图现在已经不是什么新鲜事了。 AI 可以根据你的描述生成各种各样基本符合心意的图片，甚至画出超出你预期的作品。 不知道你有没有发现，在 AI 画图的时候，我们的汉字好像跟 AI 格格不入，但英文就没有这个问题。 想要 AI 画一张带有“恭喜发财”字样的图片，生成的图片可能符合你喜庆氛围的预期，但上面的汉字却变成了如同鬼画符一样的乱码，不知道的还以为我们是越南，让人哭笑不得。这背后隐藏着 AI 画图模型的“中文之痛”。 简直惨不忍睹 为什么 AI 难以写出正常的汉字？因为 AI 画图模型的文字编码器存在一个很大的问题，它更擅长理解图片的整体概念，比如“喜庆”或“财运”，却难以捕捉到汉字的细微特征，例如“喜”字的“ 吉 ”与“口”的组合，以及“财”字的笔画走向。 为了解决这一问题，微软亚洲研究院 ………………………………