//@黑羽Neet: 不会有翻译英文这个中间步骤的，是直接中文转-20240727125530

宝玉xp · 微博 · AI · 2024-07-27 12:55

文章预览

2024-07-27 12:55 本条微博链接 // @黑羽Neet : 不会有翻译英文这个中间步骤的，是直接中文转token。无论中文还是英文还是日语对LLM来说都没区别都是一堆tensor罢了，从来就没有要求说必须先转为英文作为中间语言，更别说转换必然有信息丢失// @在读三体 :回复 @黑羽Neet :现在的中文token是中翻英后按英文处理token然后结果再英翻中，还是基于中文的语义处理，因为汉字是表义文字，在token的选取划分方面是不是有其特色与优势 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 【magic-html - 通用HTML数据提取器：旨在简化从H-20240907171441

18 小时前

爱可可-爱生活 · 【Laminar：开源的AI Agent/RAG应用的监控和分析-20240905130948

2 天前

爱可可-爱生活 · 通过在训练时逐步放宽等变性约束并加入正则化，来拓展等变神经网络的-20240902052959

6 天前

爱可可-爱生活 · [LG]《Text2SQL is Not Enough: Uni-20240902054841

6 天前

爱可可-爱生活 · 提出表增强生成模型，通过连接语言模型和数据库引擎的能力，作为回答-20240902054846

6 天前