回复@黑羽Neet:对，基本概念一样的，另外中文单个字可能也对应-20240727021121

宝玉xp · 微博 · AI · 2024-07-27 02:11

文章预览

2024-07-27 02:11 本条微博链接回复 @黑羽Neet :对，基本概念一样的，另外中文单个字可能也对应有多个tokens// @黑羽Neet :回复 @在读三体 :基本概念是一样的，把单个字做encoding变成tensor形式的token Andrej 为了解释 Word 和 Token 的区别，写了个小程序，把 Token 用 Emoji 表示，好帮助你直观的理解 LLM （大语言模型）看到 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 【[286星]Pocket Flow Framework：让LL-20250312194759

10 小时前

黄建同学 · 深度长文《为什么MCP赢了》（Why MCP.Won）来自La-20250312194052

10 小时前

宝玉xp · 转发微博-20250311213255

昨天

爱可可-爱生活 · [CL]《Leveraging Domain Knowledge-20250311054558

2 天前

宝玉xp · 这文章还是来自 @左耳朵耗子的博客…… //@程序员邹欣:他十-20250310101527

2 天前

财金新天地 · “男朋友？全死了！”看完这个天津网红奶奶，我终于明白什么是“顶级凡尔赛”！

9 月前

Silicon Labs · 深度解读边缘智能：高效机器学习平台、安全性、低功耗和无线连接缺一不可

9 月前

小蒜苗长 · 回复@梧桐才是大道:大家都认为是高端，然后掏钱去买不认为是高端的-20240702100239

8 月前

北航就业 · 招聘 | 招商银行唐山分行 | 2025届校园招聘

3 月前

汽车之家 · 一箱油超过1800+公里，中型SUV只要十几万！

3 月前