还有高手。#ai# Magic 发布了一个具有 1 亿 Toke-20240830103420

歸藏的AI工具箱 · 微博 · · 2024-08-30 10:34

文章预览

2024-08-30 10:34 本条微博链接还有高手。 #ai# Magic 发布了一个具有 1 亿 Token 上下文的模型。 1 亿 Token相当于大约 1000 万行代码或大约 750 本小说。 LTM-2-mini 的序列维度算法比 Llama 3.1 405B中的注意力机制便宜大约 1000 倍。他们还设计了一个新的评估上下文长度和可靠性的体系 HashHop。哈希是随机的，因此是不可压缩的，这要求模型能够在任何时候存储和检索给定上下文大小的最大可能信息内容。写出所有中间哈希值类似于 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

梅斯医学 · 震撼！医生吐槽：抢救完6小时内必须写完病历，要把医生累倒吗？医疗文书越来越多！病历书写很重要，曾有门诊未写病历被罚120万

15 小时前

医学界智库 · 最新中国医院排行榜来了！

2 天前

医谷 · 又一款CAR-T疗法，获批

5 天前

懒人医考 · 【中西医】相同功效中药的汇总及对比

1 周前

赛柏蓝 · 这些医药人，即将赴日商务考察

1 周前

懂壹点人情世故 · 高认知群体对普通人的降维打击是什么样的？17岁的韩寒用高情商的回话让我们认识到成功绝非偶然，也体现了如今的社会下会说话的重要性。

2 月前

深圳吃货小分队 · 中秋送礼攻略，看这篇就够了

2 月前