专栏名称: 歸藏的AI工具箱
互联网科技博主 产品设计师、模型设计师、 不会代码的独立开发者。 关注人工智能、LLM 、 Stable Diffusion 和设计。
今天看啥  ›  专栏  ›  歸藏的AI工具箱

还有高手。#ai# Magic 发布了一个具有 1 亿 Toke-20240830103420

歸藏的AI工具箱  · 微博  ·  · 2024-08-30 10:34

文章预览

2024-08-30 10:34 本条微博链接 还有高手。 #ai# Magic 发布了一个具有 1 亿 Token 上下文的模型。 1 亿 Token相当于大约 1000 万行代码或大约 750 本小说。 LTM-2-mini 的序列维度算法比 Llama 3.1 405B中的注意力机制便宜大约 1000 倍。 他们还设计了一个新的评估上下文长度和可靠性的体系 HashHop。 哈希是随机的,因此是不可压缩的,这要求模型能够在任何时候存储和检索给定上下文大小的最大可能信息内容。 写出所有中间哈希值类似于 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览