文章预览
奥特曼,外面都是梁文锋。 最近梁文锋很忙。 2月17日飞去北京,参加最高规格的民企座谈会。 (坐马化腾隔壁) 飞北京的前一天,2月16日还上传了一篇技术大突破的论文。 2月18日,DeepSeek官方就发布了这篇论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》。 主要内容是是关于NSA(Natively Sparse Attention,原生稀疏注意力),一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。 简单来说,就是教会AI“一目十行”,这就像我们读书时,我们会专注于关键段落,重要的句子看,并快速浏览其余部分。抓住重点来理解文章意思。 这项技术有望大幅提升下一代大语言模型,处理长文本的能力,同时还能兼顾效率,可谓是AI大模型,里程碑式的进展。 当然,大家也不忘@了下OpenAI的的奥特曼:看,梁文锋的DeepS
………………………………