主要观点总结
本文介绍了大模型架构创新公司元始智能(RWKV)的最新发展。该公司于12月完成数千万人民币天使轮融资,并计划将资金用于团队扩充、新架构迭代以及产品商业化落地。文章详细描述了元始智能的成立背景、公司业务的两个方面以及RWKV的技术突破。RWKV选择了一条注重效率和灵活性的技术路线,发布了首个模型并成立了商业公司。其技术突破包括高效推理机制、记忆力提升和持续学习等。元始智能计划在2025年推出更大规模的模型,并加速商业化落地进程。
关键观点总结
关键观点1: 元始智能完成天使轮融资
大模型架构创新公司元始智能已完成数千万人民币的天使轮融资,投资方为天际资本。本轮融资后,公司估值较此前种子轮翻倍。
关键观点2: RWKV的技术突破
RWKV选择了一条注重效率和灵活性的技术路线,发布了首个模型。其最新发布的RWKV-7模型在同等参数规模下可以全面超越Transformer架构的性能,具有高效推理机制、记忆力提升和持续学习等技术突破。
关键观点3: 元始智能的业务
元始智能的业务分为两部分:一是将模型开源,二是商业实体。在开源方面,RWKV的核心开源项目RWKV-LM已收获了超过12900的star,并逐步建立起开发者生态。在商业方面,元始智能推出了AI音乐生成应用,并为企业提供模型授权。
关键观点4: 元始智能的未来计划
元始智能计划在2025年推出更大规模的模型,并探索新型推理框架和新型芯片的融合应用。预计随着Scaling Laws转向,将在2025年上半年迎来新架构的爆发期。
文章预览
要做大模型领域的安卓和Linux。 文 | 邓咏仪 编辑 | 苏建勋 《智能涌现》获悉,大模型架构创新公司元始智能(RWKV)已于12月完成数千万人民币天使轮融资,投资方为天际资本。本轮融资后,公司估值较此前种子轮翻倍,而本轮融资将主要用于团队扩充、新架构迭代以及产品商业化落地。 OpenAI旗下的ChatGPT于2022年11月发布,并掀起全球生成式AI浪潮后,已经有两年多的时间。而支撑起ChatGPT的Transformer架构以及Scaling Law(缩放定律),正是这场革命的技术发展主线。 大语言模型(LLM)之所以能够涌现智能,简而言之,是因为让AI模型的参数规模从原来的亿级扩大到了如今的千亿、万亿,在学习了足够多的数据后,模型涌现出了智能。 但大模型也有自己的“阿喀琉斯之踵”——幻觉、准确率几乎是无法完全解决的问题。在刚刚过去的2024年,随着大模
………………………………