OpenAI的下一个旗舰模型“Orion”已完成20%的训练

文章预览

随着ChatGPT等人工智能产品的用户规模持续扩大， 支撑这些产品的核心技术：大型语言模型（LLM）的进步速度却似乎有所减缓。 据科技媒体The Information报道， OpenAI正在开发的下一代旗舰模型“Orion”目前完成了20%的训练，虽然性能已接近现有的GPT-4，但与前两代旗舰模型相比，进步幅度并不显著。 该媒体还引用了OpenAI一名员工的观点，称 Orion在处理语言任务上表现更佳，但在编码等任务上可能无法超越之前的模型。 另有知情人士透露， 与其他最近发布的模型相比，OpenAI在数据中心运行Orion的成本可能更高。 质量提升放缓，扩展法面临挑战 过去几年中， LLM通过使用网站、书籍等公开文本和其他数据进行预训练，这种方法虽然在一定程度上缓解了数据匮乏的问题，但对质量的提升效果有限。 OpenAI的员工表示， Orion部分接受了人工智能生成的数据训 ………………………………