近期模型方面的几个趋势性变化

文章预览

临近暑假，大模型领域依然热闹纷呈。仅仅在过去24小时，Google发布了Gemma-2 27B，OpenAI发布了CriticGPT，用来给GPT修bug （当然，我们都用不了），Meta发布了LLM Compiler，编译优化器。各有各的突破点，但是都会偏技术层面多一些，所以，我就简单贴一下Claude 3.5读完后生成的总结性的网站结果。 CriticGPT，简单结论：修bug能力比人强很多。 原文链接： https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf Gemma2，简单结论：知识蒸馏很有用（用大模型训练小模型） 原文链接： https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf LLM Compiler，简单结论，编译优化能力提升明显 原文链接： https://scontent.fsin14-2.fna.fbcdn.net/v/t39.2365-6/448997590_1496256481254967_2304975057370160015_n.pdf?_nc_cat=106 =1-7 & _nc_sid=3c67a6 & _nc_ohc=4Yn8V9DFdbsQ7kNvgGo7Xn5 & _nc_ht=scontent.fsin14-2.fna =00_AYD9mqFqjw7LHQwMjVm5EoiPiX ………………………………