大模型时代，什么样的算法工程师更吃香？

文章预览

大家好，我是刘聪NLP。 毫无疑问，全栈型的算法工程师将更为抢手，如果你精通大模型从训练到应用的整个流程，你走到哪里都不怕。 但往往人的精力有限，如果从数据、预训练、微调、对齐、推理、应用几个方面来看的话，个人觉得现在重要性排序是“预训练>应用>数据>对齐>推理>微调”。 先说一下各个方向的特点，再说我为啥这么排序吧。 纯个人看法，不喜勿喷，交流欢迎讨论。 数据方面 不可否认的一点，现在很多算法工程师，都可以称为数据工程师，在模型调优的绝大时间里，其实90%甚至更多的时间，都在做数据相关的工作，无论是数据爬取、数据构造，还是数据清洗、数据混合。 “garbage in, garbage out”也是业界公认，数据的质量和数据量决定着模型的效果。这也是为什么都是基于llama的模型，都用lora方法训练，用的都是llama-factory的代 ………………………………