专栏名称: 将门创投
将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。
今天看啥  ›  专栏  ›  将门创投

大模型在传统NLP任务的使用姿势探讨

将门创投  · 公众号  · 科技创业  · 2024-07-11 08:22

文章预览

本文主要目的是探讨大模型应用在传统NLP任务上的有效性和增益,通过一个细分的文本理解任务—— 文本分类 ,研究了大模型应用的不同“姿势”。最终发现,将大模型结合BERT式微调的方法在标注语料比较充分的时候,相对于已有的BERT类方法还能有进一步的精度提升,同时在部署推理成本上的投入也是可控的 论本文目的:以文本分类任务为落脚点,探讨大模型技术在提升传统NLP类任务效果上的应用方式。 以chatgpt为起始节点的大模型技术经过了两年左右的发展,大致沉淀了一些较为确定的研究领域。首先是基座大模型的研究,主要是国内外大厂集中大量财力、人力、算力进行大模型军备竞赛,企图将大模型的基础能力(包括推理能力)上限逐步提升到更高的层次。 当然也有一些研究机构致力于改进transformer的架构或者提出其他更先进的基础模型 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览