解读大模型应用的可观测性

文章预览

似乎在一夜之间，每个IT企业的待办事项清单以及招聘启事都包含了生成式AI，基于大模型的应用已经在改变人们的工作、学习、写作、设计、编码、旅行和购物的方式，而且可能只是冰山一角。 大模型应用并不神秘，仍然是一种软件系统。就像使用一个库或者web服务，以及SaaS乃至云计算服务，我们需要对库、服务、SaaS以及平台进行评估、监控和追踪，这可以被粗略地认为是它们的可观测性。对大模型应用而言，也是如此。 1. 大模型应用的评估 如果评估一个传统的机器学习模型，我门一般会检查模型的输出或预测的准确性。这通常会用很多众所周知的度量指标来衡量，如准确率、精确率、 RMSE、 AUC、召回率等等。在处理时间序列数据时，我们可能会使用特定于该领域的指标，如MAE或MAPE。而对于自然语言处理任务，BLEU、ROUGE或Perplexity等指标可能 ………………………………