主要观点总结
本文是对各AI服务商的API速度测试,作者首先道歉了上一篇文章中的代码错误导致数据有10%的偏差。本文介绍了正确的测试方法和过程,包括测试所用的消息内容、各服务商的配置信息、测试代码等。在测试过程中,作者发现了不同服务商的接口返回格式有所不同,有的会在末位token给出usage信息,有的在过程中不断更新,有的分别给出推理、生成所用的token数量等。最后作者强调了做测试时必附代码、必公开过程、必接受监督的重要性。
关键观点总结
关键观点1: 测试目的和方法
测试各AI服务商的API速度,包括DeepSeek官方、阿里云/百炼、百度千帆、硅基流动、火山引擎和腾讯云等。
关键观点2: 测试过程中的发现
在测试过程中,发现不同服务商的接口返回格式有所不同,有的会在过程中不断更新信息等。
关键观点3: 作者的道歉
作者在文中道歉了上一篇内容里代码写错导致结果不对,并强调了做测试时必附代码、必公开过程、必接受监督的重要性。
关键观点4: 测试代码和配置信息
提供了测试所用的代码和各服务商的配置信息,包括API Key、base_url和model等。
文章预览
首先,我要给大家跪一个 在上一篇里面: 务实测试:DeepSeek 各家 API 真实速度(附:测试脚本) 之前我的 token 计算方法错误,导致数据有 10% 的偏差(排序不变) 在这里感谢「茫然四顾」的问题指出 下方为准确的速度测试 DeepSeek 官方 + 阿里/百度/火山/腾讯云 + 硅基流动 (新增了百度和硅基普通版) 中国时间:2025-02-14 17:35:55 测试代码 https://colab.research.google.com/drive/1cUqspnOrft2Qp9Oq4sGfDzlsJN_WCogl 测试方法 代码我放在了最后,可以自己跑 测试包含以下步骤: 通过 API 向模型服务器发送请求,记录当前时间为 t0 当模型返回第一个字符时,记录为 t1,此刻开始推理 当模型推理结束、开始生成内容时,记录为 t2 当生成结束时,记录为 t3 当 stream_options={"include_usage": True} 的时候,模型会记录并输出以下信息类似这样的信息: CompletionUsage( completion_tokens=513 , p
………………………………