今天看啥  ›  专栏  ›  赛博禅心

再测 DeepSeek 各家 API 真实速度(附:测试脚本)

赛博禅心  · 公众号  · 科技自媒体  · 2025-02-14 19:46
    

主要观点总结

本文是对各AI服务商的API速度测试,作者首先道歉了上一篇文章中的代码错误导致数据有10%的偏差。本文介绍了正确的测试方法和过程,包括测试所用的消息内容、各服务商的配置信息、测试代码等。在测试过程中,作者发现了不同服务商的接口返回格式有所不同,有的会在末位token给出usage信息,有的在过程中不断更新,有的分别给出推理、生成所用的token数量等。最后作者强调了做测试时必附代码、必公开过程、必接受监督的重要性。

关键观点总结

关键观点1: 测试目的和方法

测试各AI服务商的API速度,包括DeepSeek官方、阿里云/百炼、百度千帆、硅基流动、火山引擎和腾讯云等。

关键观点2: 测试过程中的发现

在测试过程中,发现不同服务商的接口返回格式有所不同,有的会在过程中不断更新信息等。

关键观点3: 作者的道歉

作者在文中道歉了上一篇内容里代码写错导致结果不对,并强调了做测试时必附代码、必公开过程、必接受监督的重要性。

关键观点4: 测试代码和配置信息

提供了测试所用的代码和各服务商的配置信息,包括API Key、base_url和model等。


文章预览

首先,我要给大家跪一个 在上一篇里面: 务实测试:DeepSeek 各家 API 真实速度(附:测试脚本) 之前我的 token 计算方法错误,导致数据有 10% 的偏差(排序不变) 在这里感谢「茫然四顾」的问题指出 下方为准确的速度测试 DeepSeek 官方 + 阿里/百度/火山/腾讯云 + 硅基流动 (新增了百度和硅基普通版) 中国时间:2025-02-14 17:35:55 测试代码 https://colab.research.google.com/drive/1cUqspnOrft2Qp9Oq4sGfDzlsJN_WCogl 测试方法 代码我放在了最后,可以自己跑 测试包含以下步骤: 通过 API 向模型服务器发送请求,记录当前时间为 t0 当模型返回第一个字符时,记录为 t1,此刻开始推理 当模型推理结束、开始生成内容时,记录为 t2 当生成结束时,记录为 t3 当 stream_options={"include_usage": True} 的时候,模型会记录并输出以下信息类似这样的信息: CompletionUsage( completion_tokens=513 , p ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览