OpenAI 凌晨发布：Realtime 实时多模态 API，及其他

主要观点总结

OpenAI召开了今年的开发者大会，会上发布了包括Realtime API、视觉模型微调、缓存折扣等新功能和服务。其中，Realtime API支持语音到文字的端到端处理，能更准确地识别语音内容；视觉模型微调可用于图像识别和处理；缓存折扣则可减少重复请求的成本和延迟。此外，会上还提到了一些其他新功能和优化，如模型蒸馏服务、playground工具链的迭代等。重点强调了Realtime API和视觉模型微调的应用场景和优势，同时提到了一些限制和价格信息。

关键观点总结

关键观点1: Realtime API发布

支持语音端到端处理，提高语音识别的准确性。

关键观点2: 视觉模型微调

介绍这一功能的应用场景（如医疗、安防、工业领域），以及使用方法和限制。

关键观点3: 缓存折扣

介绍缓存折扣的原理和步骤，以及与其他服务的比较。

关键观点4: 其他新功能和优化

包括模型蒸馏服务、playground工具链的迭代等，提高开发者的使用体验和效率。

文章预览

中国时间凌晨 1 点多，OpenAI 召开了本年的开发者大会（旧金山场）。 顺道说一下， 今年开发者大会一共 3 场： 10 月1 号旧金山； 10 月30号 伦敦，以及 11月21日新加坡 本次的发布，大体是常规更新，包括： 【新东西】Realtime API 可以理解为就是 GPT-4o 带 advanced voice 的那套，支持 API 了 可以在 playground 里先玩玩 价格很贵很贵，音频的话： 输入价格：100刀 每百万 token 输出价格：200刀 每百万 token 视觉模型微调 对于支持图像的模型，比如 4o 或者 4o-mini，现在可以用图片进行微调了 利好工业/医疗等场景 看了下文档，方法挺友好的，价格也会贵一些：以 4o-0806 为例子，微调价格为 25 刀/百万 token；之后调用是 $3.75 输入，$15 输出 缓存折扣 如果命中缓存，5折，目前支持：gpt-4o，gpt-4o-mini，o1-preview 和 o1-mini 这四个模型 具体可以看这里：https://platform.openai.c ………………………………