主要观点总结
本文介绍了Kitex和Hertz项目在助力大模型发展中的流式能力，包括流式通信的支持、新功能和性能优化等。文章还提到了对内存分配优化和内存分析工具的使用。
关键观点总结
关键观点1: 流式能力介绍
Kitex和Hertz提供了多种流式能力，包括gRPC、HTTP 1.1 Chunked、WebSocket、SSE和Thrift Streaming等。这些能力在助力大模型发展和满足其他业务场景的需求方面发挥了重要作用。
关键观点2: 流式泛化调用
为了提高流式接口的易用性和开发体验，Kitex支持流式泛化调用。这有助于用户更方便地构造请求数据，并简化了测试过程。
关键观点3: 新功能和性能优化
Kitex提供了多种新功能和性能优化，包括Thrift/gRPC多Service支持、Mixed Retry、Frugal/FastCodec、产物精简和生成提速优化等。这些功能旨在提升用户体验和框架性能。
关键观点4: 内存分配优化和内存分析工具
为了进一步优化性能，Kitex进行了内存分配优化，并提供了内存分析工具goref。这些工具可以帮助用户快速发现内存泄漏问题，提高系统的稳定性和可靠性。
关键观点5: 未来展望
未来一年，Kitex计划继续增强流式能力，优化流式用户体验，发布Kitex Streaming v2接口，解决历史问题，并加强流式的生态能力。此外，还计划提供流式相关的使用规范，帮助用户更好地开发自己的流式服务。
文章预览
Kitex 项目地址｜https://github.com/cloudwego/kitex Hertz 项目地址｜https://github.com/cloudwego/hertz CloudWeGo 开源走过了三周年，秉持 内外统一 的原则，我们持续在开源仓库迭代，将服务于字节内部的特性发布到外部，23-24 年 Kitex/Hertz 重点关注 大模型 、 用户体验 和 性能 三个方面，帮助新的业务场景快速发展，并在用户体验和性能上持续优化。同时，Kitex/Hertz 在外部企业得到了广泛应用，也吸引了众多外部开发者，持续完善 CloudWeGo 的生态。 本文根据 CloudWeGo 三周年 《Kitex/Hertz 助力大模型：三周年重要特性回顾》 分享整理，介绍近一年来 Kitex/Hertz 的重要特性，希望为企业用户、社区同学在自己的项目中更好的应用 Kitex/Hertz 构建自己的微服务体系提供帮助。 加强流式能力助力大模型 大模型快速发展，字节跳动的 AI 应用也发展迅速，而 流式通信 是大模型应用
………………………………
