专栏名称: CNCF
云原生计算基金会(CNCF)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。
今天看啥  ›  专栏  ›  CNCF

openGemini社区新数据写入协议开发小组,闪亮登场!

CNCF  · 公众号  ·  · 2024-10-21 09:24

文章预览

1 特性名称 openGemini高性能数据写入协议开发 2 特性目标 在现有基础上,实现openGemini单机性能提升50% 3 特性背景 当前 openGemini 数据写入采用了 InfluxDB 的行协议,通过HTTP协议导入,在海量数据写入场景下,存在着以下一些问题: 客户端编码,服务端解码开销大 需要对每行数据的 field 和 tag 进行排序,开销较大 每行数据都有表名称,tag key 和 field key,批量写入时信息冗余 相较于直接使用 TCP 协议,HTTP协议偏重,GZIP 压缩解压效率偏低 4 技术方案 一句话总结,使用TCP协议代替HTTP,设计新的协议格式统一数据写入数据结构,减少冗余数据和服务侧的数据处理开销。 详细讨论见: https://github.com/openGemini/openGemini/issues/752  5 社区特性开发成员 6 相关信息 openGemini社区人才培养计划:助力成长,培养新一代云原生数据库人才 openGemini社区伙伴共建计划:携手 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览