专栏名称: macrozheng
专注Java技术分享,解析优质开源项目。涵盖SpringBoot、SpringCloud、Docker、K8S等实用技术,作者Github开源项目mall(50K+Star)。
今天看啥  ›  专栏  ›  macrozheng

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?

macrozheng  · 公众号  · 互联网安全 科技自媒体  · 2024-09-21 14:10
    

主要观点总结

该文章介绍了微服务项目 learning:cloud.macrozheng.com 项目,具体描述了京东 App 后台中间件的功能和特点,包括热数据探测、推送至集群内存、降低热 key 对数据层查询压力等。文章还介绍了该项目的核心功能、适用场景、性能指标、实战检验、架构设计等相关内容。

关键观点总结

关键观点1: 项目介绍与核心功能

文章介绍了cloud.macrozheng.com项目,这是一个京东 App 后台中间件项目,能够毫秒级探测热点数据并将其推送到服务器集群内存。这有助于大幅降低热 key 对数据层的查询压力,并应对无法预先感知的热点请求。

关键观点2: 性能指标

该框架经历了多次压测,探测性能可达每秒处理 16 万个 key 探测任务(8 核单机),推送性能可达每秒 10-12 万次平稳推送。在实战检验中,每天探测的 key 数量数十亿计,能够精准捕获爬虫、刷子用户和热门商品。

关键观点3: 项目架构与设计

项目主要由四个部分组成:etcd集群、client端jar包、worker端集群和dashboard控制台。项目没有依赖于任何定制化的组件,核心靠netty连接完成分布式计算。同时,介绍了项目的整体架构图。

关键观点4: 其他推荐项目

文章还推荐了一个基于Spring Boot 3 + JDK 17的电商系统项目mall,采用Docker容器化部署,涵盖商品、订单、购物车、权限等功能。同时,提供了视频教程链接,内容涵盖Spring Cloud核心组件、微服务项目实战、Kubernetes容器化部署等内容。


文章预览

微服务项目学习: cloud.macrozheng.com 项目介绍 京东 App 后台中间件,毫秒级探测热点数据,毫秒级推送至服务器集群内存,大幅降低热 key 对数据层查询压力。 对任意突发性的无法预先感知的热点请求,包括并不限于热点数据(如突发大量请求同一个商品)、热用户(如爬虫、刷子)、热接口(突发海量请求同一个接口)等,进行毫秒级精准探测到。然后对这些热数据、热用户等,推送到该应用部署的所有机器 JVM 内存中,以大幅减轻对后端数据存储层的冲击,并可以由客户端决定如何使用这些热 key(譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值)。这些热 key 在整个应用集群内保持一致性。 核心功能 :热数据探测并推送至集群各个服务器 适用场景 : mysql 热数据本地缓存 redis 热数据本地缓存 黑名单用户本地 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览