文章预览
本文主要介绍数据一致性校验如何结合小红书的业务进行实践并落地,以及数据一致性校验在小红书内部拿到的实际收益。 如有感兴趣的同学,欢迎联系我们开展技术交流。 1.1 什么是数据一致性校验 在数据迁移、数据同步以及多数据中心部署等场景中,数据的一致性要求极为严格。然而冗长的同步计算链路产生的误写或丢失、主从复制延迟产生的脏读,业务双写、人为误操作产生的脏数据等众多因素,都可能导致数据不一致。 通过建设数据一致性校验能力,能够及时、准确的发现并解决数据不一致问题,有效降低对业务的影响。 1.2 数据一致性校验应具备的能力 在小红书内部,数据传输服务每天服务着众多的业务,保障着众多的数据同步任务,在数据同步过程中,源端和目标端的数据一致性需要严格保证,否则将会产生业务损伤。同时,在面
………………………………