面试官：10亿数据如何最快速插入MySQL？

文章预览

作者： 想打游戏的程序猿 juejin.cn/post/7395024434681937971 最快的速度把10亿条数据导入到数据库，首先需要和面试官明确一下，10亿条数据什么形式存在哪里，每条数据多大，是否有序导入，是否不能重复，数据库是否是MySQL？ 假设和面试官明确后，有如下约束 10亿条数据，每条数据 1 Kb 数据内容是非结构化的用户访问日志，需要解析后写入到数据库 数据存放在 Hdfs  或  S3  分布式文件存储里 10亿条数据并不是1个大文件，而是被近似切分为100个文件，后缀标记顺序 要求有序导入，尽量不重复 数据库是  MySQL 首先考虑10亿数据写到MySQL单表可行吗？ 数据库单表能支持10亿吗？ 答案是不能，单表推荐的值是2000W以下。这个值怎么计算出来的呢？ MySQL索引数据结构是B+树，全量数据存储在主键索引，也就是聚簇索引的叶子结点上。B+树插入和查询的性能和B+ ………………………………