专栏名称: 架构师
架构师云集,三高架构(高可用、高性能、高稳定)、大数据、机器学习、Java架构、系统架构、大规模分布式架构、人工智能等的架构讨论交流,以及结合互联网技术的架构调整,大规模架构实战分享。欢迎有想法、乐于分享的架构师交流学习。
今天看啥  ›  专栏  ›  架构师

300 秒到 4 秒,如何将 MySQL 批量写入的耗时缩短 99%?

架构师  · 公众号  ·  · 2025-01-12 22:26
    

文章预览

架构师(JiaGouX) 我们都是架构师! 架构未来,你来不来? 代码运行的环境 基础实现的性能 从哪个方向开始优化? 开启 MySQL 批处理 开启多线程写入 进一步的优化方向 最近碰到一个场景,从 XML 文件导入 6 万多条数据到 MySQL 中。需求并不复杂,基于 XML 文件和 xlsx 文件的相似性,其实这就是一个老生常谈的数据导入问题。 本文将介绍我如何将导入操作耗时从 300 秒优化到 4 秒。 代码运行的环境 Java 代码在笔记本上运行,MySQL 在局域网内的虚拟机上。 笔记本配置八核 i9 2.3 GHz,16 GB 内存,最近气温偏高,CPU 存在降频现象,对执行耗时有一定影响。 MySQL 数据库运行在 VirtualBox 虚拟机内。虚拟机分配了 4 核 4 GB 内存,但宿主机硬件性能比较羸弱,导致 MySQL 写入耗时较长。 JDK 采用 21 版本,MySQL 采用 8.0 版本。 在这个环境配置下,从 XML 文件中读取一 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览