完犊子！线上四台机器同一时间全部 OOM

文章预览

案发现场 昨天晚上突然短信收到 APM （即 Application Performance Management 的简称），我们内部自己搭建了这样一套系统来对应用的性能、可靠性进行线上的监控和预警的一种机制）大量告警 画外音: 监控是一种非常重要的发现问题的手段，没有的话一定要及时建立哦 紧接着运维打来电话告知线上部署的四台机器全部 OOM (out of memory, 内存不足)，服务全部不可用,赶紧查看问题! 问题排查 首先运维先重启了机器，保证线上服务可用，然后再仔细地看了下线上的日志，确实是因为 OOM 导致服务不可用 第一时间想到 dump 当时的内存状态，但由于为了让线上尽快恢复服务，运维重启了机器，导致无法 dump 出事发时的内存。所以我又看了下我们 APM 中对 JVM 的监控图表  画外音：一种方式不行，尝试另外的角度切入！再次强调，监控非常重要！完善的监控能还原当时 ………………………………