一下午连续故障两次，谁把我们接口堵死了？！

文章预览

唉。。。 大家好，我是程序员鱼皮。又来跟着鱼皮学习线上事故的处理经验了喔！ 事故现场 前天下午，我们的 编程导航网站 连续出现了两次故障，每次持续半小时左右，现象是用户无法正常加载网站，一直转圈圈。 用户很快就在群里炸开锅了，甚至有用户表示 “我提前进去了，都不敢刷新。。” 看到这些我真的非常难受，我们团队的开发同学也第一时间展开了排查。 简单看了下前端向后端发的请求，发现所有的请求都一直阻塞，直到超时。直接请求后端服务器的接口也是一样的，等了很久都没有正常返回数据。最关键的是，所有接口都阻塞住了，哪怕只是请求个健康检查接口（后端直接返回 "ok"，不查询数据库），也无法正常响应。 我们的后端服务是部署在容器托管平台的，正常情况下如果资源（比如 CPU 和内存）占用超过一定比例，会自 ………………………………