凌晨 3 点，告警响了。你的第一反应是什么？本文是一份可落地的故障响应 SOP。

一、故障分级

  • 1.1 P0——核心功能完全不可用，影响全部用户
  • 1.2 P1——核心功能部分不可用，或非核心功能完全不可用
  • 1.3 P2——非核心功能异常，少数用户受影响
  • 1.4 P3——非功能性异常，无用户影响

二、黄金 5 分钟

  • 2.1 确认故障——不是误告警
  • 2.2 判断影响面——哪些用户、哪些功能
  • 2.3 拉群——拉相关团队值班人员
  • 2.4 决策——回滚 vs 限流 vs 扩容

三、应急处理

  • 3.1 优先恢复服务——回滚 > 限流 > 修复
  • 3.2 保留现场——日志、dump、监控截图
  • 3.3 降级开关——关掉非核心功能
  • 3.4 扩容——应急扩容

四、根因分析

  • 4.1 5-Why 分析法
  • 4.2 时间线还原
  • 4.3 变更关联——最近发布/配置变更

五、故障复盘

  • 5.1 复盘会议——故障发生 24 小时内
  • 5.2 复盘文档模板——故障描述、影响、时间线、根因、改进措施
  • 5.3 改进跟踪——每项改进指定负责人和截止日期
  • 5.4 故障定级与责任归属——对事不对人

六、改进与预防

  • 6.1 监控完善——这次没发现的原因
  • 6.2 自动化——自动故障检测和恢复
  • 6.3 演练——混沌工程

七、总结

  • 故障不可怕，可怕的是重复相同的故障
  • 每一次故障都是系统健壮性提升的机会