外企互联网金融产品，如何搭建事故应变措施

关注并将「人人都是产品经理」设为 ★ 星标

每天早上更新，与你一起成长

还记得某个请了事假的周五下午，处理完事情之后，我跟朋友北京城区内悠闲地吃个早午餐，没想到手机中的Teams突然响起，一看竟然是来自公司作战室的来电，心脏仿佛突然漏了一拍，只好放下手中的刀叉，接了起来……

对产品经理来说，处理事故是必修的课题，但如何「漂亮地处理事故」，则是需要不断与团队彼此磨合。有兴趣了解的朋友就一起往下看看吧！

什么是事故应变措施？

前阵子我看了一部被誉为人生必看的韩剧《浪漫医生金师傅》，剧中描写了许多医院急诊室的故事。

其实互联网服务的生产事故，就像在医院急诊室一样，得由一群经验老道，并且可以处理各式各样的医护人员进行第一步筛查，判断发生原因，然后再交由各科室的同仁进行详细处理。

因此，在产品服务面对用户之后，有一组非常重要又辛苦的互联网急诊室的守护者，就是SRE (Site Reliability Engineering)。

他们主要负责确保服务的稳定性，监控生产环境上的各种情况，一旦发生问题时，就要立刻召集相关人员排查、解决。

服务稳定性乍听之下可能不太起眼，但却至关重要。作为产品经理，为了能够提供更好的用户体验、保持市场竞争力，並追求更好的商业价值，我们总是不停地在「持续迭代」，而如何平稳、丝滑的调整，就依赖开发团队及SRE团队的合作。

互联网服务上，系统包含的范围非常广，业务应用服务、网路、数据库、云端服务或伺服器等等，每一个环节都有可能出现异常，问题真的千奇百怪。

小到用户不理解前端提示而误操作、网路波动影响接口调用失败、或是大到整体机房出现异常、流量被恶意拦截需要紧急抢救的…等等。

面对不同等级的故障，团队应该在事故的「处理时效」、「处理方式」、「通报范围」的不同维度达成共识。

为什么要搭建事故应变措施？

互联网金融服务相比于工具类的服务，服务的稳定性，在用户心智中很大程度与资金安全有所关联。试想看看，如果隔天就是房贷的缴款截止日了，但是金融服务突然不能用，身上也没有现金这多令人跳脚！

当有生产事故发生时，除了影响用户体验、公司收入、更甚者可能引发舆论而影响公司声誉。因此，在事故发生当下，除了排查问题、解决问题之外，与团队内部、外部合作方、外部用户、公关媒体的沟通，每一个环节都至关重要。

如何搭建事故应变措施？

1. 预想可能发生的事情

如同《浪漫医生金师傅》剧中，我们可以看到许多奇特的意外伤害而来到医院急诊室的病患，例如：连环车祸、滑雪受伤、误食农药、地震等各种天灾人祸皆有可能，而剧中的护理人员也会每天准备好急诊室常备用品，确保当有需求时，不会因为物品匮乏而延误抢救病患的最佳时间。

而反映在互联网服务上，我们不难找到许多有心者恶意利用漏洞，或是意外情况而导致的生产事故，团队可以预先想到可能发生的情况，也可以在经验中不断学习。

例如：系统流量超过可负荷的限额、流量被恶意拦截、依赖性系统突发异常、用户因不理解指引的误操作…等等。

2. 确定有哪些重要团队成员

如上述说的，在讨论生产事故处理机制时，我认为有这些角色的参与是非常重要的，每个角色可以从各自的角度提供专业建议与支持。