一行代码，损失 6000 万美元
问题所在
追根溯源，原因在于网络交换机实施的软件更新中出现了编码错误。
while (ring receive buffer not emptyand side buffer not empty):Initialize pointer to first message in side bufferor ring receive bufferget copy of bufferswitch (message):case (incoming_message):if (sending switch is out of service):if (ring write buffer is empty):send "in service" to status mapelse:break // The error was here!END IFprocess incoming message, set up pointers tooptional parametersbreakEND SWITCHdo optional parameter work
问题分析
如果环写入缓冲区不是空的，那么第 7 行的 `if` 语句就会被跳过，取而代之的是第 10 行的中断语句。
然而，为了使程序正常运行，本应执行第 11 行。
当中断语句被执行，而不是处理传入的信息并为可选参数设置指针时，数据（本应保留的指针）就会被覆盖
纠错软件识别出数据被覆盖，并启动关闭开关进行重置。由于网络中的所有交换机都使用了这种有缺陷的软件，导致了连锁重置反应，最终瘫痪了整个网络系统，使问题变得更加复杂。
尽管进行了严格的测试，网络的设计也非常灵活，但一行代码还是导致了半个国家的主要通信线路瘫痪。
修复
工程师们花了 9 个小时才使 AT&T 的系统完全恢复正常。他们主要是通过将交换机回滚到之前的代码工作版本来实现的。
实际上，软件工程师花了两周时间进行严格的代码阅读、测试和复制，才真正弄清了错误所在。
结论
对于 AT&T 来说，不幸的是，这还不是他们 90 年代最大的系统崩溃。在这十年的后期，他们还遇到了更多的问题。
今天的公司拥有更好的流程，但即便如此，还是会有漏洞漏网。谷歌撰写了一篇关于网站可靠性工程 20 年的精彩回顾文章，其中对 2016 年 YouTube 的首次全球故障进行了反思。
对于公司来说，故障的规模是巨大的，每次故障都会给我们带来教训。然而，对于大多数公司来说，故障归根结底是人为错误和流程漏洞造成的。
原文： https://engineercodex.substack.com/p/how-one-line-of-code-caused-a-60
转自：https://www.jdon.com/69737.htm
本文为 @ 万能的大雄 创作并授权 21CTO 发布，未经许可，请勿转载。
内容授权事宜请您联系 webmaster@21cto.com或关注 21CTO 公众号。
该文观点仅代表作者本人，21CTO 平台仅提供信息存储空间服务。
评论
万能的大雄
标准用户最新文章
中国研究人员开发504量子位超导Q...
04月30日Google 因“廉价”劳动力解散Pytho...
04月30日