代码拼写错误删微软数据库,瘫10小时。-世界聚看点
2023-06-17 22:03:24来源:扩展迷EXTFANS
转自:CSDN(ID:CSDNnews)
(资料图片仅供参考)
5 月 24 日,微软 Azure DevOps 在巴西南部(SBR)区域内一处 scale-unit(微软 Azure 部署架构中最小的容量单元)设施发生瘫痪,持续了 10 个小时。
6 月 2 日,微软首席软件工程经理 Eric Mattingly 为这次故障出面道歉,并透露了具体原因:一个简单的错误拼写,导致了整整 17 个生产级数据库被删除。
“隐藏”着一条拼写错误
Mattingly 解释道,Azure DevOps 工程师偶尔会对生产级数据库的快照进行保存,以查看报告上的问题或测试性能改进。为清理这些快照数据库,会有专门的后台每天运行,系统会在一段设定的时间后删除旧快照。
在最近的一波 sprint (敏捷开发术语中的迭代开发周期)中,Azure DevOps 工程师执行了一次代码升级,将已弃用的 Microsoft .Azure. Management.* 软件包换成受支持的 Azure.ResourceManager.* NuGet 软件包。
这个操作,连带着大量 pull request 变更请求,会将旧包中的 API 调用替换为新包中的 API 调用——而引发此次事件的拼写错误,就出现在 pull request 内,导致后台快照删除作业删掉了整个服务器。
Mattingly 表示:“这条 pull request 中的快照删除作业中,隐藏着一条拼写错误,它会删除 Azure SQL 数据库调用,并替换成删除托管数据库的 Azure SQL Server 调用。”
按理来说,Azure DevOps 有一系列测试可发现这类问题。但 Mattingly 称,该错误代码只在某些条件下运行,因此没有被现有的测试机制及时发现。
Mattingly 表示,Azure DevOps 工程师使用安全部署实践(SDP)将 Sprint 222 部署到了 Ring 0(微软内部部署),那里不存在快照数据库,所以删除作业不会执行。但几天后,Azure DevOps 工程师又将其部署至 Ring 1(客户环境),也就是巴西南部的 scale-unit 设施。该环境中有一个比较旧的快照数据库,因此触发这个错误代码,于是它在删除 Azure SQL Server 的同时,还删掉了 scale-unit 设施中的 17 个生产级数据库。
好在,据 Mattingly 介绍,此次事件并未引发数据丢失。为了防止问题再次发生,Mattingly 称微软已采取了各种修复和重置措施,并向所有受此中断影响的客户道歉。
为何花费了 10 个小时才全部恢复?
据微软官方介绍,这 17 个生产级数据库被删后 20 分钟不到,其工程师就检测到了中断并立即开始抢修,但依旧花费了 10 个小时才完全恢复。
Mattingly 表示,这其中有几个原因:
▶ 首先,客户无法自己恢复 Azure SQL Server,因此必须由 Azure 团队来处理这项工作,这个过程对许多人来说大约需要一个小时。
▶其次,数据库有不同的备份配置,一些数据库被配置为 Zone 冗余备份,另一些数据库被配置为最新的 Geo-zone 冗余备份。协调这种不匹配情况给恢复过程增添了不少时间。
▶最后,在数据库开始重新上线后,由于 Web 服务器出现了一系列复杂的问题,即使是数据位于这些数据库中的客户,也无法访问整个 scale-unit 设施。
这些问题是服务器预热任务引起的,该任务会通过测试调用遍历可用的数据库列表。但恢复过程中的数据库抛出了一个错误,导致预热测试“执行指数级的 backoff 重试“,结果导致正常情况下只需不到 1 秒的预热过程,平均耗时了 90 分钟。
更复杂的是,整个恢复过程是交错进行的,一旦其中一两台服务器重新开始接收客户流量,就会因过载而再次停运。最终,工程师只能阻断所有流向巴西南部 scale-unit 的流量,确保一切准备就绪后,再重新加入负载均衡器并处理流量。
目前,为防止此次事故再次发生,微软方面已实施各种修复和重新配置。Mattingly 说:“我们再次向所有受到这次故障影响的客户道歉。”
网友:微软只是继续“贴膏药”
尽管如此,但此次微软的道歉并没有得到网友的谅解:
▶“看来 Azure 变得越来越复杂了,而频繁变化加上日益增加的复杂性,最终只会走上一条路:更多的灾难以及可靠性降低。听起来微软对此事故的解决方案是继续“贴膏药”,但我认为在某个阶段,还是有必要对方法进行更根本的重新思考,避免最终分崩离析。”
甚至因为这个简单的 Bug 导致 10 小时宕机的结果,不少网友也开始讨论“云”的必要性:
▶“关于云和DevOps最可怕的事情是,其实大多数文件都相当简洁,但其中总是有许多神奇的键/值,而实际上它们在代码审查中并没有任何意义。”
▶“这就是我讨厌云的众多原因之一。十多年来,我一直没有与 IaaS 打交道的乐趣,我的本地内容非常完美,我还成功地抵御了过去十年中那些想要一次又一次将云带回来的人。”
对此,你又有哪些看法呢?
参考链接:
https://www.theregister.com/2023/06/03/microsoft_azure_outage_brazil/
https://status.dev.azure.com/_event/392143683/post-mortem
- EOF -
温馨提示
关注【扩展迷EXTFANS】
阅读更多精彩内容
标签:
相关阅读
精彩推荐
阅读排行
相关词
- 沃尔沃XC90
- 当前资讯!四六级考试一考生腿部受伤拄拐赴考 安检员搀扶送入考场
- 播报:神仙道3角色梯度排行 详细排行攻略推荐
- Nintendo Switch 的《亵渎神灵 2》发布日期定于今年晚些时候 当前热讯
- 【报资讯】如何成为 Project Mugetsu hollow
- 精彩看点:六公主连播易烊千玺主演《奇迹笨小孩》等电影,网友:易烊千玺被官方认可
- 我国三北防护林建设工程取得积极进展 实现历史性转变 快播
- 肖战李沁再回那片海,还原相遇场景,引发粉丝追剧
- 中国第一无人岛2868万元成交 全球速讯
- 世界微速讯:神之雫25(关于神之雫25介绍)
- 宫外孕b超结果怎么看_宫外孕B超表现
- 天山脚下夏日美景惹人醉 用心守护“赛湖蓝”
- 甲壳烧长什么样子_甲壳烧是什么
- 第九届上交会闭幕 达成五百余项合作意向 天天百事通
- nh—bvv电线是什么意思_电线NH BV是什么意思_全球热门
- 世界消息!小米13 Ultra怎么投屏
- 世界观热点:资讯有故事|佐藤康弘:期待在中国能诞生更多像苏翊鸣一样的优秀运动员
- 今头条!深圳东莞ae学会了好就业吗
- 好百邻家政服务有限公司_开家政服务公司流程
- 记者探馆|老品牌新形象!龙江老字号新妆亮相
- 考拉信用_当前速递
- 全新人文艺术空间落户深水埗 霍启刚冀搭建香港文化艺术桥梁|环球热推荐
- 安卓板皇将至!三星Galaxy Tab S9系列平板海报曝光
- 西部数据22TB HC570企业级硬盘618到手价3599元_视焦点讯
- 00998是哪里的区号_0099是哪里的区号
- 知名公司原总裁,当庭认罪_最资讯
- “非遗武林大会”开幕啦!青岛市非遗传统武术展演活动成功举办 微动态
- 张掖无锡联合举办2023年夏季退役军人暨军人家属专场招聘会
- 北京市的师范类的学校有哪些专业贯通 天天速看料
- 莎拉波娃来做VC了
- 今日要闻!猫砂行业调研及未来趋势2023
- 果香引客来“采摘经济”带火乡村游 天天热门
- 世界热点评!不锈钢烤漆板 不锈钢烤漆
- 禁毒宣传,从娃娃抓起_热点聚焦
- 国家医保局推出十六项医保便民举措 百姓看病就医方便、实惠又高效
- 中国农业银行的网站叫什么_中国农业银行的网站
- 【环球报资讯】京东618爆出“最重订单”含数控机床等共计73件商品
- 魔兽大战僵尸失败_魔兽大战僵尸2_全球新视野
- 资讯:王筝我们都是好孩子mv_王筝我们都是好孩子歌词
- “不靠谱”的老爸
- sc20镀锌钢管外径是多少_SC20钢管是SC是什么意思-焦点速讯
- 前5个月全国税收收入84774亿元 同比增长17% 当前要闻
- 环球热头条丨新华全媒+丨新疆吐鲁番:他们在地表70℃的火焰山上巡线
- 空中俯瞰山水相融美如画 感受祖国大地夏日之美 世界今头条
- 世界最高坝中国华电金沙江上游拉哇水电站正式启动大坝浇筑
- 当前消息!空中俯瞰山水相融美如画 感受祖国大地夏日之美
- 天山脚下夏日美景惹人醉 用心守护“赛湖蓝”|全球看热讯
- 女孩不慎遗失手机,民警帮其寻回获赠手写感谢信|每日热点
- 光·有你
- 黑猫股份股价本周上涨两成 天天热资讯
- 当前快播:产融赋能 创享未来①|定了!6月20日,这场创投盛会在常德柳叶湖畔举办
- 2023年粤桂协作消费对接活动举办 开展消费帮扶助力乡村振兴_今日精选
- 世界今热点:石家庄经济技术开发区举行“安全宣传咨询日”活动
- 花园战争2steam叫什么(花园战争2)
- 沙漠里的“驯沙”人生有多传奇-焦点快看
- 永州市公路建设养护中心调研蓝山道路交通安全工作 全球微速讯
- 环球即时看!澳门期望与联合国世界旅游组织有更多合作
- 得利斯:预计2023年底前公司预制菜产能将达到20万吨
- 紫牙乌石榴石好吗值钱吗_紫牙乌石榴石好吗|每日时讯
- 世界短讯!我找到了阅读GitHub项目源码的最佳姿势,太舒服了!
- 快讯:12岁男孩子最喜欢什么礼物
- 环球观速讯丨3大中超争冠热门相继换帅!哈维尔在上港已瑟瑟发抖,帅位或难保
- 今日热文:日本增持美债,中国减持美债,外汇储备上升——2023年4月美国债券持有情况公布
- 【新要闻】榴莲船侧翻村民哄抢_榴莲船侧翻村民打捞
- 当前资讯!端午游以短途为主 毕业游预订升温
- 每日视讯:神之道化
- 世界今亮点!倒计时10天!天津夏季达沃斯论坛6月27日在津启幕
- 当前速看:长江TLC颗粒:梵想1TB移动固态硬盘低至259元
- 我国不断加大荒漠化防治力度 荒漠化防治取得显著成效
- 失之坦然得之淡然意思_失之坦然_今日热闻
- 当前快看:沙漠里的“驯沙”人生有多传奇
- 当前热文:漫评日本强推核污染水排海:“逆流而行”
- 天天即时:北京:航线恢复交流忙 海关5月验放航班近5000架次
- 抚顺百姓网二手房最新消息(抚顺百姓网二手房)
- 万代南梦宫游戏展要来了 网友期待《艾尔登法环》DLC
- 光·有你 世界快消息
- 天天关注:“中西绿色发展合作潜力巨大”
- 习近平致第十五届海峡论坛的贺信
- iOS 17 淘汰 iPhone 8、X 等:苹果老机型贬值率激增
- 《我在岛屿读书》第二季开播:京东打造节目同款书单 读者轻松低价买好书!_天天观焦点
- 当前速看:光伏要闻:隆基绿能再创纪录
- 嫌榴莲太臭?可它这3个好处“香”到不行!
- 世界观速讯丨ishoot ishoot 日本
- 天天热讯:全球首台!16兆瓦超大容量海上风电主机吊装现场来了
- 天山脚下夏日美景惹人醉 用心守护“赛湖蓝” 视点
- 林佳龙提议台发展战略产业 科技岛与观光岛_快看
- 何朝晖主持召开湖南湘江新区(长沙高新区)管委会主任会议 环球热闻
- 中国驻菲律宾大使:释放RCEP制度红利,更好造福两国人民
- 今日热门!无线持久续航!赛睿三模耳机618狂欢价2819元
- 大暴雨!10级雷暴大风!恰逢中考、赛龙舟,江西未来10天要注意…
- 林动的红颜知己有几个(林动的红颜知己)
- 问海借力 共创未来 丽水“两山”实践成果上海推介周在沪开幕 新要闻
- 世界热讯:电信手机店国庆海报制作
- 男子动手打人,拘了!五指山警方提醒......-天天微头条
- 当前焦点!舒淇黑色礼服现身上海电影节!嫁给爱情后满泻美若天仙
- 银行存款利率降到“2时代” 以后钱该放在哪? 世界微动态
- 突破性的光纤创造了新的数据传输速度记录
- 环球即时:小米10作为魔方世界冠军首次亮相
- 欧吉桑和欧巴桑_欧吉桑|新动态
- 社会主主义的本质特征_社会主义本质特征是什么|环球速读
- 【天天速看料】酒协公布!2023白酒圈“大洗牌”,五粮液王者归来,茅台地位不保
- 【聚看点】美国计划向乌克兰提供F-16战机 俄称已向美方发出外交照会
- 焦点热讯:家里养猫怎么去除猫毛_猫尿味怎么去除
- 华福证券手机版官网_华福证券官网同花顺|热议
- 世界快讯:黑曲霉菌是什么东西_黑曲霉
- 【全球聚看点】苹果 iOS 17 beta2 系统什么时候发布?
- 【地评线】京彩好评:青年就业:数据需冷静看,帮扶要全力干
- 全球今日讯!央广财评|坚持绿色发展,擦亮生态底色 让更多美丽乡村走向共富
- 广州地铁11号线施工区地陷致3死续:两责任人被判三缓三
- 中国民航复苏有望进一步加快
- 每日精选:中小企业数字化转型城市试点工作将开展 中央财政对试点城市给予定额奖励
- 今日热门!中式台球国际职业联赛国际精英赛启幕
- henkel是什么公司(henkel是什么品牌)_世界简讯
- 老婆的外遇(何明翰老婆)-天天微资讯
- 网络工程师做什么的?(网络工程师做什么)|世界要闻
- 中小企业数字化转型城市试点工作将开展
- 第三届粤港澳大湾区中国戏剧文化节在澳门开幕
- 小米12S Pro惊现低价,赠80W无线充电器
- 观点:国家文物局原副局长童明康同志不幸逝世,两周前在考察调研
- 微软发布Win11新更新 对简体中文字体输入法进行优化-环球实时
- 聚力国防教育 凝心民族精神:莱山区第一初级中学开展“国防教育月”系列活动 全球即时
- 洪江市:规范农村“三资”管理再发力
- 衣带渐宽
- 推荐一款轻量级全栈式开源测试平台!_今亮点
- 世界快讯:贾跃亭称FF汽车独具竞争优势 快速走向成功
- 全新DARKSTAR无线游戏鼠标悄然上市,15个可编程按键助您畅享电竞乐趣-天天热头条
- 每日看点!华硕展示Mini-ITX主板 集成英特尔 N100处理器
- 环球观天下!高温天如何防暑防晒?医生来支招
- 纵横交错是词语吗_纵横交错_每日热讯
- 坚持绿色发展,擦亮生态底色 让更多美丽乡村走向共富-热消息
- 碳中和周报|欧洲议会通过《新电池法》协议 五部门组织开展2023年新能源汽车下乡活动-最新
- 山东外事翻译学院威海校区一楼餐厅鸡公煲_山东外事翻译学院威海校区 环球即时看
- 搭建涉外交流合作平台 多方助力重庆开放型经济发展|全球时讯
- 永州故事汇12集 问道龙舟之美_天天热资讯
- 天天快看:枸杞头炖银耳_关于枸杞头炖银耳概略
- 天天百事通!安进集团
- 【全球播资讯】金陵十二钗什么意思_金陵十二衩
- 煤矿井下消防器材配备标准的规范文件(煤矿井下消防器材配备标准)
- 知其然不知其所以然意思相近的寓言_知其然不知其所以然的意思
- cae软件开发_cae软件_环球焦点
- 安进生物医药 上海有限公司
- 助力打造世界级生命科学产业集群,湖南湘江圣湘生物产业基金落地长沙_讯息
- 南湖晚报公安周刊官网_嘉兴南湖晚报官网|速看料
- 看点:牡丹花下死做鬼也风流什么意思_牡丹花下死做鬼也风流
- 炕怎么读_炕拼音是什么_当前速读
- 环球热文:冲进球场拥抱梅西的球迷被罚,欧洲赛场上这类行为如何处理
- 鄂尔多斯市气象台发布大风蓝色预警【IV级/一般】【2023-06-17】 世界最资讯
- 申能集团与光明食品集团携手打造农林牧副渔产业和乡村振兴行业示范
- 宦官和太监的区别是什么(宦官和太监的区别)
- 全是干货!2023年天然气涨价股票的龙头股有哪些?(6/17)|每日简讯
- 太原理工大学勤工助学中心官网登录(太原理工大学勤工助学中心官网)