云服務(wù)可靠性再次敲響警鐘。

當(dāng)?shù)貢r(shí)間11月18日，互聯(lián)網(wǎng)基礎(chǔ)設(shè)施巨頭Cloudflare發(fā)生服務(wù)中斷，導(dǎo)致全球多家主要網(wǎng)站無(wú)法訪問(wèn)。

根據(jù)網(wǎng)站故障追蹤機(jī)構(gòu)Downdetector（該網(wǎng)站自身也一度無(wú)法被部分用戶訪問(wèn)），Anthropic的Claude聊天機(jī)器人、特朗普的Truth Social以及馬斯克旗下社交媒體平臺(tái)X等都受到了影響，美國(guó)新澤西公交系統(tǒng)的部分?jǐn)?shù)字服務(wù)也因中斷而癱瘓。

同時(shí)，OpenAI的狀態(tài)頁(yè)面在當(dāng)天晚些時(shí)間也顯示，ChatGPT及其Sora短視頻應(yīng)用在因“第三方服務(wù)提供商”問(wèn)題出現(xiàn)故障后已完全恢復(fù)。

Cloudflare自2009年開(kāi)始組建于哈佛大學(xué)，并在2010年正式推出首批測(cè)試版，2019年在紐約證券交易所上市，目前已服務(wù)30%的財(cái)富1000強(qiáng)公司。其核心服務(wù)包括DDoS（防御分布式拒絕服務(wù)），這種攻擊通過(guò)海量虛假請(qǐng)求淹沒(méi)目標(biāo)網(wǎng)站致其癱瘓。據(jù)外媒報(bào)道，該公司流量管理及安全防護(hù)服務(wù)覆蓋約20%的互聯(lián)網(wǎng)流量。

受事件影響，截至美股18日收盤(pán)，Cloudflare股價(jià)下跌2.83%。

Cloudflare聯(lián)合創(chuàng)始人、CEO馬修·普林斯（Matthew Prince）表示，此次是Cloudflare自2019年以來(lái)最嚴(yán)重的中斷，“今天這樣的中斷是不可接受的……我謹(jǐn)代表Cloudflare全體團(tuán)隊(duì)，為給互聯(lián)網(wǎng)造成的困擾道歉?！?/p>

受影響網(wǎng)站出現(xiàn)的報(bào)錯(cuò)信息

Cloudflare CTO戴恩·克內(nèi)切特（Dane Knecht）也在社交平臺(tái)發(fā)文，對(duì)故障深表歉意，表示此次事故系公司支撐發(fā)現(xiàn)僵尸程序緩解功能的某個(gè)服務(wù)中存在潛在缺陷，在進(jìn)行常規(guī)配置變更后開(kāi)始崩潰，進(jìn)而引發(fā)網(wǎng)絡(luò)及其他服務(wù)的大范圍退化，而非遭受攻擊所致。

克內(nèi)切特表示，此次故障及其造成的影響與恢復(fù)時(shí)長(zhǎng)都是不可接受的?！拔覀円阎珠_(kāi)展工作確保此類(lèi)事件不再發(fā)生，但深知確實(shí)造成了實(shí)際影響?？蛻艚o予我們的信任是最寶貴的財(cái)富，我們將不惜一切代價(jià)重新贏回這份信任”。

Cloudflare CTO戴恩·克內(nèi)切特推文截圖

當(dāng)?shù)貢r(shí)間11月19日一早，Cloudflare發(fā)布完整報(bào)告，詳細(xì)描述了持續(xù)近5個(gè)小時(shí)的事件經(jīng)過(guò)：當(dāng)?shù)貢r(shí)間18日上午11:28開(kāi)始出現(xiàn)影響，并在客戶HTTP流量上首次觀察到錯(cuò)誤；14:30主要影響解決，下游受影響服務(wù)開(kāi)始觀察到錯(cuò)誤減少，大多數(shù)服務(wù)開(kāi)始正確運(yùn)行；17:06所有下游服務(wù)重啟，所有操作完全恢復(fù)，影響結(jié)束。

Cloudflare表示，在故障發(fā)生時(shí)，公司“最初錯(cuò)誤地懷疑所見(jiàn)癥狀是由超大規(guī)模DDoS攻擊引起”，之后正確識(shí)別出了核心問(wèn)題——底層生成此文件的ClickHouse查詢(xún)行為發(fā)生了變化，文件包含大量重復(fù)的“特征”行，致使Bot Management模塊觸發(fā)錯(cuò)誤，導(dǎo)致核心代理系統(tǒng)對(duì)任何依賴(lài)于該模塊的流量返回了HTTP 5xx錯(cuò)誤碼，同時(shí)，當(dāng)包含超過(guò)特征數(shù)量限制的錯(cuò)誤文件傳播到服務(wù)器時(shí)，觸發(fā)了Cloudflare的系統(tǒng)恐慌。此外，這也影響了該公司客戶依賴(lài)核心代理的Workers KV和Access兩項(xiàng)服務(wù)。

隨后，Cloudflare通過(guò)停止生成和傳播錯(cuò)誤的特征文件，并手動(dòng)將一份已知良好的文件插入特征文件分發(fā)隊(duì)列來(lái)解決了問(wèn)題，然后強(qiáng)制重啟核心代理，5xx錯(cuò)誤碼數(shù)量此后恢復(fù)正常。

Cloudflare此次中斷事故時(shí)間線

Cloudflare表示，“鑒于Cloudflare在互聯(lián)網(wǎng)生態(tài)系統(tǒng)中的重要性，我們?nèi)魏蜗到y(tǒng)的任何中斷都是不可接受的”，對(duì)給客戶和整個(gè)互聯(lián)網(wǎng)帶來(lái)的影響深表歉意。

Cloudflare稱(chēng)，公司已開(kāi)始著手研究如何加強(qiáng)系統(tǒng)以防未來(lái)發(fā)生類(lèi)似故障，包括強(qiáng)化Cloudflare生成的配置文件的攝入處理，采用與處理用戶生成輸入相同的方式；為功能啟用更多全局緊急停止開(kāi)關(guān)；消除核心轉(zhuǎn)儲(chǔ)或其他錯(cuò)誤報(bào)告耗盡系統(tǒng)資源的可能性；審查所有核心代理模塊中錯(cuò)誤條件的故障模式等措施。

據(jù)外媒報(bào)道，此次事故發(fā)生前不到一個(gè)月，亞馬遜云服務(wù)也剛剛經(jīng)歷過(guò)導(dǎo)致多項(xiàng)網(wǎng)絡(luò)服務(wù)癱瘓的整日故障，隨后微軟Azure云服務(wù)及365辦公套件也曾出現(xiàn)全球性中斷。

而早在2024年7月，網(wǎng)絡(luò)安全公司CrowdStrike就曾因有缺陷的軟件更新引發(fā)大規(guī)模系統(tǒng)故障，造成航班停飛、金融服務(wù)受阻及醫(yī)院推遲手術(shù)等連鎖反應(yīng)。