[故障公告]14:40-15:00博客站點(diǎn)web服務(wù)器雪崩似的CPU 100%

發(fā)布時(shí)間：2017年07月11日作者： IT網(wǎng)絡(luò)文摘 (該文來(lái)自筆記，點(diǎn)擊查看原文)

非常抱歉，今天下午14:40-15:00左右，web服務(wù)器突然雪崩似的出現(xiàn)CPU 100%問(wèn)題，造成博客站點(diǎn)無(wú)法訪問(wèn)（503）。由此給您帶來(lái)很大的麻煩，請(qǐng)您諒解。

在問(wèn)題出現(xiàn)之前，博客站點(diǎn)運(yùn)行著5臺(tái)web服務(wù)器，4臺(tái)4核8G的阿里云-計(jì)算型(原獨(dú)享)sn1系列II-服務(wù)器，1臺(tái)8核8G的阿里云c1型系列I服務(wù)器。本來(lái)今天下午并不是一周的訪問(wèn)最高峰，這5臺(tái)服務(wù)器綽綽有余。但14:40左右開(kāi)始，某種未知的情況引起這5臺(tái)服務(wù)器雪崩似的接連地出現(xiàn)CPU 100%。雪上加霜的是，倒下去的服務(wù)器沒(méi)能很快地站起來(lái)，被負(fù)載均衡拉黑，剩下的服務(wù)器在更高的負(fù)載下更加無(wú)喘息之機(jī)，也一臺(tái)接一臺(tái)的倒下、被拉黑。。。

雖然我們發(fā)現(xiàn)后很快通過(guò)阿里云彈性伸縮增加服務(wù)器，但無(wú)濟(jì)于事，彈性伸縮從開(kāi)始增加服務(wù)器到服務(wù)器正常工作，大約需要5分鐘左右。等彈性伸縮的服務(wù)器起來(lái)后，已有服務(wù)器已基本都倒下，它們根本頂不住，上去就倒下。。。加了2臺(tái)，倒下2臺(tái)。

15:00左右，引發(fā)CPU 100%問(wèn)題的未知情況消失，這7臺(tái)服務(wù)器的CPU也很快都恢復(fù)了正常。

就這樣，一場(chǎng)暴風(fēng)雨在炎熱的周五下午襲擊了園子。

標(biāo)簽: 故障公告

好文要頂關(guān)注我收藏該文

博客園團(tuán)隊(duì)
關(guān)注 - 0
粉絲 - 3639

+加關(guān)注

? 上一篇：上周熱點(diǎn)回顧（6.26-7.2）
? 下一篇：上周熱點(diǎn)回顧（7.3-7.9）

posted @ 2017-07-07 16:20 博客園團(tuán)隊(duì) 閱讀(3224) 評(píng)論(41) 編輯收藏

評(píng)論列表

#1樓 2017-07-07 16:22 undefined

可能是研究生要寫(xiě)論文了吧。

支持(12)反對(duì)(0)

#2樓 2017-07-07 16:25 GuZhenYin

這..自從上了云之后..各種事情不斷啊 - - 辛苦了

支持(4)反對(duì)(1)

#3樓 2017-07-07 16:25 LubinLew

尊敬的用戶，阿里云提示您該升級(jí)配置了。

支持(3)反對(duì)(1)

#4樓 2017-07-07 16:26 GreySky

阿里云給你們提醒下要升級(jí)服務(wù)器了。

支持(3)反對(duì)(0)

#5樓 2017-07-07 16:35 AnonymouL

阿里搞得，想讓你多買(mǎi)幾臺(tái)服務(wù)器

支持(2)反對(duì)(1)

#6樓 2017-07-07 16:35 皮卡丘_99

同時(shí)用阿里云和騰訊云可以不？把雞蛋分籃子放一下呢

支持(5)反對(duì)(0)

#7樓 2017-07-07 16:51 牛腩

支持支持。。今天搶到百度云免費(fèi)半年服務(wù)器，無(wú)公網(wǎng)IP，ubuntu16.04,
學(xué)linux, 裝docker, 部署.NET CORE項(xiàng)目，月入百萬(wàn)，迎娶白富美。。。。

支持(4)反對(duì)(0)

#8樓 2017-07-07 16:54 jvCrystal

裝兩個(gè)籃子吧。。。。

支持(0)反對(duì)(0)

#9樓 2017-07-07 16:57 眼睛好痛

時(shí)不時(shí)的故障給人感覺(jué)阿里云好差，為什么不用Azure？

支持(1)反對(duì)(0)

#10樓 2017-07-07 17:01 荊棘人

查查原因啊，有可能是你們系統(tǒng)有隱藏很深的bug

支持(0)反對(duì)(1)

#11樓 2017-07-07 17:03 KMSFan

這個(gè)和阿里云有個(gè)鬼關(guān)系，查查DUMP文件啊，哪個(gè)地方資源沒(méi)釋放。

支持(0)反對(duì)(0)

#12樓 2017-07-07 17:14 木小白

尊敬的用戶，阿里云提示您該升級(jí)配置了。

支持(0)反對(duì)(0)

#13樓 2017-07-07 17:15 快樂(lè)八哥

這種情況下，負(fù)載均衡器要它何用?不能拒絕一部分請(qǐng)求?穩(wěn)住1-2臺(tái)云服務(wù)器

支持(1)反對(duì)(0)

#14樓 2017-07-07 17:23 jack_zdl

什么鬼，具體的log曬出來(lái)。讓我們學(xué)習(xí)學(xué)習(xí)~

支持(1)反對(duì)(0)

#15樓 2017-07-07 17:34 Eric-Lee

DUMP文件拋下，讓大伙瞧瞧

支持(1)反對(duì)(0)

#16樓 2017-07-07 17:36 LoveCoder

曾經(jīng)一個(gè)for循環(huán)沒(méi)寫(xiě)好。每當(dāng)有人訪問(wèn)到哪個(gè)頁(yè)面，cpu就漲一點(diǎn)點(diǎn)。當(dāng)稍微多幾個(gè)人訪問(wèn)那個(gè)頁(yè)面，直接崩潰。
然而那個(gè)頁(yè)面并不是經(jīng)常有人訪問(wèn)。

支持(0)反對(duì)(0)

#17樓 2017-07-07 17:54 雨の夜

@ 牛腩
引用支持支持。。今天搶到百度云免費(fèi)半年服務(wù)器，無(wú)公網(wǎng)IP，ubuntu16.04,
學(xué)linux, 裝docker, 部署.NET CORE項(xiàng)目，月入百萬(wàn)，迎娶白富美。。。。

厲害了

支持(0)反對(duì)(0)

#18樓 2017-07-07 18:27 故宮博物院

馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????

支持(0)反對(duì)(3)

#19樓 2017-07-07 18:37 sparkdev

搬上云平臺(tái)只是新征程的起點(diǎn)

支持(0)反對(duì)(0)

#20樓 2017-07-07 18:42 sparkdev

順便吐槽一下，今天阿里云mysql控制臺(tái)故障，無(wú)法執(zhí)行腳本，天呀我們?cè)诎l(fā)布！

支持(1)反對(duì)(0)

#21樓 2017-07-07 18:43 蘇子軒2015

事后也得盡快找找原因

支持(0)反對(duì)(0)

#22樓 2017-07-07 19:46 薛定諤的青蛙

可能研究生的論文缺一點(diǎn)數(shù)據(jù)，正在爬取

支持(1)反對(duì)(0)

#23樓 2017-07-07 22:30 三生石上(FineUI控件)

看著都心疼....

支持(0)反對(duì)(0)

#24樓 2017-07-07 23:51 隆德?tīng)?/a>

樓主，首先請(qǐng)不要生氣，我只是想問(wèn)一句：隨時(shí)把服務(wù)器的問(wèn)題都亮出來(lái)，故障現(xiàn)象甚至故障原因都說(shuō)得頭頭是道，然后又沒(méi)有任何解決之道，有用嗎？有病呻吟而不就醫(yī)，行嗎？

支持(1)反對(duì)(0)

#25樓 2017-07-08 07:55 passer.net

分析一下IIS日志，是不是有大量的非正常請(qǐng)求?；蛘哂忻黠@的外部IO性能瓶頸阻塞請(qǐng)求,比如數(shù)據(jù)庫(kù)，分布式緩存一類(lèi)。

支持(0)反對(duì)(0)

#26樓 2017-07-08 07:58 Lexy

會(huì)不會(huì)被CC了，我的服務(wù)器經(jīng)常CPU100%。后來(lái)用收費(fèi)版的百度云加速也沒(méi)好多少。必須開(kāi)強(qiáng)力防護(hù)才攔得住

支持(0)反對(duì)(0)

#27樓 2017-07-08 08:47 神牛步行3

這么多服務(wù)器應(yīng)該足夠了，估計(jì)某個(gè)訪問(wèn)比較延遲，惡性循環(huán)，加上各種被刷最終倒了。還是盡量想法查出原因，增加各種日子，訪問(wèn)時(shí)間吧。

支持(0)反對(duì)(0)

#28樓 2017-07-08 09:13 Wang小白

馬云說(shuō)的都是對(duì)的..?????????????????????????,??????????????????????????????????????馬云說(shuō)的都是對(duì)的

支持(0)反對(duì)(2)

#29樓 2017-07-08 09:14 Wang小白

支持馬云支持阿里不支持不愛(ài)國(guó)

支持(0)反對(duì)(2)

#30樓 2017-07-08 09:17 我要掙錢(qián)

每月總有那么幾天！

支持(0)反對(duì)(0)

#31樓 2017-07-08 09:18 白云隨風(fēng)

這里面水很深

支持(0)反對(duì)(0)

#32樓 2017-07-08 10:08 碼有錢(qián)

精彩

支持(0)反對(duì)(0)

#33樓 2017-07-08 12:03 yc5518

當(dāng)時(shí)我剛發(fā)完一片小文，被檢測(cè)出有敏感字眼，我還以為是我發(fā)了什么給我屏蔽了。。。

支持(0)反對(duì)(0)

#34樓 2017-07-08 13:16 燈芯~~

平時(shí)不要亂屏蔽人家的信息不就是了，得罪了高手

支持(0)反對(duì)(0)

#35樓 2017-07-08 14:46 pcat

不知道博客園什么時(shí)候可以讓博文支持markdown

支持(0)反對(duì)(0)

#36樓 2017-07-08 15:01 aj117

我昨天再爬數(shù)據(jù)。10萬(wàn)線程大軍壓境，爾等哪里逃。。
開(kāi)玩笑的，不過(guò)昨天確實(shí)再看爬蟲(chóng)，今天確實(shí)爬了博客園做測(cè)試。為什么博客園基本沒(méi)有什么反扒措施？

支持(0)反對(duì)(0)

#37樓 2017-07-08 15:39 SoarNo1

阿里云的低頻率 CPU本身就夠嗆。
不如去某機(jī)房租機(jī)柜，自己搞些牛逼點(diǎn)的服務(wù)器，然后作為阿里云的后端用。
當(dāng)然租2-3個(gè)機(jī)位也是可以的。

支持(0)反對(duì)(0)

#38樓 2017-07-08 16:04 書(shū)寫(xiě)流逝的月光

支持(0)反對(duì)(2)

#39樓 2017-07-08 21:54 KMSFan

@dudu
@博客園團(tuán)隊(duì)
提點(diǎn)建議：
對(duì)于博客園的審核這塊，度大的做法我還是支持的，讓大家盡量自覺(jué)地發(fā)有質(zhì)量的文章，雖然這會(huì)造成一定的垃圾文章。博客園要想發(fā)展，其實(shí)應(yīng)該開(kāi)發(fā)新產(chǎn)品，老的產(chǎn)品動(dòng)太多的話會(huì)影響閱讀習(xí)慣。

比如可以先做手機(jī)版
現(xiàn)在都移動(dòng)互聯(lián)網(wǎng) 時(shí)代了，博客園的手機(jī)版我也上過(guò)，連代碼高亮都沒(méi)有，程序員吸收知識(shí)的方式不一定要通過(guò)網(wǎng)站啊，博客園有錢(qián)去買(mǎi)阿里云，沒(méi)錢(qián) 請(qǐng)人設(shè)計(jì)幾套H5的皮膚嗎？手機(jī)版不一定要讓會(huì)員可以自己DIY皮膚，可以設(shè)計(jì) 幾套現(xiàn)成的皮膚供人閱讀也行。
還吐槽一下，之前用過(guò)博客園 APP，還是一個(gè)圓友幫忙設(shè)計(jì)的，連評(píng)論都不能評(píng)論，
希望度大能擁抱變換，如果只是一味保持現(xiàn)狀，遲早要被淘汰。

另外別跟我提什么代碼改變世界.
https://passport.cnblogs.com/user/signin?ReturnUrl=https%3A%2F%2Fwww.cnblogs.com%2F%23p3
自己去看看這個(gè)鏈接的BUG，居然連登陸過(guò) 沒(méi)有都不能判斷，我登錄上了再刷新這個(gè)頁(yè)面，又退出登錄了，難不成登錄窗口還帶退出功能不成？
要想改變世界，先改變自己吧。少抱怨，多從自己身上找原因，阿里那么大的流量，為啥從來(lái)雙11沒(méi)爆過(guò)？你改變不了別人，只能改變你自己。

http://www.cnblogs.com/cmt/p/7132829.html

分類(lèi)導(dǎo)航

[故障公告]14:40-15:00博客站點(diǎn)web服務(wù)器雪崩似的CPU 100%

延伸閱讀

我想了解如何學(xué)習(xí)