情商低的百度,2019春晚戰事解密
來源:家族網 | 作者:史中 | 發布時間: 111天前 | 606 372 次 瀏覽量 | 分享到:

 


我們對春晚一無所知。 

  

羅振宇曾在跨年演講上如是說。 

  

無論悲喜,反正每個中國人都為春晚辟出了一塊“專屬記憶”。而從2015年開始,中國人的春晚記憶里被點上了一顆“紅痣”。那就是——總有一家頂尖互聯網公司面帶羞赧地走上舞臺,給十幾億人發紅包。 

  

“一無所知”的形容,可謂精妙。春晚時,你只知道自己在對著電視刷紅包,但從空中俯瞰,十多億人同時拿起手機,將會匯聚起怎樣一種數據海嘯,即使《2012》《后天》里的那種驚天排浪,也難以企及十分之一。 

  

據說,美國“超級碗”直播中間插播廣告的時候,電視機前的幾億觀眾會集體上廁所沖馬桶,導致美國各大城市的市政供水出現崩潰。超級碗直播的全球觀眾有1.3億。而我們的春晚直播,全球觀眾有13億。 

  

2015年,微信曾經上春晚發過紅包,在全國觀眾的沖擊下一度跪倒長達一小時,俯首拜年。 

  

2018年,淘寶為春晚準備了三倍于“雙11”的服務器資源。而就在主持人口播活動開始的一瞬間,服務器瞬間超過負荷。事實證明,春晚觀眾肉身涌進淘寶服務器的瞬時流量是當年“雙11”的15倍。 

  

精明的騰訊阿里,都是提前三個月準備春晚,尚且如此狼狽。 

  

2019年,央視春晚紅包招標時間很晚,距離除夕只有一個多月的時間。巨頭們都覺得兇險異常,百度卻高高舉手:我來!我來! 


所有吃瓜群眾都側目,這種“情商低”的狀態,還真是百度的風格…… 

  

接下來就告訴你,2019年2月4日除夕晚上,這片土地上究竟發生了什么。 

  

 


(零)百度的一封信、一部引擎和一場戰役 

  

故事,要從一封信說起。 

  

2018年12月18日,李彥宏突然發布了一封內部信,宣布了一個神秘的“1218改革”。其中一條如下: 

  

所有部門的基礎技術整合到“TG”(基礎技術體系),數據中心、基礎架構、運維這些百度核心技術和技術大牛全部兵合一處將打一家。 


在一般人眼里,這好像是個路人甲的架構調整;但技術人看后卻內心一驚,百度正在把所有部門的核心發動機拆開,重新組裝成了一個碩大無朋的“擎天柱”。 

  

用破釜沉舟來形容,絲毫不過分。 

  

“擎天柱”的負責人,是十五年的老百度人,百度云的創立者之一:侯震宇。震宇隱隱然覺得“天將降大任”,但他又實在猜不透,自己手上這個變形金剛將會用什么姿勢書寫歷史。 

  

2019年1月4日,剛剛劃歸震宇部門的大牛架構師汪瑫從上海來到北京匯報。工作聊罷,汪瑫輕描淡寫地告訴震宇一個“One more thing”。 

  

“聽說業務部門剛剛拿下了今年的春晚紅包,你知道嗎?”汪瑫說。 


“什么??!!”震宇當時如同全身過電,血往上涌。就在前后腳,百度 App 部門聯系震宇,確認了春晚紅包的項目。 


 

侯震宇 

  

那一刻震宇意識到,“擎天柱”的第一戰已經來了——在履職的第16天,組織架構都來不及調整,新任務也來不及制定,甚至連人都沒認全的情況下,要負責保障一個“全中國人都對其威力一無所知”的春晚。 

  

這還真是一個故事的好開頭啊。 

  

就在此時此刻,穿越幾道門,坐在辦公室里的“廠長”李彥宏一如既往地氣定神閑,沒人能看出他內心究竟是平靜如水還是波濤洶涌。 

  

過去幾年,百度過得并不輕松。 

  

公司的一些商業決策失誤被人詬病,正在艱難地走出泥濘;而在百度文化里如同“定盤星”一樣閃耀的技術人,也一邊忍受著旁人的側目,一邊度過艱難的日子。 

  

商業上的是非博弈,永遠有回旋的余地。但技術人的心一旦散了,百度的未來將會被徹底改寫。 

  

李彥宏比任何人都清楚,對士兵最大的慷慨,就是為他們準備一個盛大的戰場。 


百度人渴望一場大戰,洗刷十年風塵。 

  

 

李彥宏 


(一)生死戰 


不用多想,你都能把百度的春晚發紅包的姿勢猜得八九不離十: 

  

1、時間:春晚期間,分幾輪發紅包; 

2、地點:打開“百度 App”; 

3、人物:全體中國人; 

4、動作:點點點點點。 

  

萬萬想不到,就是這么簡單的四步,引發了接下來整整一個月驚天動地血雨腥風的故事。 

  

說回當時。 

  

遠在三亞休假的百度信息流主任架構師吳永巍也同時接到這個消息,一刻不停地趕回他所在的上海研發中心,又趕最早的飛機降落北京。 


 

吳永巍 

  

震宇代表基礎技術保障團隊,吳永巍代表百度 App 的技術團隊組成了聯合作戰組。他們一秒都不敢耽擱,當天就開始籌備組建春晚紅包技術團隊。 

  

賀峰,十一年百度人,運維負責人,他責無旁貸地成為“百度春晚紅包”穩定性計劃總制定者。 

  

陳曦洋,十一年百度人,系統性能優化大神,他的能力是像庖丁解牛一樣把一個 App 拆解成細碎的零件,為每一個零件做細致的優化,使得 App 所需的系統網絡資源降低到理論最低極限。 

  

汪瑫,七年百度人,不僅是技術大牛,還和百度登錄帳號團隊非常熟悉。 

  

宋磊,十年百度人,系統部網絡組專家,主要工作是維護百度網絡的穩定運行。 

  

張家軍,八年百度人,系統部供應鏈負責人,百度平日所需的新增服務器,都由他來搞定。 

  

等等等等,后面的名單還有長長一串。 

  

所有的技術人,聽到“春晚任務”,第一反應都是懵逼。因為他們的很多朋友都在阿里、騰訊,這些人曾經哭訴春晚有多么殘忍的場景還歷歷在目。風水輪流轉,這下輪到自己了…… 

  

但是,幾乎只有一秒鐘的遲疑,他們又變得像孩子一樣興奮。 

  

外界不總是說,百度在移動時代不行了么?但是,行不行別人說了可不算。十年了,我們終于不用再等了。廠長既然給我們這次機會,我倒要證明給所有人看,我們到底是行還是不行! 


賀峰對所有人說。 


 

賀峰 


很快,經過全部專家組討論,賀峰把最終的計劃表拿出來了。(原任務表極其復雜,我用自己的話解釋給你) 

  

任務一:陳曦洋“拆解”百度 App 的每一個零件, 精確計算出當天每一個 App 將會發出多少 流量,進而計算出春晚時百度所需準備的總資源數量。(時間:第一周) 

  

任務二:賀峰親自操刀,制定 “春晚劇本”。春晚當天,百度集團所有系統資源全部切換檔位,其他系統讓位給紅包系統。紅包搶完,要在最短時間內再把系統資源還給其他部門。為此,需要一個極其精密無縫切換的操作預案。(時間:第一周+第二周) 

  

任務三:由于百度內部所能協調出來的系統資源不夠,張家軍要向全國廠商發出數萬臺 服務器的緊急采購,確保打仗所需的全部“糧草”及時到位。(時間:第二周+第三周) 

  

任務四:宋磊向運營商全面采購帶寬等軟資源,建設足夠的  IDC 網絡 和 CDN 網絡。(時間:第二周-第四周) 

  

任務五:陳曦洋協助百度 App 團隊, 把百度 App 每秒數據傳輸量降到最少,然后打包成最新版百度 App 下發,確保春晚當天每個人手上的百度 App 都是性能最佳的最新版。(時間:第二周+第三周) 

  

任務六:陳曦洋協助小程序團隊,一起開發春晚當天 刷紅包的小程序,確保這個小程序也占用最少的資源。(時間:第四周) 


任務七:汪瑫負責協助 百度帳號登錄體系Passport)進行全方位加固,應對春晚涌來的登錄請求。(時間:第一周直到春晚) 

  

任務八:通知各大 第三方應用市場,告訴他們春晚的時候,可能會有大量用戶去下載百度 App,讓他們也做好準備。 

  

任務九:所有資源+調優全部到位,聯合百度 App 的業務部門進行四輪 “全鏈路聯合測試”。(時間:第四周) 

  

任務十:春晚當天,所有人全力以赴,抗住十三億人的 流量海嘯 

  

十大任務列陣于此,旌旗獵獵。 

  

 


彼時,即使是計劃制定者賀峰也難以想象,在未來四周時間里,百度、三大運營商、全球硬件供應鏈、中國數家服務器廠商、外包建設團隊、機房運維團隊、全世界總計數萬人和他們的家人將會為此付出怎樣艱苦卓絕的努力。 

  

但此時此刻,已經沒人能阻擋這一切發生了。 

  

這將是我職業生涯的生死戰。 

  

賀峰說。 


(二)太空變軌 

  

計算結果出來了!我預計春晚的流量,每秒峰值將會達到5000萬次!每分鐘的峰值將會達到10億次! 

  

陳曦洋一夜沒睡,拿著最新出爐的報表對賀峰說。 


 

為了測算流量,陳曦洋研究了不少騰訊、阿里紅包相關新聞

  

經過計算,支撐這些流量的云計算系統,需要由10萬臺服務器組成。 

  

這意味著什么呢? 

  

2018年全年,全中國960萬平方公里銷售的全部服務器是300萬臺。而百度需要在一個月內,毫無準備的情況下,搞定去年全國銷量的三十分之一,并且完成采購、生產、調試、接入百度云的全過程。 

  

賀峰知道,如果全靠臨時采購,這件事不可能完成。百度內部必須讓出至少5萬臺服務器來支持春晚紅包計劃。 

  

“鳳巢廣告系統、原生廣告系統、網盟變現系統,統統要在春晚過程中熄火,把資源讓給紅包系統。”賀峰的計劃白紙黑字。 

  

要知道,鳳巢系統是百度的廣告收入核心。鳳巢暫停四小時,意味著百度這艘火箭要在萬米高空強行熄火,失速四小時。 


 


而這不僅是真金白銀的損失,還是一個極其危險的操作——萬一熄火之后點不著,鳳巢系統將面臨對數百萬客戶的巨額賠償。 

  

當賀峰把計劃拿給鳳巢負責人王岳的時候,內心是很打鼓的,他知道對方有一萬個理由拒絕他的計劃。但是,王岳僅僅花十分鐘看完了方案,說了三個字:沒問題! 

  

“沒問題”,意味著一部包含5萬臺服務器的超級引擎將會在春晚四小時交由賀峰團隊駕駛,這一下就滿足了計劃所需的一半。 


剩下的5萬臺,交給采購部門,這個等下再說。回來繼續看陳曦洋。 

  

10萬臺服務器已經是團隊的極限了。但是陳曦洋知道,把服務器總數控制在10萬臺,這還是有前提的。前提就是每個用戶手機上的百度 App 還需要進行大量優化。 

  

當陳曦洋帶著三個兄弟完成對百度 App 的解析之后,他的眼淚都快流下來了。 

  

百度 App 在啟動時,會對自家服務器發送100多個連接。這些連接來自于百度不同的業務團隊。 

  

陳曦洋一下就懂了。由于百度 App 是目前百度裝機量最高的超級 App,是“全村人的希望”。所以很多業務和技術同學都把展示自己團隊成果的模塊擠進百度 App,只是希望自己的努力能夠被更多的用戶感受到。 

  

這些年逆風行船,百度的技術產品人其實一直在用力。 

  

 


但是對于此刻的陳曦洋來說,這意味著災難。在春晚當天,每一秒鐘,每一個連接都要乘以幾千萬人這么一個倍數,每個 App 100 個連接,每秒就是幾十億次連接,BAT 加在一起都必跪無疑。 

  

只見陳曦洋,此時已經紅了眼,變成了“操刀鬼”——對百度 App 所有連接大砍大殺。 

  

1月10日,陳曦洋和指揮部的領導開會,大家一致認定,百度 App 對外連接的數量,要從100個砍到3個。 

  

由于 AppStore 和各大安卓商店都需要有審核時間,百度 App 必須在春晚前兩周發布最新版本,所以很多連接來不及修改背后的整體邏輯,只能用暫時抑制的方式來處理。 

  

 


花開兩朵,各表一枝。 

  

那邊“操刀鬼”陳曦洋正在為百度 App 瘦身,這邊“拼命三郎”汪瑫已經代表項目組進駐了百度帳號體系團隊。 

  

多說一句,汪瑫本來屬于上海團隊,和春晚項目關系不大。但是由于他技術非常牛,又和帳號團隊比較熟悉,被震宇和吳永巍“強行”拉來參與春晚計劃。接到任務時他二話沒說,第二天就飛到北京,開始了長達一個月的加班。 


 

汪瑫 

  

業內八卦顯示:2018年,淘寶春晚發紅包,最大的問題就出在了登錄系統。 

  

講真,由于搜索業務天然不必須登陸操作。這么多年來,百度的帳號體系建設是弱于電商阿里和社交騰訊的。 

  

禍不單行,就在接到春晚任務之前,帳號團隊的技術負責人李盈沉浸在苦惱中,因為他團隊的一位優秀的同學提出了離職。但是,就在接到任務的當天,那位原本想離職的同學找到李盈,說自己不走了。 

  

“我想打仗。”他說。 

  

百度 App 登錄狀態的比例比較低。但是搶紅包的時候,技術上必須要登錄才能知道給誰“結賬”。所以汪瑫預計,春晚當天百度 App 會遭受一波劇烈的登錄沖擊。有多劇烈呢?預計會是平常登錄峰值的 2500 倍。 

  

這意味著將會有很多人請求短信驗證碼。 

  

 


時間有限,汪瑫一邊連夜協助帳號團隊做各種優化,一邊讓團隊向各大運營商和第三方服務商購買短信發送的服務。一時間,所有省市的三大運營商的短信發送能力,被百度一家預定一空。 

  

但即使是這樣,還是不能滿足春晚當天的預計值,汪瑫緊急派出百度最好的工程師進駐第三方服務商,幫助他們優化代碼,提高短信發送的能力。終于達到了預期數值。 

  

所有工程師的這些操作都在短短兩周內疊加在一起。對于百度來說,這是一場史詩級的“太空變軌”。 

  

軟件這邊忙得熱火朝天,轉回頭來看,還有5萬臺服務器的硬件缺口。所有人的目光都落在張家軍身上。 

  

 

張家軍 

  

(三)那個瘋狂的夜晚 

  

賀峰看著張家軍說:“不要有壓力,我們這次肯定‘一戰成名’。” 

  

“此話怎講?”張家軍問。 

  

“就是說,成功也會出名,失敗也會出名。” 

  

“……” 

  

張家軍盤點了一下手上的“數據中心地圖”,他發現自己簡直是太幸運了: 

  

北京數據中心曾經預定了4萬臺服務器,約定春節前交貨。此時已經有2萬多臺交付完畢,還剩1.8萬臺未交付。 

  

于是,張家軍的計劃很快出爐: 

  

1、催促北京數據中心在一周內交付1.8萬臺服務器。

2、拼盡全力,就是搶,也要在兩周內搶來1萬臺新的服務器,放到南京數據中心。 

  

這些服務器都會并入百度云統一調配。張家軍發現,雖然百度云平時默不作聲,但是這么多年對于技術的極致追求,越是在艱難的時刻越能體現出閃光的價值: 

  

百度設計的服務器,大多是以整體機柜的方式制造的。也就是說,在服務器廠家出廠的時候,就已經是一臺大機柜里面固定好30臺服務器的形態了。 

  

這意味著,百度云不需要像其他云計算廠商那樣,一臺服務器一臺服務器地在現場安裝,而是把整個機柜直接推進去就可以進行測試安裝了。 


 

這就是整體機柜在安裝時的場景 

  

在接下來的一周里,百度的合作伙伴浪潮也體現出了國際頂尖的專業精神,一隊隊卡車整齊地并入高速公路,直接開赴北京。 

  

你可能不相信,這兩個大廠,共同創造了8小時安裝1萬臺服務器的世界紀錄。 


 


北京如期搞定。 

  

但最讓張家軍頭疼的是,如何憑空變出來南京機房的1萬臺服務器。 

  

他給我算了一筆賬: 

  

電子行業的硬件備貨周期,通常就是8-12周。也就是說,你要至少提前兩三個月向服務器生產商和零部件供應商下訂單。


即使是服務器廠商完全停掉手中其他的活,產能也是有限的。從接到訂單到生產出來,一般也要一周時間。


從卡車從服務器廠商的車間開出來,到百度數據中心,一般需要3-5天時間。


從服務器檢測安裝,到并網調試,一般需要1-2天。 

  

“我接到任務的時間是1月6日,我的任務是:1月21日早晨8點,1萬臺服務器要一臺不少齊裝滿員站在南京機房里。”張家軍看著我,一字一頓地說。 

  

“對不起,我們的生產能力不夠,不能耽誤百度春晚這么大的事兒,這個單子我們不敢接。”這幾乎是所有服務器生產商對于張家軍的標準回復。 

  

只有幾家大型服務器生產廠商接受訂單,但是,限于原料儲備不足,他們未來兩周的生產能力上限是——4000臺。 

  

這下張家軍的任務變成了:幫助服務器廠商協調全球供應鏈,從全世界找到另外幾千臺服務器的所有配件。 

  

如果換成別人,任務到此已經可以宣告失敗了。 

  

但是張家軍不準備認輸。 

  

過去幾年,他和同事們拼命了解產業鏈的運作方式,和各大廠商建立聯系,一點一點構建百度云的基礎設施。他們賭上了自己的青春和年華,卻依然能聽到外界很多譏諷的聲音。這么多年都扛過來了,就是因為他們相信,有朝一日,所有的證明都會如數歸來,那些不該他們承受的東西,終會像霧霾一樣退散。 

  

此時此刻,他怎么舍得認輸。 

  

他和團隊給全球的供應商一個一個打電話,買最近的一班飛機飛到國外,到每一個工廠里查看零件配給數量。一天,兩天,三天,這些原本計劃分配給美國、歐洲的零部件,從以色列、美國、東南亞調轉航向,一起向中國飛來。 

  

這是一場全球供應鏈的勝利。 

  

服務器廠商開足馬力,所有工人放棄了提前回家的計劃,回到崗位三班倒,服務器被源源不斷地生產出來。卡車等在工廠門口,放棄編隊,裝滿一輛車就出發一輛,在通往南京的高速公路上,每隔一百公里就有一輛滿載服務器的卡車在飛馳。 

  

南京數據中心里,百度的工作人員、機房運維人員、建設外包隊伍已經嚴陣以待。 

  

張家軍在北京總部協調,不能脫身,于是他和南京24小時通著電話,時刻指揮進展。服務器進駐機房,還要有調試的過程,但凡有哪一步出現差錯,就會導致滿盤皆輸。所以,張家軍團隊為每一種想到的意外都做了周密的預案。 

  

1月20日夜里,最大一波服務器抵達南京,眼看大功告成。此時,一個最不可能發生的意外,卻真的發生了。 

  

機房的貨梯,由于承受不住一噸多的機柜上下折磨,毫無預警地罷工了。他們馬上轉戰客梯,客梯很快也出現故障。 


 

有人拍下了當時緊急修復電梯的場景 

  

臨近春節,電梯檢修人員大多回家過年,人手非常緊張,要天亮才能趕到。但是百度的同學們知道,僅僅這一夜,他們也是等不起的。 

  

漆黑的夜里,所有現場的人員,用雙手和雙肩扛起來一百多斤的服務器,一步一步地從樓梯往上爬。 


有同學的手被劃破了,血珠滲出來。同事要把它換下來,他只是搖頭,說沒事。有人看到了他眼角的淚水。 

  

現場還有很多一噸多的整機柜服務器,靠人力根本搬不上樓。現場指揮部的同學,甚至叫來了一輛吊車,要砸開機房的窗戶運進去。 

  

張家軍在視頻里看到現場吊車的鉤子在風中搖晃,驚出一身冷汗。他怕同學受傷,言辭拒絕了這個方案。但是現場的負責人反復懇求:你就讓我們試試吧!服務器要上樓啊!! 

  

終于,現場維修團隊想到了一個辦法,緊急把隔壁樓的電梯配件拆過來,貨梯終于緩緩啟動,那時,已經是半夜兩點了。 

  

2019年1月21日早晨八點,負責服務器軟件調試的同學如期趕到,所有的服務器靜靜地站在機房里。它們就那樣沉默著,仿佛昨夜什么都沒發生。 

  

(四)核彈頭就位 

  

1月17日,百度召開總監會。 

  

賀峰回憶,李彥宏的表情“非常淡定”。他只是笑瞇瞇地看著大伙兒,說:“你們一定能搞成的。”這次總監會只是比平常多了一個小環節,晚上大家一起吃了個飯,李彥宏挨桌給大伙敬了酒。 

  

實際上,那幾天正是所有團隊最焦頭爛額的時候。 

  

震宇告訴我,就在這一個月的時間,百度的 IDC 新增帶寬資源超過了過去20年的歷史總和,CDN 資源新增了2018年的一半。 

  

根據宋磊回憶,兩周左右的時間里,69位工程師飛了7萬多公里。北上廣的剩余帶寬資源幾乎都被百度拿空了。 


 

宋磊和他的朋友可樂君 

  

網絡團隊有兩位工程師是夫妻,一個負責網絡建設,一個負責網絡測試。一個人剛建設好,回家看孩子,換另一個人來測試。有時候建設工程師要陪著測試工程師一起工作,兩個人只好把孩子扔給老人,一夜都不回家。 

  

而宋磊本人,從1月6日計劃啟動到大年初一,睡得最長的一晚是五個小時,最短只有一個小時。 

  

 

一位同學躺在桌子上睡覺,被無情偷拍


時間一刻不停,已經是1月26日。距離春晚還有8天。 

  

這一邊,張家軍的“糧草”已經全部到位,工程師也把所有的服務器完整無誤地接入百度云,10萬臺機器全副武裝準備就緒。宋磊新建了相當于支撐全澳洲人口同時觀看視頻的 CDN 和 IDC 網絡,并且連續幾個通宵完成了壓力測試。 

  

另一邊,陳曦洋成功地把百度 App 對外連接數從100個砍到3個,汪瑫把百度 App 的登陸能力從1500人次每秒瘋狂提升到15萬人次每秒。 

  

百度開啟了“春晚紅包計劃”全鏈路測試。 

  

賀峰為這四個半小時制定了幾百頁的“劇本”。劇本分為兩部分: 

  

1、主持人播報搶紅包開始的每一個時間點,百度系統分別提前多少秒做好什么準備。就像火箭發射一般精密。


2、一旦遇到意外情況,哪個子系統要做出怎樣的調整,根據意外程度的不同,做出的調整力度也不同,這套預案中,涉及到了上千條意外情況。一旦條件觸發,指揮部的同學只要點擊一個按鈕,就能啟動相應的更改。 

  

 

這就是“劇本” 


根據經驗,運維人員真正遇到問題的時候,心理會承受巨大的沖擊,很容易慌亂。為了讓同學們臨危不亂,賀峰還專門編寫了《作戰守則》,上面寫著“指令要清晰,行動聽指揮”等等要求貼在墻上,發給每一個同學提前學習。 


 


對于百度這群工程師來說,這幾百頁作戰計劃里的每一條預案,都不是憑空想出來的。他們在寫每一個字的時候,都可以回憶起十多年來自己在百度的運維經驗,這厚厚一本,哪里是作戰計劃,分明是一個百度工程師的技術人生。 

  

百度科技園 K2 大樓的整整一個大廳被改成作戰指揮室,中心一個核心指揮室,旁邊20個小屋是包括百度 App、大搜、搖一搖、帳號系統、BFE中臺、網絡、系統監控、IT團隊、紅包核心系統等等在內的分組作戰室。加上地下一層本來就有的中控室,組成了聯合指揮作戰系統。 

  

 

核心指揮室 

  

這里要稍微插一句。 

  

2019年百度春晚的紅包設計和之前阿里騰訊的稍有不同。他們把百度 App 日常的功能和紅包相結合。比如你要在百度搜索框里語音說出“幸福快樂年”,或者手動刷一下百度 App 首頁的新聞瀑布流查看“拜年視頻”后才能進入,這就造成了用戶行為的不可預測性加大。 

  

這就形成了一個開放空間:難免有人說出方言,或者刷新瀑布流搞錯了方向,從而對后臺的人工智能系統帶來不可預知的巨大壓力。 

  

這會導致測試的時候,非常難以模擬春晚真實場景。 

  

百度人的“實在”在這里體現得淋漓盡致:反正我就是要實現這樣的效果,技術上的問題,一點點搞就好了。 

  

 

必不可少的步驟:拜楊超越 


演習過程中,專門有一隊“藍軍”,負責為春晚系統制造各種麻煩,例如掐斷某個機房的數據通路,讓某一個模塊停止響應,甚至直接對百度系統發起攻擊。而在另一邊,指揮團隊嚴格按照劇本對所有問題瞬間應對。百度安全團隊也加入了護航編隊,對夾雜在正常訪問之間的進攻進行攔截。 

  

雖然中間幾經波折,但是在倒數兩次聯合測試中,整個百度春晚紅包系統都經受住每秒5000萬次訪問的考驗。所有人懸了一個月的心,這才稍稍放下一些。一向嚴謹的吳永巍對團隊成員說,我現在的信心指數是85-90分! 

  

就在大家緊鑼密鼓忙活的時候,發生了兩件怪事: 

  

宋磊在那幾周新增了一個習慣:每天半夜兩點把自己加班的情況拍照,曬到朋友圈。當時大家還納悶,為什么老宋那么低調的一個人,卻要天天曬加班呢?


從上海過來支援的汪瑫,1月24日神秘消失了一天。他究竟去哪了呢? 

  

這些小八卦,當時誰也沒空探秘。因為春晚已經近在眼前了。 


 


(五)除夕 

  

2月4日,除夕。 

  

從當天零點開始,已經有同學在作戰部值班。早晨八點,全員就緒,大戰一觸即發。 


所有百度的同學里,有兩位是最為特殊的。他們當天晚上會進駐到央視直播現場。人們開玩笑說,他們是百度押在央視的“人質”。這兩位同學在去之前還滿懷激動地打聽,我們去了要做什么呢?其他人冷冷地說,根據騰訊和阿里的經驗,你們去了只有一個任務:我們這里如果砸了,你們兩個負責“挨罵”。 

  

臨走時,這兩個同學用幽怨的眼神看了一眼百度大部隊,決絕地趕赴央視,嘴里唱著“風蕭蕭兮易水寒……” 

  

根據設計,在除夕當天上午11點,百度會向用戶推送一個小紅包活動作為預熱,讓真實的用戶來參與,從而對系統進行一波實打實的終極測試。


11:00,預熱活動開始,后臺數據直線上升。百度 App 瞬間訪問峰值達到88萬次每秒。這個數值已經是百度 App 歷史最大峰值的幾十倍。但是賀峰知道,這還僅僅是毛毛雨,他們為春晚設計了5000萬次每秒的能力。 

  

直到這時,陳曦洋所負責的重要任務——掐斷百度 App 的多余回連數據突然有所抖動。陳曦洋和百度 App 的技術同學各個滿頭大汗,直到直播前一個小時,才把問題解決妥當。 


晚上八點,春晚準時開播。 

  

鳳巢系統緩緩熄火,紅包系統接管引擎駕駛。所有系統齒輪咬合,像起跑線前的賽車一樣低吼著沖出去。 

  

 


作戰室的同學仿佛進入了另一個世界。整個大廈,掉一根針在地上都能聽到。 

  

按照央視彩排的時間表,第一次搖紅包應該發生在晚上八點半。但是,就在八點十八分的時候,主持人突然提前預告了一下:“觀眾朋友們可以下載百度 App 參與今年的春晚搖紅包活動。” 

  

這之后一分鐘,指揮部的輿情監控群里,突然有人甩進來一張圖片: 


 


蘋果的 AppStore 被網友擠垮,已經打不開了。 

  

陳曦洋趕緊拿出手機測試,哪里是 AppStore,小米、華為等等 AppStore 全部躺尸。他這才明白,雖然當時自己派人和各大應用商店提前打過預防針,但事實證明,他們對春晚“一無所知”…… 


作戰組馬上給出數據,預計全國有200萬-300萬人無法下載百度 App,這將帶來不小的損失。而另一組數據顯示,無法下載 App 的人們又涌向了百度搜索,在手機瀏覽器里用關鍵詞搜索的方式嘗試下載百度 App。 

  

賀峰評估了一下百度 CDN 的占用量,馬上下令,把鏈接指向百度自家的下載接口,讓大家不用通過第三方市場,而是直接從百度家下載百度 App。就這樣,下載高峰直接沖擊百度自家網絡,一點一點,幾百萬人都安裝了百度 App。 

  

 


這一切被汪瑫看在眼里。 


他的第一反應是:我廠真牛逼。他的第二反應是:這300萬人下載了 App 之后,肯定是要登錄的啊,我負責的登錄系統看來馬上就要掛了…… 

  

還好,有驚無險,大家分散下載了 App,也就分散登錄 App,并沒有對登錄系統帶來致命的打擊。 


隨著春晚的進行,訪問百度 App 的流量一輪比一輪大,逼近預計中的峰值。 

  

百度20年積累下來的遍布全國的數據通路,順利扛過了前三輪紅包的數據洪峰,只剩零點鐘聲敲響前的最后一次。根據預測,這將是最大的一波浪潮。 

  

在最后一次紅包到來之前23分鐘,賀峰突然接到駐場春晚那兩個同學的消息:根據測算,春晚比預計延遲了4分鐘。 

  

 


賀峰心里咯噔一下。 

  

這會造成百度 App 紅包開搶的時間早于主持人播報的時間。也就是說,聽到主持人播報才進來的用戶,很可能發現紅包已經被準點動手的用戶搶完了…… 


賀峰要做一個決定:是保持原計劃放開紅包,還是要按照春晚的進度延后 App 上紅包開搶的時間。 

  

把這么大規模的調整部署到10萬臺服務器上,起碼需要五分鐘。 

  

所有人都看著賀峰。賀峰盯著屏幕,兩手一壓,對大伙說:再等等。 

  

就在紅包開啟前十分鐘,賀峰判斷央視應該是無法搶回時間了,下令馬上對10萬臺服務器發出指令,延后4分鐘開啟紅包系統。 


上天眷顧,最后百度 App 紅包開啟的時間,和主持人宣布紅包開搶的時間嚴絲合縫。 

  

一瞬間,上億人手機屏幕上顯示著百度 App 的紅包界面,巨大的數據浪潮涌向北京和南京兩地的數據機房。那一刻,百度大廈里1000多位同事,百度散落在各地機房的100位同事,帶著備用零件守候在機房的100多位服務器廠商的工程師,三大運營商為了保護網絡通暢而留守在各地機房的1000多位同事,那些中國通信行業和互聯網行業的夢想者,用自己的付出搭建出了人類歷史上最寬的信息通路。 

  

暗夜無聲,大地上煙花四起。 

  

這個古老的民族,邁入了新的一年。 


(六)那些小事 

  

  

燃燒了四個半小時的紅包系統漸漸熄火。 

  

間斷了四個半小時的鳳巢系統緩緩啟動。 

  

伴隨著10萬臺服務器的嘶嘶聲,百度這架火箭完成了太空中的第二次驚險變軌。 

  

指揮部里,歡聲雷動。 

  

 


直到這個時候,吳永巍、震宇、賀峰、陳曦洋他們才敢確定,這個曾經擊垮了阿里巴巴和騰訊的春晚,并沒有擊垮百度。他們用了三十個日夜,證明了自己是當之無愧的“老司機”,證明了自己對春晚并不是一無所知。 

  

可嘆的是,如此宏大的工程,調動了全球的供應鏈體系,調動了全中國的網絡帶寬,調動了全百度的技術資源。中間如果百度系統有任何一個技術環節卡住,百度云的服務器有任何一個螺絲釘松動,百度工程師、商務采購團隊有任何一個人掉鏈子,全中國人都會面對一個完全不同的結局。 

  

百度無疑是幸運的,但這世界上,只有勇者才有資格談運氣。 

  

我聽到很多百度同學回憶起那個瞬間,他們描繪的,正如《少林足球》里那個場景: 

  

歷經磨難,少林師兄師弟的武功全部覺醒,周星馳跪在地上,說:歡迎各位師兄弟歸位! 


 


直到正月末,我來到百度科技園來采訪春晚紅包故事的時候,我依然能夠感覺到,在大廈里洋溢著的喜悅氣氛。 

  

哦對了,還有一些小事忘記交代。 

  

那兩個被“質押”在央視的小伙伴,期待中的指責并沒有來,反而被沖進來的央視同事們握著手說:百度真是太牛了,你們是第一個沒有出現問題的合作伙伴。你們不是有 AI 技術嗎?你們不是有視頻技術嗎?合作起來呀~ 

  

而好奇的人們,也終于打聽到了前幾天神秘事件的原因: 

  

宋磊羞澀地表示,之所以每天凌晨兩點發朋友圈,是因為他怕老婆想多了,曬朋友圈以證清白…… 

  

而汪瑫消失的那一天,是飛回上海給兒子過兩歲生日。因為去年兒子一周歲的生日時,他就在外地加班,沒能陪他。這次兒子喊著要爸爸,他才連夜飛回去一天。第二天給兒子過完生日,晚上八點他陪兒子上床睡覺,確定兒子睡熟了,才趕緊跑出來,趕十點的飛機飛回北京。 

  

而且,除夕那天其實是吳永巍的生日。但直到整個春晚戰役結束,第二天凌晨他才告訴幾個小伙伴這件事兒。“我和兄弟們過了最有意義的一個生日。”他說。 

  

離別之前,我頗為鄭重地問陳曦洋:“為百度付出了這么多,你覺得值得嗎?” 

  

“我只是想證明百度。”陳曦洋說完,沉默良久。 

  

十一年前,我一畢業就加入百度,我的所有技術積累都是百度給我的。我把百度當成家。之前,百度遇到很多問題,我比外面的人更難受,就像對自己的孩子一樣,恨鐵不成鋼。 

  

我記得,在2016年百度最困難的時候,我們團隊去杭州團建,秋天的杭州特別美。有一位家就在杭州附近的同學,回來之后就辭職去了杭州。 

  

我知道,大家都有權做出自己的選擇。從2016年到現在,幾乎每周都有獵頭給我打電話,但我從來都是直接掛掉。我覺得,總有人要讓百度變得更好,而我應該是那些人中的一員。 

  

他就這么安靜地說著。 

  

聽到這里,我突然明白,在春晚紅包成功的那一刻,那些百度技術人眼里的淚花,告慰的不是過去一個月的艱苦卓絕,而是十年前的自己,那個不解風情卻無問西東的少年。 


 

陳曦洋 

  

他們在漫長的歲月里安靜地忍受著孤獨,這一次卻像瘋子一樣拼盡全力,押上全部韶華和熱血。他們也許并沒想贏,他們,只是不想輸。 

  

有人說,生活是一場戰役,結局或是千秋標榜,或是萬古遺憾。 

  

但我更相信,歲月是一張長長的考題,沒人會逼你交卷。 

  

你盡可以用一生的時間,慢慢給出自己的答案。 

分享:??????????

新華社《半月談》雜志社廣東主任;

家本紀·專欄???
張韜??????

家族企業文化與傳承研究學者;

《家族商業評論》雜志出品人/總編;

華作天成國禮·非遺文化產業平臺聯合創始人

《家本紀》新媒體系列創始人;

查看更多
查看更多
最前線
查看更多
這文章我愛看
企業
家電
家族
非遺傳承人
匠作
品質生活
非遺
熱點標簽
双色球易网选号