ピークのピーク：テンセントの「春節(jié)防衛(wèi)戦」

2021年の春節(jié)は、全國的に「その場で年越しを」と呼びかけられ、大晦日の夜に家族と再會しなかったことを初めて経験した人も多いだろう。鄒方明にとって、大晦日の夜は會社ではとっくに日常茶飯事で、過去9年間、彼の年夜ご飯の時間は同僚たちと一緒に過ごしていた。

以前、鄒方明と同僚たちは海底ですくったものを會社に出前するのに慣れていて、みんなは鍋料理を食べて過去1年の終わりにしたが、今年、新しいビルに引っ越してきて、火をつけることができなかったので、みんなは會社の向こうのレストランに行って食事をするしかなかった。

いわゆるおせち料理は、全體の過程も非常に平板で、お酒を飲む人はいなく、食事の時間も午後5時半から6時半まで約1時間しかなく、食事が終わると、みんなはすぐに職場に戻った。意外なことがなければ、夜7時にはユーザーのピークを迎え、次の時間には、ユーザーのピークを監(jiān)視し、來る可能性のある突発的なトラフィックに対応することが任務(wù)だからです。

新年の鐘が鳴るにつれて、鄒方明の目の前の監(jiān)視ソフトはすべて正常で、彼らはやっとほっとすることができて、また1年の「春保」を乗り越えたからだ。

鄒方明は現(xiàn)在、テンセントインフラストラクチャ部自己研究業(yè)務(wù)センターの総監(jiān)督であり、彼の所屬する部門の主な職責(zé)はテンセント內(nèi)部の自己研究業(yè)務(wù)の研究開発サポートをすることであり、簡単に言えば、この部門はテンセントの90%を超える業(yè)務(wù)にアクセスし、ユーザーが普段使用しているテンセント製品、例えば微信、QQなど、底辺の技術(shù)サポートはすべてそれと関連している。

「春保」は春節(jié)重保の略稱で、鄒方明氏は21世紀(jì)の経済報道に対し、テンセントの製品は社交製品を中心としているが、社交製品には必ずホットな事件、肝心な時、重點保護の時があり、その中で、春節(jié)は最も挑戦が大きく、任務(wù)が最も重い重要な保護の時であると伝えた。

テンセント內(nèi)部で「春保」プロジェクトの設(shè)立が始まったのは2013年の春節(jié)からだという。騰訊雲(yún)副総裁、騰訊インフラストラクチャ部の肖志立社長は記者の取材に対し、春節(jié)のピークは実はPCインターネット時代にあったが、その時はユーザーのインターネット利用がそれほど便利ではなかったため、當(dāng)時のピークは大晦日ではなく、中4か中5で、春節(jié)を過ぎて仕事を始めた後、いくつかの寫真をQQ空間にアップロードして共有する必要がありますが、全體的には、その時の保障圧力はそれほど大きくありません。

しかし、2012年から、特に微信が登場した後、モバイルインターネットの波が押し寄せ、ユーザーのコミュニケーション?インタラクションがよりリアルタイムになり、本格的な春節(jié)のピークを生み出した。これが本當(dāng)のピークと言えるのは、過去のPCインターネット時代と比べて何百何千倍ものピークが伸びているからだ。もちろん、この大きなギャップは、技術(shù)保障に攜わるスタッフにも、多くの痛ましい思い出を殘している。

意外と絶えない「春保」

鄒方明にとって、2013年は彼が初めて「春保」を経験した年であり、それは彼が最も「苦痛」な年でもあった。

當(dāng)時、2011年1月に発表された微信は急速に発展しており、2012年3月には微信のユーザー數(shù)が1億を突破し、2013年初めには微信のユーザー數(shù)が3億を突破した。鄒方明氏はウィーチャットのチャット畫像とチャット動畫のセットシステムの研究開発責(zé)任者で、上記のように、2013年までにテンセント內(nèi)部には明確な「春保」概念がなく、鄒方明氏もこれほど成長の速い製品に出會ったことがないので、ウィーチャットが突然「大渋滯」になるとは思っていなかった。

2013年の大晦日には、モバイルソーシャル全體が盛んになっていることを背景に、モバイル端末でのやり取りがますます頻繁になっています。ウィーチャットでは、ユーザーたちがさまざまなグループチャットを引き出し、年賀狀の動畫をグループ送信し始めた。ソーシャル製品の魅力はその核分裂、一伝十、十伝百にあるが、技術(shù)者にとってこの核分裂がもたらすのは恐怖の高併発である。

鄒方明氏は、2013年の大晦日、新年のビデオの量が突然6、7倍に増え、これはすでに彼らの備蓄を超えていると回想している。當(dāng)時、突然の巨大なビデオ量に直面して、鄒方明は少し手の施しようがなかった。予備案が用意されておらず、一時的により多くのサーバー資源を調(diào)達(dá)することもできなかったため、システム全體を崩さないように保護するためには、ダウングレードするしかなかった。

ここでの降格とは、ユーザーが動畫を投稿するサイズを制限することであり、最初の制限は10兆以上の動畫を投稿させないことであり、後に6兆、4兆、2兆になり、降格プロセス全體は當(dāng)日午後7時から10時まで、丸3時間続いた。鄒方明氏によると、午後8時過ぎのピーク時には、70～80%のユーザーが動畫を投稿することをほとんど制限していたが、これは非常に恐ろしいことで、その間にも多くのユーザーから苦情が寄せられたが、當(dāng)時は確かに手の施しようがなく、このような亂暴な方法で、トラフィックのピークを乗り切るしかなかったという。

2013年の春節(jié)の痛ましい経験を経て、テンセント內(nèi)部では「春保」の準(zhǔn)備が始まった。鄒方明氏によると、「春保」プロジェクトの準(zhǔn)備期間は基本的に毎年10月から2 ~ 3カ月程度続く。準(zhǔn)備の過程で、製品と技術(shù)チームはまず春節(jié)期間中の製品の遊び方を大體確定してから、これらの遊び方に基づいて各製品がどのくらいの帯域幅とストレージを使用するかなどを測定します。

もちろん、この時は製品がどれだけの資源需要を提出しても満足できるわけではありません。鄒方明チームはまた、資源が限られている狀況下で、技術(shù)の向上と柔軟性の戦略を通じて、各製品のユーザー検証を確保することを目的として、需要と資源を重點的にバランスさせることもできます。

しかし2015年の春節(jié)、「春保」の準(zhǔn)備を進めていたところ、意外なことが起きた。2014年10月、微信は小動畫機能をオンラインにし、モーメンツやチャットインターフェースを共有できるようになったため、「春保」の前夜である10月、11月の時點では、微信小動畫のユーザー數(shù)はそれほど多くなく、見積もりをする際にも、そのレベルに応じて數(shù)十倍の容量を與えた。

2015年の大晦日になると、ウィーチャットの動畫は突然予想を上回る大きなピークを生んだ。春の夜が始まる1時間ほど前に、小さな動畫の配信量が急増し、システムに障害が発生し始めた。鄒方明氏と同僚たちは緊急拡張を始めたが、當(dāng)時の微信小動畫のシステムはテンセント動畫を多重化し、UGCではなくPGCに偏っていたため、処理過程もさらに複雑になった。

鄒方明氏は、當(dāng)時1つのインデックスモジュールを緊急拡張した後、インデックスは問題なくなったが、量が増え続けるにつれて、フロントエンドアクセスモジュールに問題が発生し、その後アクセスモジュールを処理した後、もう1つのビデオ処理モジュールはまただめになったと回想している。

「だから當(dāng)日の夜、問題も約3時間続いた。拡大できる場所をすべて拡大した後、ユーザーのピークは過ぎた」と鄒方明氏は言う。システム全體に影響はないが、ユーザーにとってこの大晦日の小さなビデオ體験はよくない。だから2015年の春節(jié)後、テンセントインフラストラクチャ部はビデオシステム全體のアーキテクチャを調(diào)整し、小ビデオのシーンに最適化した。

お年玉を擔(dān)ぐ圧力

2015年の春節(jié)には、微信小視頻がもたらした緊急事態(tài)のほか、テンセントの「春保」は実際にはもう一つの大試験である微信のお年玉の春晩インタラクションを迎えた。

肖志立氏は記者団に対し、2014年11月ごろ、彼らは微信決済チームから、春節(jié)は春晩と協(xié)力してお年玉活動を行うことを知り、タッチしたユーザーの規(guī)模は大きくなるだろうと話した。當(dāng)時、春節(jié)まで2カ月しかなかったことは、肖志立チームにとって重大な試練だったに違いない。

肖志立氏によると、當(dāng)時直面していた問題は主に3つあった。まず、元のお年玉システムは社內(nèi)の數(shù)萬人向けに使用されていたが、今では10億人のユーザーにお年玉を出すまで拡大し、システム全體を作り直さなければならないからだ。

次に、春節(jié)のお年玉イベントは春晩口播の形式を通じて、ユーザーにお年玉を奪うことに參加させることであり、この中の挑戦はシステムがどれだけのアクセス量を積載するかを予測することが難しいことである。「どれだけの圧力に耐えなければならないか分からないが、これは実際にはアーキテクチャを作るためのタブーだったが、私たちは當(dāng)時何の參考にもならなかった」と肖志立氏は言った。

最後に、今回の技術(shù)保障の仕事は成功することしか許されず、失敗することは許されない。「失敗すれば、それは全國民の前で恥をかくことだから、技術(shù)面の圧力はいつにも増して大きくなるだろう」。

この2ヶ月足らずの間、肖志立はテンセントインフラストラクチャ部のお年玉システムチームと微信支付チームを連れて、徹夜で深センテンセントビルに滯在していた。

2015年2月10日頃まで、お年玉システム全體がほぼ確定していた。しかし、大晦日の3日前までは、チーム全體がコードを変更していました。繰り返しテストを行う中で、リスクをもたらす可能性のある場所が発見されれば、肖志立はチームにそれを変更させます。「できるだけすべてのリスクを排除しなければならない」。

最終的に、テンセントの2015年春晩のお年玉イベントは円満に完了し、微信支付も今回の協(xié)力により、モバイル支付分野で支付寶への追撃を完了した。微信の公式データによると、2015年の大晦日の當(dāng)日、微信のお年玉の送受信総量は10億1000萬回に達(dá)し、午後8時から翌日午前0時48分までの間に、春の晩の微信の揺れ動く総量は110億回に達(dá)した。

テンセントインフラストラクチャ部技術(shù)運営センターの肖攀ディレクターは、21世紀(jì)の経済報道記者に、お年玉システムにとって、予想を超える巨大な流量圧力に遭遇した場合、彼らは金額に制限をかけるなど、いくつかの格下げ方法をとることもあり、そうすれば合併量を急速に下げることができると話した。

また、肖攀氏によると、お年玉システム全體は実際には漏斗のように、層ごとにフィルタリングされているため、お年玉を奪う「奪い合い」は、ユーザーの合併量が最も高く、次に解體し、最後の本格的な取引段階まで待っているが、実際にはユーザーの合併量はかなり少なくなっている。

ここ數(shù)年、微信のお年玉の発展速度も速いが、2015年のように10萬から10億までの飛躍的な成長は二度と現(xiàn)れない。現(xiàn)在、微信のお年玉のユーザー數(shù)は微信のユーザー數(shù)に近く、春節(jié)期間中の合併量の増加も比較的安定しており、テンセントのお年玉システムにとって、現(xiàn)在の主な仕事はシステムを絶えず最適化し、コストと資源を削減することである。

「春保」が常態(tài)化

鄒方明氏は記者に、テンセントの過去9年間の「春保」を振り返ると、大きく2つの段階に分けることができ、第1段階は2013年から2016年までで、積載力不足の段階と言えると伝えた。

この間、業(yè)務(wù)が急速に発展した原因もあれば、テンセント自身の技術(shù)アーキテクチャが完備していない原因もあり、つまりシステム能力が業(yè)務(wù)の成長を支えきれず、さまざまな障害が発生した。だからこの時期、主な仕事は負(fù)荷能力を高めることであり、ハードウェア設(shè)備を増やすだけでなく、技術(shù)手段においても、絶えず性能向上を行わなければならない。

2つ目の段階は2016年以降で、この段階では、過去數(shù)年の沈殿と最適化の下で、テンセントの積載能力にはほとんど問題がなく、この時にやるのは精進することだ。ユーザーの製品體験に対する要求が増加するにつれて、テンセントもシステムの正常な運行を保証する上で、ベアラ能力を絶えず最適化する必要があります。例えば、過去、技術(shù)に対する要求は30分以上サービスを拒否できなかったかもしれませんが、現(xiàn)在、サービスを拒否する狀況はもう発生せず、技術(shù)に対する要求はサービスの遅延になって5分を超えてはいけません。

今年の「春保」、肖志立は全體的に體験して、とてもスムーズな感じがして、すべてのピークは予測範(fàn)囲內(nèi)にあります。だから、肖志立氏が率いるテンセントインフラストラクチャ部にとって、「春保」のような重點時點の保障作業(yè)は、既存の業(yè)務(wù)條件の下で、圧力はすでに穏やかになっており、警戒すべきなのは主に突然発生した重要な時點である。

例えば2020年初め、新型コロナウイルスのため、2019年末にオンラインになったテンセント會議は正念場を迎えた。テンセント會議チームの當(dāng)初の目標(biāo)によると、2020年末のDAUは5萬人に達(dá)する見込みで、2月中旬にはテンセント會議と同時にオンラインユーザーは400萬人を突破し、1000倍の成長に達(dá)した。

このような大幅な成長は、テンセントインフラストラクチャ部にも大きな挑戦をもたらした。肖志立氏によると、実際には技術(shù)的な面だけで、オンラインユーザーの數(shù)百萬人の業(yè)務(wù)テンセントが多く、このような業(yè)務(wù)を支えるのも難しい問題ではないという。しかし、當(dāng)時緊急事態(tài)になったのは、感染癥の影響で、オペレータのBGPブロードバンドが満足できず、外部ネットワークのIPアドレスも満足できず、一部の設(shè)備ベンダーが再稼働できず、各種設(shè)備も供給できなかったなど、十分な物理資源を見つけることができなかったからだ。

このとき、これらのハードウェアの問題はソフトウェアでしか解決できません。肖志立氏によると、IPアドレスが足りなければ、ポートを多重化する技術(shù)を工夫し、新しい機械が供給できなければ、全國各地からサーバーを調(diào)達(dá)し、仮想化やソフトウェアアーキテクチャの方法で再適応し、まずテンセント會議の業(yè)務(wù)を支えるように努力する。

このような條件が極めて困難な中で、テンセント會議は100萬核の拡張を完了した。実は難易度から言えば、テンセント會議の緊急拡大は2015年の春晩のお年玉イベントに対応するよりも難しい。これは全く準(zhǔn)備ができていない狀況で、対応するための挑戦だからだ。テンセントがストレスに耐えられるのも、過去に何度も「春保」のような重要な瞬間を経験したからだ。

鄒方明氏は、現(xiàn)在、故障発生の頻度とメンテナンスの安定性から言えば、技術(shù)保障の仕事はより容易になった。誰もが百戦錬磨を経験しているため、多くの従業(yè)員は2013年の「春保」から今まで、各業(yè)務(wù)の性能と需要に非常に熟知している。だから今大きな狀況になっているのは、予想していなかったからだが、実際には、このような予想外の狀況も少なくなっている。

?