ピークのピーク：テンセントの「春節防衛戦」

2021年の春節は、全國的に「その場で年越しを」と呼びかけられ、大晦日の夜に家族と再會しなかったことを初めて経験した人も多いだろう。鄒方明にとって、大晦日の夜は會社ではとっくに日常茶飯事で、過去9年間、彼の年夜ご飯の時間は同僚たちと一緒に過ごしていた。

以前、鄒方明と同僚たちは海底ですくったものを會社に出前するのに慣れていて、みんなは鍋料理を食べて過去1年の終わりにしたが、今年、新しいビルに引っ越してきて、火をつけることができなかったので、みんなは會社の向こうのレストランに行って食事をするしかなかった。

いわゆるおせち料理は、全體の過程も非常に平板で、お酒を飲む人はいなく、食事の時間も午後5時半から6時半まで約1時間しかなく、食事が終わると、みんなはすぐに職場に戻った。意外なことがなければ、夜7時にはユーザーのピークを迎え、次の時間には、ユーザーのピークを監視し、來る可能性のある突発的なトラフィックに対応することが任務だからです。

新年の鐘が鳴るにつれて、鄒方明の目の前の監視ソフトはすべて正常で、彼らはやっとほっとすることができて、また1年の「春保」を乗り越えたからだ。

鄒方明は現在、テンセントインフラストラクチャ部自己研究業務センターの総監督であり、彼の所屬する部門の主な職責はテンセント內部の自己研究業務の研究開発サポートをすることであり、簡単に言えば、この部門はテンセントの90%を超える業務にアクセスし、ユーザーが普段使用しているテンセント製品、例えば微信、QQなど、底辺の技術サポートはすべてそれと関連している。

「春保」は春節重保の略稱で、鄒方明氏は21世紀の経済報道に対し、テンセントの製品は社交製品を中心としているが、社交製品には必ずホットな事件、肝心な時、重點保護の時があり、その中で、春節は最も挑戦が大きく、任務が最も重い重要な保護の時であると伝えた。

テンセント內部で「春保」プロジェクトの設立が始まったのは2013年の春節からだという。騰訊雲副総裁、騰訊インフラストラクチャ部の肖志立社長は記者の取材に対し、春節のピークは実はPCインターネット時代にあったが、その時はユーザーのインターネット利用がそれほど便利ではなかったため、當時のピークは大晦日ではなく、中4か中5で、春節を過ぎて仕事を始めた後、いくつかの寫真をQQ空間にアップロードして共有する必要がありますが、全體的には、その時の保障圧力はそれほど大きくありません。

しかし、2012年から、特に微信が登場した後、モバイルインターネットの波が押し寄せ、ユーザーのコミュニケーション?インタラクションがよりリアルタイムになり、本格的な春節のピークを生み出した。これが本當のピークと言えるのは、過去のPCインターネット時代と比べて何百何千倍ものピークが伸びているからだ。もちろん、この大きなギャップは、技術保障に攜わるスタッフにも、多くの痛ましい思い出を殘している。

意外と絶えない「春保」

鄒方明にとって、2013年は彼が初めて「春保」を経験した年であり、それは彼が最も「苦痛」な年でもあった。

當時、2011年1月に発表された微信は急速に発展しており、2012年3月には微信のユーザー數が1億を突破し、2013年初めには微信のユーザー數が3億を突破した。鄒方明氏はウィーチャットのチャット畫像とチャット動畫のセットシステムの研究開発責任者で、上記のように、2013年までにテンセント內部には明確な「春保」概念がなく、鄒方明氏もこれほど成長の速い製品に出會ったことがないので、ウィーチャットが突然「大渋滯」になるとは思っていなかった。

2013年の大晦日には、モバイルソーシャル全體が盛んになっていることを背景に、モバイル端末でのやり取りがますます頻繁になっています。微信では、ユーザーたちがさまざまなグループチャットを引き出し、年賀狀の動畫をグループ送信し始めた。ソーシャル製品の魅力はその核分裂、一伝十、十伝百にあるが、技術者にとってこの核分裂がもたらすのは恐怖の高併発である。

鄒方明氏は、2013年の大晦日、新年のビデオの量が突然6、7倍に増え、これはすでに彼らの備蓄を超えていると回想している。當時、突然の巨大なビデオ量に直面して、鄒方明は少し手の施しようがなかった。予備案が用意されておらず、一時的により多くのサーバー資源を調達することもできなかったため、システム全體を崩さないように保護するためには、ダウングレードするしかなかった。

ここでの降格とは、ユーザーが動畫を投稿するサイズを制限することであり、最初の制限は10兆以上の動畫を投稿させないことであり、後に6兆、4兆、2兆になり、降格プロセス全體は當日午後7時から10時まで、丸3時間続いた。鄒方明氏によると、午後8時過ぎのピーク時には、70～80%のユーザーが動畫を投稿することをほとんど制限していたが、これは非常に恐ろしいことで、その間にも多くのユーザーから苦情が寄せられたが、當時は確かに手の施しようがなく、このような亂暴な方法で、トラフィックのピークを乗り切るしかなかったという。

2013年の春節の痛ましい経験を経て、テンセント內部では「春保」の準備が始まった。鄒方明氏によると、「春保」プロジェクトの準備期間は基本的に毎年10月から2 ~ 3カ月程度続く。準備の過程で、製品と技術チームはまず春節期間中の製品の遊び方を大體確定してから、これらの遊び方に基づいて各製品がどのくらいの帯域幅とストレージを使用するかなどを測定します。

もちろん、この時は製品がどれだけの資源需要を提出しても満足できるわけではありません。鄒方明チームはまた、資源が限られている狀況下で、技術の向上と柔軟性の戦略を通じて、各製品のユーザー検証を確保することを目的として、需要と資源を重點的にバランスさせることもできます。

しかし2015年の春節、「春保」の準備を進めていたところ、意外なことが起きた。2014年10月、微信は小動畫機能をオンラインにし、モーメンツやチャットインターフェースを共有できるようになったため、「春保」の前夜である10月、11月の時點では、微信小動畫のユーザー數はそれほど多くなく、見積もりをする際にも、そのレベルに応じて數十倍の容量を與えた。

2015年の大晦日になると、ウィーチャットの動畫は突然予想を上回る大きなピークを生んだ。春の夜が始まる1時間ほど前に、小さな動畫の配信量が急増し、システムに障害が発生し始めた。鄒方明氏と同僚たちは緊急拡張を始めたが、當時の微信小動畫のシステムはテンセント動畫を多重化し、UGCではなくPGCに偏っていたため、処理過程もさらに複雑になった。

鄒方明氏は、當時1つのインデックスモジュールを緊急拡張した後、インデックスは問題なくなったが、量が増え続けるにつれて、フロントエンドアクセスモジュールに問題が発生し、その後アクセスモジュールを処理した後、もう1つのビデオ処理モジュールはまただめになったと回想している。

「だから當日の夜、問題も約3時間続いた。拡大できる場所をすべて拡大した後、ユーザーのピークは過ぎた」と鄒方明氏は言う。システム全體に影響はないが、ユーザーにとってこの大晦日の小さなビデオ體験はよくない。だから2015年の春節後、テンセントインフラストラクチャ部はビデオシステム全體のアーキテクチャを調整し、小ビデオのシーンに最適化した。

お年玉を擔ぐ圧力

2015年の春節には、微信小視頻がもたらした緊急事態のほか、テンセントの「春保」は実際にはもう一つの大試験である微信のお年玉の春晩インタラクションを迎えた。

肖志立氏は記者団に対し、2014年11月ごろ、彼らは微信決済チームから、春節は春晩と協力してお年玉活動を行うことを知り、タッチしたユーザーの規模は大きくなるだろうと話した。當時、春節まで2カ月しかなかったことは、肖志立チームにとって重大な試練だったに違いない。

肖志立氏によると、當時直面していた問題は主に3つあった。まず、元のお年玉システムは社內の數萬人向けに使用されていたが、今では10億人のユーザーにお年玉を出すまで拡大し、システム全體を作り直さなければならないからだ。

次に、春節のお年玉イベントは春晩口播の形式を通じて、ユーザーにお年玉を奪うことに參加させることであり、この中の挑戦はシステムがどれだけのアクセス量を積載するかを予測することが難しいことである。「どれだけの圧力に耐えなければならないか分からないが、これは実際にはアーキテクチャを作るためのタブーだったが、私たちは當時何の參考にもならなかった」と肖志立氏は言った。

最後に、今回の技術保障の仕事は成功することしか許されず、失敗することは許されない。「失敗すれば、それは全國民の前で恥をかくことだから、技術面の圧力はいつにも増して大きくなるだろう」。

この2ヶ月足らずの間、肖志立はテンセントインフラストラクチャ部のお年玉システムチームと微信支付チームを連れて、徹夜で深センテンセントビルに滯在していた。

2015年2月10日頃まで、お年玉システム全體がほぼ確定していた。しかし、大晦日の3日前までは、チーム全體がコードを変更していました。繰り返しテストを行う中で、リスクをもたらす可能性のある場所が発見されれば、肖志立はチームにそれを変更させます。「できるだけすべてのリスクを排除しなければならない」。

最終的に、テンセントの2015年春晩のお年玉イベントは円満に完了し、微信支付も今回の協力により、モバイル支付分野で支付寶への追撃を完了した。微信の公式データによると、2015年の大晦日の當日、微信のお年玉の送受信総量は10億1000萬回に達し、午後8時から翌日午前0時48分までの間に、春の晩の微信の揺れ動く総量は110億回に達した。

テンセントインフラストラクチャ部技術運営センターの肖攀ディレクターは、21世紀の経済報道記者に、お年玉システムにとって、予想を超える巨大な流量圧力に遭遇した場合、彼らは金額に制限をかけるなど、いくつかの格下げ方法をとることもあり、そうすれば合併量を急速に下げることができると話した。

また、肖攀氏によると、お年玉システム全體は実際には漏斗のように、層ごとにフィルタリングされているため、お年玉を奪う「奪い合い」は、ユーザーの合併量が最も高く、次に解體し、最後の本格的な取引段階まで待っているが、実際にはユーザーの合併量はかなり少なくなっている。

ここ數年、微信のお年玉の発展速度も速いが、2015年のように10萬から10億までの飛躍的な成長は二度と現れない。現在、微信のお年玉のユーザー數は微信のユーザー數に近く、春節期間中の合併量の増加も比較的安定しており、テンセントのお年玉システムにとって、現在の主な仕事はシステムを絶えず最適化し、コストと資源を削減することである。

「春保」が常態化

鄒方明氏は記者に、テンセントの過去9年間の「春保」を振り返ると、大きく2つの段階に分けることができ、第1段階は2013年から2016年までで、積載力不足の段階と言えると伝えた。

この間、業務が急速に発展した原因もあれば、テンセント自身の技術アーキテクチャが完備していない原因もあり、つまりシステム能力が業務の成長を支えきれず、さまざまな障害が発生した。だからこの時期、主な仕事は負荷能力を高めることであり、ハードウェア設備を増やすだけでなく、技術手段においても、絶えず性能向上を行わなければならない。

2つ目の段階は2016年以降で、この段階では、過去數年の沈殿と最適化の下で、テンセントの積載能力にはほとんど問題がなく、この時にやるのは精進することだ。ユーザーの製品體験に対する要求が増加するにつれて、テンセントもシステムの正常な運行を保証する上で、ベアラ能力を絶えず最適化する必要があります。例えば、過去、技術に対する要求は30分以上サービスを拒否できなかったかもしれませんが、現在、サービスを拒否する狀況はもう発生せず、技術に対する要求はサービスの遅延になって5分を超えてはいけません。

今年の「春保」、肖志立は全體的に體験して、とてもスムーズな感じがして、すべてのピークは予測範囲內にあります。だから、肖志立氏が率いるテンセントインフラストラクチャ部にとって、「春保」のような重點時點の保障作業は、既存の業務條件の下で、圧力はすでに穏やかになっており、警戒すべきなのは主に突然発生した重要な時點である。

例えば2020年初め、新型コロナウイルスのため、2019年末にオンラインになったテンセント會議は正念場を迎えた。テンセント會議チームの當初の目標によると、2020年末のDAUは5萬人に達する見込みで、2月中旬にはテンセント會議と同時にオンラインユーザーは400萬人を突破し、1000倍の成長に達した。

このような大幅な成長は、テンセントインフラストラクチャ部にも大きな挑戦をもたらした。肖志立氏によると、実際には技術的な面だけで、オンラインユーザーの數百萬人の業務テンセントが多く、このような業務を支えるのも難しい問題ではないという。しかし、當時緊急事態になったのは、感染癥の影響で、オペレータのBGPブロードバンドが満足できず、外部ネットワークのIPアドレスも満足できず、一部の設備ベンダーが再稼働できず、各種設備も供給できなかったなど、十分な物理資源を見つけることができなかったからだ。

このとき、これらのハードウェアの問題はソフトウェアでしか解決できません。肖志立氏によると、IPアドレスが足りなければ、ポートを多重化する技術を工夫し、新しい機械が供給できなければ、全國各地からサーバーを調達し、仮想化やソフトウェアアーキテクチャの方法で再適応し、まずテンセント會議の業務を支えるように努力する。

このような條件が極めて困難な中で、テンセント會議は100萬核の拡張を完了した。実は難易度から言えば、テンセント會議の緊急拡大は2015年の春晩のお年玉イベントに対応するよりも難しい。これは全く準備ができていない狀況で、対応するための挑戦だからだ。テンセントがストレスに耐えられるのも、過去に何度も「春保」のような重要な瞬間を経験したからだ。

鄒方明氏は、現在、故障発生の頻度とメンテナンスの安定性から言えば、技術保障の仕事はより容易になった。誰もが百戦錬磨を経験しているため、多くの従業員は2013年の「春保」から今まで、各業務の性能と需要に非常に熟知している。だから今大きな狀況になっているのは、予想していなかったからだが、実際には、このような予想外の狀況も少なくなっている。

?