京東搜索部總監談從容應對雙十一背后的故事

　　這里世界服裝鞋帽網的小編給大家介紹的是專訪京東搜索部總監：雙十一能夠從容應對的背后.

　　11.11，又被稱為光棍節，似乎不少用戶都會將自己的‘怨念’化為消費的欲望，又似乎只有消費的快感才能滿足這特殊日子那‘孤獨的靈魂’。但不知各位發覺沒有，在這消費的節日，京東與平時瀏覽起來并無差異。我猜沒有，畢竟多數人都沉浸在購物的快感和滿足感當中。

　　回想前幾年，在類似的日子里，服務器宕機、頁面無法加載現象頻頻出現。而這類現象在今年卻并未發生，所以不僅讓我們產生一個疑問，在用戶在瘋狂的進行流暢瀏覽、搜索、下單的背后，究竟是什么樣的設備與架構才能支撐住如此龐大的流量。為此我們特意采訪京東營銷研發部零售平臺架構師與推薦搜索部總監，他們給出了以下答案。

　　營銷研發部零售平臺負責內容

　　對于大多用戶來說，雙十一當天關注最多的便是商品交易環節，在交易的背后還有一個最重要的環節，便是拆單與后續的生產，而這塊的服務，全是由京東營銷研發部零售平臺負責。

　　在采訪京東商城技術研發體系營銷研發部零售平臺架構師蔣佳濤時，他對這個平臺職責進行了一個介紹，主要分為：

　　京東商城技術研發體系營銷研發部零售平臺架構師——蔣佳濤

　　1.從用戶下單角度來說，用戶在前臺網站下了訂單提交之后看到的就是交易體系這塊，交易下單后的生產流程目前是零售平臺訂單生單體系負責。

　　2.用戶在網上下單后，訂單進行拆單，例如一個訂單下了多個商品，訂單會被拆成多個紙單。后續的生產(如211、411、限時達配送)訂單履約時效上也是這個系統和外圍系統進行配合，負責訂單生產計劃的流程。

　　3.當拆單過后會生成紙單，此時這個訂單就真正生成了，這部分和交易有些關系，后面就進入了訂單生產體系的流程。訂單進入庫房生產之前，還會對訂單進行二次加工(如提供發票數據、面單數據、用戶數據、如何定位、如何派車這些環節也在這個體系完成)。隨后才會將相關信息下發到庫房，庫房人員進行生產。

　　4.當單子在庫房真正進行生產時，前臺用戶想要看到訂單(打包、配送信息)信息的回傳。

　　5.當配送完成后，用戶想要取消、退款。

　　此外生產體系的全景監控能夠快速定位哪一個環節出了問題，對客服和用戶都有一個良好的反饋。

　　從訂單的下單到生產再到最后的完成，營銷研發部零售平臺主要參與拆單以及除了生產之外的其余部分的信息流轉過程。

　　無需直接面對用戶，限流輔助兄弟團隊

　　這個流程雖然看似沒有交易重要，但雙十一的大量訂單，也會讓生產體系壓力倍增。對于京東來說，拆分服務屬于零級系統，單子一旦無法拆分，便意味著生產與配送無法完成，在可控因素下造成的貨物無法及時送達，會讓用戶體驗直線下降。

　　在采訪蔣佳濤時得知：“這個體系與交易系統相同，從硬件研發、技術架構升級、團隊管理等方面做了新的整合。6.18后便針對生產體系的系統進行重新架構梳理，把處理量級提升至億萬級訂單處理量，達到這樣一個量級的分布式訂單處理系統。”

　　(關于交易系統部分的優化，詳見為了雙十一，你知道京東都做了什么嗎? )

　　以往京東交易的文本數據，在下單過程時，文本就是用戶的原始單，這塊有大量數據要處理。現今使用了京東自主研發的文件處理系統，以前是放到Oracle數據庫當中，但隨著單量的增長，數據庫大文本處理能力并不是很高，京東研發的GFS分布式文件處理系統，在高并發小文件處理能力很高，非常適合京東的應用場景(針對交易來說，雖然數量比較多，但大多都是10K左右的小文件)。

　　此外在數據庫架構升級方面，從以前的MySQL、Oracle庫調到Oracle庫中進行分庫。

　　之前介紹過的交易系統雖被比喻為一輛‘跑車’，但生產體系并不需要如此快速，生產作為一個主導系統能夠對下游系統進行很好的限流、限速、泄洪，幫助兄弟團隊緩解壓力。

　　說起交易與訂單，相必很多人都有所了解，但我們還忽略了一個重要性環節——搜索，沒有搜索環節我們無法看到最近瀏覽、之前購買、關注過的商品等信息，而很多人認為只是一個搜索而已，對于雙十一并沒有太大影響，其實不然。

　　推薦搜索部的壓力

　　首先我們要知道京東推薦搜索部門負責的內容是京東平臺、移動平臺、微信購物平臺的搜索引擎和推薦系統。同時這幾個平臺搜索引擎都是由這個部門負責研發底層搜索導航以及類目導航服務。并且隨著移動互聯網時代的來臨，移動端搜索量已經反超PC端，對于搜索部門來說更是一項挑戰。

　　據京東商城技術研發體系推薦搜索部總監劉尚堃介紹：“雙十一流量比較大，為了能夠從容面對，此次主要做了擴容、接口降級。主要通過增加搜索引擎的服務器，按照6倍以上的量去預估與擴容。在采訪中得知：“以目前來看雙十一是6.18的一倍，根據6.18一倍的量去進行預估，加上考慮到攻擊等不穩定因素，所以才會預估6倍這樣一個量級。”

　　京東商城技術研發體系推薦搜索部總監劉尚堃

　　搜索引擎能夠展示庫存，如果庫存過慢，這時便會庫存進行一個展示的降級。此外如果搜索引擎遭受到了攻擊，便會有針對iP和Cookie的限流。限流主要針對機器或是惡意攻擊進行限流，對單個iP閥值設置很高，用戶正常行為完全能夠放過。限流也只是當搜索引擎出現異常，網絡硬件比較高時才會開啟，平時一直處于關閉狀態。

　　之所以平時處于關閉狀態也得力于平時的演練，當網絡訪問量較少時，采用PC去復制一些流量去測試最大限度的吞吐量，再通過分布式索引，保證了高峰時期的正常使用。

　　同時為了以防網絡出現故障，京東特意做了一些調整，其中包括多機房容災、多機房入口存活以及緩存調整。雙十一不光是對性能和系統方面的考驗，整個網絡和網絡架構因素也需要充分考慮進來，以保證在極端情況下，搜索引擎也能夠存活。”

　　據京東商城技術研發體系推薦搜索部總監劉尚堃透露：“就算搜索引擎服務全部掛掉，也會有一套兜底KV服務，將所有的類目和關鍵詞97%以上進行KV緩存。”

　　PC與移動端的兩面優化

　　上述也說過，移動互聯網時代，移動端帶來的流量已經不容小覷，所以在保證搜索引擎能夠存活的前提下，移動端與PC端的優化也成了重中之重，一個人性化與美觀的界面才能夠捕獲用戶的放心。

　　但移動端又有一個天生的弊端，便是屏幕展示有限，所以京東做了一些個性化的調整，如針對地域也會做一些個性化的搜索，不過雙十一期間，個性化耗費的性能比較高，并沒有進行開啟。據透露，這部分會在雙十一之后投入使用。

　　PC端也優化了個性化搜索，比如用戶最近瀏覽、之前購買、關注過的商品在排序方面會有一些基于用戶行為、實施偏好的調整。未來京東還會考慮基于社交關系的調整，例如微信社交關系鏈的數據使用(朋友，以及朋友的朋友都購買過什么會有標注)。

　　雖然移動端調用了搜索后臺，但移動端會有一些工具干預，跟PC端搜索結果部分會有差異，運營人員會在移動端排序結果方面有一些處理。

　　這些個性化搜索的引入，全部歸功于用戶所有搜索行為、在全站的行為數據都會做成用戶的長期偏好和實施偏好，每千次搜索產生的GMV以及搜索的用戶轉化率，使用搜索下單的UV除以使用搜索的UV數值以及首頁點擊率為判定標準。同時搜索后的一系列點擊也會影響后續的商品排序，做成點擊預測和CTR、CBR預測。

　　此外針對標類(京東自營為主的產品，標類有明確的規格，例如三星系列筆記本電腦)和非標類(第三方商家的商品，如錢包、鞋帽、禮品主要以開放平臺為主)的排名搜索引擎均是同等對待。

　　和交易部門相同，京東營銷研發部零售平臺與推薦搜索部唯一的擔心依舊是怕流量不夠多。而能夠讓內部能夠從容應對雙十一的背后，全依賴于6.18之后的軟硬件兩個維度的備戰，可以說相比去年，無論在系統架構方面還是贏家方面以及團隊方面，都進行了全面升級。所以這時不禁會讓我們產生一個遐想，明年的雙十一，京東內部又將有什么樣的升級以及解決方案來給我們進行分享，想想似乎都有些小期待呢。