從飛信案例看海量并發(fā)用戶系統性能測試

2010/03/08

　　海量并發(fā)用戶系統性能測試的重要性不用多說，對這類系統必須進行嚴格的性能測試。類似飛信這樣的系統，無論是用戶規(guī)模還是業(yè)務的復雜度，在國內都屈指可數。自2006年開始的連續(xù)3年時間內，神州數碼信息服務集團集成服務戰(zhàn)略本部從眾多重量級的專業(yè)技術團隊中脫穎而出，為中國移動飛信系統提供了連續(xù)三期的性能測試服務。

　　一期：10萬用戶同時在線

　　飛信系統是中國移動推出的“綜合通信服務”，融合了語音、GPRS、短信等多種通信方式，實現了互聯網和移動網間的無縫通信服務。從2006年飛信推出第一個版本開始，其用戶發(fā)展速度之快之猛就大大超出了最初的預計。在上線后不到半年的時間內，飛信系統與網絡就經歷了多次的擴容升級�，F有的系統架構究竟能承載多少用戶、升級的空間到底有多大是中國移動對飛信系統最為關心的問題。因此，中國移動亟需對現有系統架構進行一次容量及可擴展性的全面評估測試。

　　基于以上背景，中國移動啟動了飛信系統一期性能測試項目，目標是驗證現有生產系統的單POOL處理能力是否能支撐10萬用戶同時在線訪問，以及POOL內可擴展策略是否有效、POOL間擴展策略是否有效以及GlobalService的最大處理能力等。從技術角度來說，當時有三大難題擺在測試團隊面前：

　　第一，用戶行為分析、系統數據分析難度大，業(yè)界當時也沒有可參考的成熟業(yè)務模型，因此如何建立一個有效的盡可能接近真實的業(yè)務模型是該項目最大的難點之一；

　　第二，模擬并發(fā)規(guī)模過大，用戶要求實現10萬用戶的同時在線訪問，而現有的測試工具甚至無法實現兩萬用戶同時在線訪問，而且由于用戶系統采用了異步通信方式，模擬并發(fā)過程中如何保證系統的穩(wěn)定性也是一個高難度的課題；

　　第三，由于數據規(guī)模龐大，數據準備亦成為當時項目的一大難題。

　　經第三方推薦，神州數碼信息服務集團集成服務戰(zhàn)略本部質量測試事業(yè)部的性能測試服務團隊參與到了此項目中。事業(yè)部自創(chuàng)立之初，始終圍繞CIO關心的問題，設計提供一系列的服務。從IT部門自身的業(yè)務管理、IT治理結構兩個方面全面支持CIO的重點工作，并提出以咨詢?yōu)橐龑�、產品和解決方案為依托的全面質量測試服務。200多名自有專業(yè)工程師，多年服務金融、電信及大型企業(yè)的IT系統建設及運維經驗，使我們成為業(yè)界惟一的完整測試中心解決方案提供商。

　　項目技術攻關的關鍵時期，正值春節(jié)臨近。除夕夜凌晨四點，中國移動領導值班時發(fā)現神州數碼的工程師正在全神貫注地調試測試腳本。正是靠這樣刻苦鉆研的精神和團隊的集體智慧，我們一舉攻克了10萬以上用戶同時在線訪問的模擬技術，成為國內首家掌握此項技術的團隊。其他相關難題也先后被項目組一一攻克，項目如期順利完成。

　　二期：項目進度空前緊張

　　第一期測試完成后，中國移動認識到現有的生產系統架構難以在可控制的成本下滿足用戶數量飛速增長的需求，開始尋找全新的系統架構來替換現有系統，最后鎖定了兩套不同的備選系統。移動希望確認備選系統是否能滿足當前及未來可能的性能需求，并進行兩套系統之間的性能優(yōu)劣對比�；谝黄诘膱A滿服務，中國移動二期繼續(xù)選擇由神州數碼來完成這個項目。盡管有了一期的成功經驗，二期項目依然有不少新的挑戰(zhàn)：

模擬并發(fā)規(guī)模同樣非常大，要求實現10萬用戶的同時在線模擬，而且兩套系統的通信機制各不相同，需要同時開發(fā)兩套不同的測試腳本來分別模擬10萬用戶的在線訪問；

用戶模型構建復雜，要準備兩套不同的測試環(huán)境，數據準備工作更大更復雜，而項目又要求在一個月內完成測試任務，時間非常緊張，因此腳本開發(fā)的難度不亞于第一期。

　　項目的挑戰(zhàn)很大，在項目實施過程中又由于某些原因致使計劃生變，需要提前半個月完成測試工作，在技術難度與時間進度的雙重壓力下，神州數碼的工程師放棄了所有的周末，測試執(zhí)行期間每天都工作到深夜十二點甚至凌晨兩點以后，最終提前完成了測試工作。

　　三期：上百G數據加大測試難度

　　飛信項目第三期發(fā)生在新的系統替換現有生產系統的割接上線前，中國移動希望能對整個系統進行一次全面的總體驗收測試，以確認系統上線后能正常運轉并且能支撐未來半年的用戶增長。項目目標涵蓋了手機客戶端的功能測試、協議測試以及容量測試三大部分，項目所面臨的挑戰(zhàn)遠遠超出了前兩期：

　　1.容量測試要求實現200萬用戶同時上線訪問的模擬，這種規(guī)模的容量測試在國內是首次，在國際上也非常罕見，而且相對于前兩期，這一次的容量測試中包含的業(yè)務種類增加了數倍，且包含兩種不同協議，用戶交互過程更加復雜，腳本開發(fā)的總體技術難度極高；

　　2.容量測試中，海量的數據準備、數據監(jiān)控、數據分析工作，使得測試執(zhí)行過程的控制以及最終測試結果的分析非常復雜，尤其是性能監(jiān)控的原始數據量超過上百G；

　　3.大規(guī)模的協議驗收測試，沒有可參考的成熟模式，而且在不到兩個月的時間內要完成5種協議、近百種業(yè)務的協議測試，同時要求測試腳本具有通用性、易用性、可重用性，不僅有很高的技術門檻，而且在任務分解、團結協作方面也提出了很高的要求。

　　在這樣的情況下，團隊所有的工程師團結努力，盡管期間測試需求變化較大，最終仍然按客戶的要求按時完成了所有任務。

　　三期飛信項目的目標各不相同，都存在相當的技術難點，其中諸如海量并發(fā)用戶同時在線訪問的模擬技術、大規(guī)模短時間內的協議驗收測試、上百G仿真業(yè)務數據的準備與分析等一些技術難題的解決在國內都非常罕見，部分技術難題更是獨此一家，神州數碼性能測試服務團隊憑借強大的技術實力和積極認真的工作態(tài)度確保了項目的成功。

通信世界周刊