本文作者在電力企業從事信息化工作近6年，深知IT系統建設和運維工作的繁瑣和不可控性，經常有這樣的疑問，“看看別人家是怎么做的呢？”。此次有幸到世界100強華為公司質量與流程IT管理部親臨現場進行調研，頗有收獲，現在發揮簡書的風格，跟大家一起分享討論下!
華為的信息化規模
| 類型 | 數量 | 單位 |
|---|---|---|
| IT員工 | 7500 | 人 |
| 業務應用 | 800 | 個 |
| 數據中心 | 70 | 個 |
| VM虛擬機 | 400,000 | 臺 |
| 網絡帶寬 | 185 | Gbps |
| 數據總量 | 320 | PB |
| 內部用戶 | 100,000 | 人 |
| 機柜數量 | are neat | $1 |
| 機房面積 | 13，000 |
供應商合作模式
1. 人員外包 供應商只提供人力，不參與項目管理，建設工作全部由甲方負責完成；這種模式的關鍵在于招聘和人員管理；缺點是供應商附加值低，人員流動性大
2. 項目外包 供應商負責獨立交付，甲方負責交付質量的把關和驗收；此模式的關鍵在于項目交付的質量把控；需要和供應商共建質量保證體系和項目管理體系來改進交付質量
3. 服務外包 供應商的績效由SLAs、里程碑、交付成果質量、業務價值等來度量，是產品級別的外包、運營和維護的外包；此模式的關鍵在于管理創造客戶價值；供應商可以負責整個產品的支持和維護，有助于供應商在本領域內的知識積累和保留，有利于促進供應商致力于長期的投資和持續改進。
華為公司信息化建設
華為公司內部的信息系統建設，均采用基于項目的外包模式。
- 按照業務分類 IT實施開發、測試、維優；IT產品分析設計；IT解決方案分析設計；軟件包類
- 按照供應商分層 將供應商劃分為5個等級的信任度，建立供應商資源池地圖，推動供應商聚焦領域，提升供應能力，提高交付質量）、
- 按照領域分蛋糕（基建網安、IT技術與架構、辦公IT、解決方案、IT應用實施-BI、IT應用實施-PLM、IT應用實施-ERP）。
華為公司的項目外包模式更注重自身對產品質量的管控，華為的IT部門（負責內部信息系統建設）有2500名員工（其中500多需求和開發人員），另外有5000名外包人員，每個項目經理帶領一個團隊。甲方人員負責需求分析、制定解決方案、系統規劃、系統架構，負責與系統用戶交互，乙方負責詳細設計、代碼開發、測試，甲方技術人員掌握核心開發技術，掌握系統代碼，具備對乙方代碼質量的鑒別能力。將項目劃分等級，不同等級的項目對項目經理、任職要求、工作年限有不同要求。其IT部門成立了公司的專家團隊（應用、數據、技術、業務）。
IT產品實施流程
IT產品的實施流程包括6個階段：
- 概念階段
- 方案階段
- 實施階段
- 驗證階段
- 執行階段
- 關閉階段。
IT產品參與人員角色及職責如下：
- 項目經理：制定項目管理計劃、采購需求、招投標、合同履行、驗收付款、版本監控/進度管理/問題風險管理、試運行、版本評價、總結關閉等；
- 系統工程師：產品架構設計/優化、產品設計指導等；
- 業務分析師：產品需求分析、產品需求定義、產品需求管理及驗證等；
- 實施工程師：開發；
- 測試工程師：測試；
- 質量保證工程師：負責交付件檢查；
- 配置管理員：系統配置管理、配置審核及建立基線。
- 質量保障工程師和配置管理員：從項目概念階段即開始參與項目，直至項目關閉。
全流程中設置了5個關鍵檢查點（KCP）：確認需求分析報告、確認需求規格、合作分包執行、準入驗收、驗收審核。
華為IT需求管理
1. 組織管理
- IT投資決策：華為成立跨部門團隊統一負責IT投資決策，保證流程IT集中化管理，為虛擬組織。公司層面以“變革指導委員會”、“變革項目辦公室”為領導機構。
- IT需求管理：公司IT需求管理團隊覆蓋公司各個業務部門，負責需求評審和授權范圍內的小額投資決策。公司層面成立“公司業務變更與IT管理團隊（C-3T））”，各業務域設置“領域需求管理團隊（Sub-RAMT）”，各地區設置“區域需求管理團隊（R-RAMT）”。一個RAMT成員一般是6-8人，由IT人員牽頭，包括IT專家和業務代表。
- 需求全生命跟蹤管理：每個需求管理團隊有一名端到端負責人，負責需求的全生命周期管理，負責提醒、通報當前處理人。
2. 流程管理
下圖為華為公司BT&IT需求管理流程圖，目標是快速解決業務在使用IT過程中的痛點和訴求。每年編制年度需求規劃，占全年工作量的80%，另外20%為日常零星需求、臨時需求。
- 需求收集：需求提出包括兩種情形，一是用戶直接在需求管理平臺中直接提出，適用于日常零星需求；另一種是需求管理團隊主動收集，包括訪談、調研、領導講話、社區等渠道中發現的IT需求，適用于年度規劃或IT項目需求收集。年度規劃由業務部門使用《需求跟蹤矩陣》主動收集需求，作為規劃輸入，規劃結束后歸入IT項目，由各業務部門的需求接口人導入需求管理平臺。IT項目由項目組使用《需求跟蹤矩陣》主動收集需求，經過業務主管確認后，由項目組的需求接口人導入需求管理平臺。
- 需求評審：由各需求管理團隊（RAMT）中的業務代表、解決方案專家主導對需求進行分析評審，主要包括：確認需求合理性，決定需求是否要做，決定應由哪個項目承接等。對于一些負責重要需求（包括跨領域或跨產品、流程/IT綜合、有爭議的需求等）可以發起有RAMT團隊評審決策，把分析結果和建議提交RAMT例會進行評審。【SLA時限要求：需求分流2天，需求確認15天】
- 需求實施：分為兩個階段，a、解決方案分析階段，主要輸出需求規格說明書；b、IT實施開發階段，交付IT系統，包括待排版本、啟動開發、開發完成、測試、發布等環節。【SLA時限要求：需求解決方案分析15天】
- 需求關閉：主要是用戶對需求交付的實際結果給出滿意度評價，對不滿意的需求指明原因，以指導需求處理人員不斷改進。
3. IT支撐
上述流程（需求收集、需求評審、需求實施跟蹤、用戶反饋）均通過需求管理平臺在線填報、審批、流轉，整個過程均可視化，做到可跟蹤、可提醒。需求單關聯到項目、關聯到系統版本。
應用系統監控
從2015年開始，華為對內部的IT系統啟動做產品運營，通過產品運營報告展示應用系統的使用情況，建立了產品運營平臺（用戶分析、行為分析、實時運營、關鍵業務量、產品質量分析）。
數據指標體系：
- 用戶數據（用戶量、訪問量、用戶活躍度）；
- 產品使用數據（頁面參與度、頁面停留時間、跳出率、彈出率、訪問軌跡、各功能/資源使用、按鈕提交成功率、按鈕平均處理時長、用戶滿意度）；
- 產品健康度（訪問性能、事件分析）；
- 業務數據（業務量、轉化率、業務流程效率、辦公效率提升、審批通過操作時長、駁回操作時長、業務提交成功率）
系統開發管控
- 敏捷開發與交付 將需求自上而下分解為業務問題、問題解決方案、實現版本、敏捷迭代不同的顆粒度及關注點，通過專題看板的形式進行流水線式的開發，流水線中包含“待確認、需求、分析、待排發布版本、啟動開發、開發完成、轉測試”等環節，通過看板中任務的拖拉形式來調整當前任務所在的階段。敏捷開發一般以5-12人為一個團隊，大小視項目或任務復雜情況而定。看板的管理應由項目組長或技術經理完成，通過每日例會等形式布置工作并調整任務階段。
- 開發平臺 華為的系統開發平臺是統一的，外包無論是項目還是人員均是到華為指定的時間地點，在指定的平臺上進行開發。通過統一的平臺可以便于統一開展優化，也可以能降低運維的工作量，臨時性的任務也便于調集資源進行處置。
- 項目工作量評估 主要還是采用基于功能點的工作量評估方式。在開發工作量上，主要基于對代碼量的方式開展評估：通過工具統計代碼的部分特征（包括代碼行、分支情況、嵌套情況等），評估代碼的復雜度，通過復雜度評估出工作所需要的人天，并根據成本基線核算成本，在驗收的時候檢查成本與工作量的符合程度。
信息系統運維
華為公司有15年以上的IT運營實踐，其運維遵循ITIL3.0標準 ，開展以IT服務為導向的運維，采用全球運維理念提升運維效率和質量。目前正在建設統一的運維操作平臺，構建故障自動監控及自愈平臺。結合云計算、大數據提升系統監控和運維效率也是下一步待解決的問題。
華為公司在處理故障過程中，按照故障的嚴重程度進行等級劃分，其中一級/二級事件工作日要求1h內解決，10min響應；三/四級事件要求8h內解決，非工作日24h內解決。監控人員24小時值班，夜間采用手機接收告警或通知值班。華為公司在重大業務上都會做好保障一級臨時處置措施，除非有非常緊急且必要的故障需要到現場。
華為公司基于HP ITSM的運維工具進行了修改，形成一套完善的自動化運維工具平臺。事件管理方面，運維過程中若發生故障，采用盡快恢復正常IT服務，使業務負面影響減到最少，保證服務水平。運維安全方面，運維人員通過專門的運維通道和運維工具保證，運維過程有詳細的審計日志記錄，并通過大數據實時分析日志，判斷是否出現運維權限的異常行為如拷貝了機密資料等，極大提升了內部人員的安全隱患。
故障處理經驗積累：華為同事認為運維主要還是要靠經驗，只有通過不斷的積累，才能增加快速定位故障的能力。建議在日常運維過程中應增加知識庫管理，充分發揮技術骨干、專家的經驗，要把知識的傳承工作固化到工作過程中，并設立相應的知識積累檢查點，便于知識的積累與傳承。對系統的每個模塊定責任人CIO，根據事件級別通知人員到位，快速恢復業務，并注意將事件處理和問題處理分開。運維過程中遇到的最大故障問題一般為采用了新技術的系統，因此，為了系統的安全穩定運行，應盡量避免過多使用新產品新技術，待技術成熟后再做引進。
