重慶農商行：新一代智能運維系統

案例名稱

新一代智能運維系統

案例簡介

新一代智能運維系統旨在解決傳統運維系統人工干預多、監控手段單一、無法適應技術快速迭代等問題，打造一個自動化、智能化、可持續升級的全能型運維平臺?；谠圃奈⒎占軜?，該平臺實現了十余個高內聚、低耦合的能力中心，涵蓋了日常運維工作的各個方面；同時通過應用質量撥測、智能巡檢、全方位數據采集、自適應機器學習算法等創新技術，顯著地提高了運維人員的工作效率，保障了系統和應用的安全穩定運行。

創新技術/模式應用

新一代智能運維系統在創新技術/模式應用上主要有五個方面。

（一）面向云原生，基于微服務架構

本系統在底層依托開源的Spring Cloud框架，對搭建在其上的應用按照業務范圍劃分為十余個能力中心。每個能力中心即是一個微服務，互相之間通過Restful API進行調用，方便了后續功能的擴展和架構的持續升級。另外，劃分的每個微服務都能以容器方式進行部署，并利用Kubernetes進行容器編排，實現微服務的動態擴容和自動運維。整體系統架構圖如圖1所示。

圖1 系統架構圖

（二）敏捷開發，擁抱DevOps

在本系統的開發、測試、部署過程中，團隊使用了基于DevOps的軟件開發管理模式。DevOps是在敏捷開發模式的基礎上，將運維并入進來，是軟件開發、運維和質量保證三個部門之間的一體化溝通機制?；诔掷m集成的軟件交付方式，編譯、打包、發布、測試等行為能夠更高效，更穩定。整體研發流程如圖2所示。

圖2 DevOps流程圖

（三）主動出擊，應用質量撥測

重慶農商行在智能運維系統建設過程中敏銳地發現運維系統的智能化不僅體現在對系統、應用的被動監控上，還應主動出擊，對應用進行質量撥測。系統通過應用主動撥測技術來模擬各業務環節的訪問流程，化被動處置為主動感知，實時洞察客戶端存在的各類風險，并進行有效干預?，F階段，系統主要對應用及數據庫的健康狀態進行撥測，包括基于HTTP協議的RestFul請求，以及基于TCP的心跳指令。應用撥測架構如圖3所示。

圖3 質量撥測架構圖

（四）智能巡檢，業務安全防護

盡早發現故障、處置風險是智能運維系統建設的目的之一。該行通過融合多維度業務安全指標實現對應用的智能防護，主要包含三個方面：一是交易鏈路時序分析；二是用戶異常交易檢測；三是敏感交易監控。所有的業務安全指標既可自定義固定閾值，也可以基于智能運維系統生成的動態基線，實現智能化業務安全告警。

（五）應用預警，自適應式機器學習

該系統梳理各應用系統指標模型，形成標準化的指標拓撲圖和指標模板。通過引入自適應式的機器學習算法，根據歷史運行數據建立融合多種異常檢測模型，對指標曲線實現高準確率的異常檢測，系統生成各指標動態閾值基線，實現智能預警。目前可供融合的算法包括：Ripple、Dtmos、Spider等。同時，系統根據波動分析、根因量化，能夠智能地提供處理建議，有效地提高了問題處理效率。

項目效果評估

（一）打通各個系統運維信息孤島

該系統的建成解決了傳統運維場景分散建設，各種煙囪式的系統之間存在數據重復、數據割裂、數據不準等問題，實現有效整合，達到數據集中存儲，統一分析，集中展示，高效處置的目標。同時，各業務系統運維數據的統一歸集，也形成了海量的數據。在此基礎上，系統利用大數據、人工智能技術，能夠快速挖掘系統之間交易的關聯性，并由此構建場景特定的智能算法學件，實現智能運維功能，有效地打通各系統信息孤島，形成全行統一的智能數據湖。

（二）實現自動化作業代理的統一

系統采用統一的自動化作業代理agent，代替了以往為網絡、系統運維需求而開發的單一功能代理，實現了日志采集、指標巡檢、應用發布、運維工具箱等各業務模塊所需的底層能力，減少了因部署多個agent而導致的服務器性能損耗。目前行內已經部署2159臺agent，涵蓋150個應用系統，制定了107條定制化日志采集規則，平均每日處理日志量為5.5TB。

（三）重要信息系統應用發布自動化

自動化應用發布依據傳統流水線操作流程，結合定制化的作業腳本進行優化，實現應用版本發布自動化。目前已接入50余套業務系統，實現了三百余次上線。固定的上線流程6個，可實現應用服務器的分批備份上線。應用發布時間由之前的90分鐘左右縮短至30分鐘之內，除去人工檢查上線結果所花費的時間外，自動化發布時間可縮短至15分鐘左右，發布效率提升了至少3倍，運行至今所有變更流程全部執行成功，0失敗。

（四）智能預警實踐銀行AIOPS

應用智能預警服務通過融合多種機器學習算法生成動態基線，目前支持單指標異常檢測類算法6個，單指標預測類算法4個，多指標分析類算法2個，已監控1963個指標，涉及55個系統。異常檢測準確率96%，5分鐘內可完成根因定位，速度提升70%。平臺上線以來，準確預警因第三方機構重啟服務器導致行內支付交易失敗的問題，使我行開發人員迅速定位處理問題，并與第三方機構取得聯系，盡快恢復服務，避免了用戶的投訴，提升了系統的穩定性。

項目牽頭人

常學亮 科技信息部副總經理

項目團隊成員

譚勇、李倩、廖偉、茍瑞、周濤、呂斌、范攀峰、田若坪、代斯科、吳昱君、邱昌良、張穎、馬藝、趙偲為、姚寅、蔡宇

責任編輯：王超