案例名稱
安徽省聯社“數據挖掘和模型管理平臺”
案例簡介
隨著安徽農信系統數字化轉型的不斷深入,如何從海量數據中挖掘有效價值成為大數據應用的一項主要挑戰,“數據挖掘和模型管理平臺”的建設,解決了大數據應用過程中數據價值挖掘環節系統承接問題,通過數據分析工具的集中化、流程化與資產化的管理,賦能行內的數據分析人員、模型開發人員,實現數據應用能力的提升,同時引入業內規范的模型管理流程,實現模型全生命周期風險集中管理,充分保障模型在業務決策中的支撐作用。
創新技術/模式應用
本平臺具有以下幾個主要功能特點:
(一)松耦合式模塊化設計
本平臺的核心功能包括數據管理、模型管理、模型構建、模型服務、模型監控共五大模塊,各服務模塊基于微服務架構實現松耦合式設計,支持容器化部署、使用K8S定制場景資源配置,數據計算采用主流的分布式Hadoop大數據平臺,用于數據、指標以及模型的分布式計算,同時滿足大規模數據的分布式存儲,在部署、計算、存儲等方面均具備橫向擴展能力。
(二)標準化模型管理工作流
本平臺通過我的模型、模型清單、模型詳情等功能菜單對模型資產統一管控,以工作流加任務處理模式實現了模型的需求提出、開發、驗證、部署、投產、迭代和退出等模型全生命周期各階段的流程化管理,各階段文檔通過平臺統一保存,保障了模型相關歷史可回溯、可審計,實現了規則策略、模型算法資產化管理,另外支持建立統一的模型資產視圖,為管理層提供模型管理全局視角。
(三)通用型模型構建平臺
本平臺提供代碼建模、可視化建模、智能建模三種建模方式,搭建了低門檻、易用、適應不同建模場景的統一建模平臺,能夠使專業建模人員或業務人員共同參與到模型開發的工作中,實現了建模過程的標準化管理,包括代碼標準化、模型包管理、開發報告管理等。
(四)全線上模型服務管理
本平臺可作為模型服務的統一發布平臺,通過服務列表對模型服務統一管理,支持模型部署發布審批流程、上下線流程配置,同時提供接口調試、A/B測試等工具,對模型服務實際效果跟蹤比較,實現模型版本的流暢切換?;跇I務場景需要,模型服務提供實時調用或批量調度兩種調用方式。
(五)實時監控預警體系
本平臺構建了全面細致的模型監控預警體系,對模型結果分布、特征穩定性、預測有效性進行定時跟蹤,幫助模型管理人員及時掌握當前模型的整體性能。報告內容支持自定義預警規則,可以對特征變化幅度、模型退化程度、在決策中的效果等設置預警,通過平臺內消息和短信進行提醒告知,及時采取處置措施。
項目效果評估
(一)完善大數據應用體系,助力數字化轉型
本平臺是安徽農信系統大數據應用體系的重要拼圖,從系統層面上填補了數據挖掘和模型管理功能上的空白,通過與大數據平臺基礎數據資源對接,提供了對海量數據進一步挖掘的安全環境。本平臺的投入使用,對安徽農信系統數據應用水平的提升具有引領作用,可充分發揮省聯社服務、監督、管理的職能,促進金融科技在安徽農信系統內的進一步發展。
(二)建立模型工作流標準,規范模型風險管理
模型在為業務服務的同時,其自身也應受到監管,以防范模型使用不當所帶來的風險。本平臺通過模型工作流模板建立了標準化的模型管理流程,明確了模型管理各個環節人員職責,防止兼崗、越限操作情況發生。通過模型管理流程的確立,為模型風險防控提供了明確措施,解決了系統內模型管理缺少統一規范的問題,同時也滿足了監管部門對模型風險管理日趨嚴格的要求。
(三)探索模型優化升級,提升業務智能化水平
本平臺引入了主流的數據挖掘、機器學習技術,以數據為驅動實現模型的優化升級。目前平臺內已上線3個業務模型,為線上信貸、信用卡、綜合收單業務提供模型服務,在前期申請、定價和中期風險管理等業務環節對客戶信用風險進行預測,模型算法采用了邏輯回歸和集成學習算法,模型效果評估KS指標值均超55%,對不良表現具有顯著預測能力。
(四)構建模型監控體系,加強模型效果跟蹤
本平臺通過監控報告、自定義看板、模型大盤形成了“自下而上”全面的模型監控體系,對模型運行效果實現多角度跟蹤,幫助不同層級管理人員審視當前模型工作,輔助未來決策。模型監控體系的構建,為安徽農信系統內模型效果監控提供了統一渠道,可改變模型效果缺乏跟蹤、感知滯后的現狀,為模型有效應用提供新的保障。
項目牽頭人
蔡玉林 安徽省聯社電子銀行部副總經理(主持工作)
項目團隊成員
水坤、葉長明、韓彬、丁偉民、王瑾、孟佳樂、殷悅、楊宜辰、潘樂觀、彭靜
責任編輯:韓希宇
免責聲明:
中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。