銀行實(shí)時(shí)生產(chǎn)數據采集
日期：2018-10-28 / 人氣： / 來(lái)源：未知
隨著(zhù)大數據時(shí)代的到來(lái)，銀行經(jīng)營(yíng)將會(huì )發(fā)生深刻變化，其中最根本的變化，就是銀行功能正在從過(guò)去的資金中介逐步向信息中介轉變，由過(guò)去單一的存貸匯服務(wù)向信息提供者、業(yè)務(wù)撮合者、財富管理者轉變，從而導致依靠“鼠標+水泥”和存貸利差的傳統銀行經(jīng)營(yíng)模式消失，銀行既可以融資也可以融智，傳統銀行業(yè)的基本功能將會(huì )為新的金融服務(wù)所替代。
互聯(lián)網(wǎng)技術(shù)革命讓商業(yè)銀行進(jìn)入一個(gè)重要的轉折點(diǎn)，從過(guò)去的支付和融資中介向綜合化信息中介服務(wù)轉變，信息是銀行發(fā)展的深層基礎和根本，能不能在未來(lái)競爭中保持優(yōu)勢，關(guān)鍵在于能不能成為信息掌握的強者，并采取措施通過(guò)大數據技術(shù)重新發(fā)展和鑄造新的金融經(jīng)濟關(guān)系。
有人曾把大數據比作“新時(shí)代的石油”大數據對于商業(yè)銀行尤其是中小商業(yè)銀行的價(jià)值是不言而喻的。但是對銀行的數據駕馭能力提出了全新的挑戰。銀行不僅要收集來(lái)自網(wǎng)點(diǎn)、信貸等傳統渠道的結構化數據，還要收集來(lái)自物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的各類(lèi)非結構化數據，甚至還要與歷史數據對照。在數據存儲方面，要達到低成本、低能耗、高可靠性目標，要用到分布式和云計算技術(shù)，這是很多銀行所欠缺的。有的數據涉及上百個(gè)參數，難以用傳統的方法描述與度量，處理的復雜度相當大，如客服錄音數據等。利用“大數據”的能力將成為決定銀行競爭力的關(guān)鍵因素。
近年來(lái)，隨著(zhù)直銷(xiāo)銀行與消費金融這一新型業(yè)態(tài)在國內的迅猛發(fā)展，互聯(lián)網(wǎng)金融客戶(hù)數與交易量呈幾何級數增長(cháng)。各家銀行紛紛建立自己的反欺詐風(fēng)控平臺。一個(gè)完善的風(fēng)控機制必須有足夠的數據源，全量數據采集為大數據分析提供了充足的數據樣本。所以數據采集的重要性日益凸顯。
銀行實(shí)時(shí)生產(chǎn)數據采集系統主要服務(wù)于銀行金融大數據分析平臺，對實(shí)時(shí)性要求高，需要提供自動(dòng)化的數據關(guān)聯(lián)與業(yè)務(wù)解析。整套系統分為探針實(shí)時(shí)數據采集和日志數據采集兩部分。其中日志采集系統，從安全設備收集相應的日志和MIB信息，經(jīng)過(guò)簡(jiǎn)單處理后進(jìn)入到kafka緩存隊列中。探針系統則提供底層全量網(wǎng)絡(luò )數據采集，為流量分析、網(wǎng)絡(luò )安全、交易監控提供素材：
銀行專(zhuān)用硬探針采用旁路采集數據，支持實(shí)時(shí)可擴展功能分析：采用實(shí)時(shí)下載/更新業(yè)務(wù)規則，解析業(yè)務(wù)流程辨識規則更新及關(guān)聯(lián)，可產(chǎn)生各個(gè)業(yè)務(wù)流程及相關(guān)參數，對新業(yè)務(wù)及廣域業(yè)務(wù)DPI如手機銀行可以進(jìn)行深度DPI及業(yè)務(wù)解碼、分析及流程關(guān)聯(lián)。
硬探針具有多個(gè)千兆輸入端口，擴展支持4-12個(gè)萬(wàn)兆Combo接口，可以同時(shí)兼顧網(wǎng)絡(luò )流量和交易生產(chǎn)數據的實(shí)時(shí)采集、解析與關(guān)聯(lián)。支持10Gbps~40Gbps（按配置）流量實(shí)時(shí)處理、輸出解析完的業(yè)務(wù)及流量信息及數據。
與過(guò)去在服務(wù)器安裝Agent的軟采集方式相比，探針硬采優(yōu)勢明顯：非侵入式的部署方式，無(wú)需在銀行服務(wù)器及交易主機部署監測軟件；采用TAP流量復制或交換機數據端口鏡像，實(shí)時(shí)復制采集全部生產(chǎn)區域的數據流，匯聚到探針端口進(jìn)行交易及業(yè)務(wù)流轉解析及關(guān)聯(lián)。探針系統與生產(chǎn)主機采用并行的方式部署，探針可靠性不會(huì )對生產(chǎn)主機的可靠性造成影響。
非侵入式部署的優(yōu)勢：
1、全網(wǎng)采集、多層面數據采集、解析、對業(yè)務(wù)網(wǎng)絡(luò )無(wú)干擾；
2、快速適應銀行不斷變化的業(yè)務(wù)需求，及時(shí)響應；
3、未來(lái)擴展到管理網(wǎng)效率高、成本低；
4、探針工作穩定性和長(cháng)期運行可靠性高， 輕松應對系統后續擴容；
5、大流量綜合分析（多層面Lay1~Lay7）可與大數據的結合進(jìn)行統一數據分析。
在交換機節點(diǎn)布置數據采集節點(diǎn)時(shí)，在交換機性能許可下，建議盡量采用交換機端口鏡像復制匯聚到采集端口，導引到信息采集匯聚交換機，所有信息經(jīng)匯聚到匯聚交換機輸出端口，輸出到硬探針設備。在少數交換機無(wú)法進(jìn)行端口鏡像復制，建議裝入TAP設備復制。一般采用1:2或者1:3 TAP復制分路，數據經(jīng)復制端口輸出后，接入信息采集匯聚交換機，再接入到探針的輸入口。
實(shí)時(shí) 生產(chǎn)數據采集系統 上線(xiàn)后，整體數據采集效率大大提升，大部分無(wú)效數據在探針解析關(guān)聯(lián)階段就被剔除。經(jīng)過(guò)清洗的數據通過(guò)專(zhuān)用消息接口存入銀行大數據平臺。平臺的分析展現層對數據進(jìn)行多維度的分析透視，根據客群分析、精準營(yíng)銷(xiāo)、銀行反欺詐等不同業(yè)務(wù)類(lèi)型建立分析模型。分析結果以圖表化、可定制的方式呈現在用戶(hù)終端或大屏幕上。實(shí)現銀行網(wǎng)絡(luò )流量分析、銀行設備可用性維護、交易性能監控解析和分析。大數據平臺還對接銀行報警通道，對潛在風(fēng)險通過(guò)報警通道提前預警。
互聯(lián)網(wǎng)技術(shù)革命讓商業(yè)銀行進(jìn)入一個(gè)重要的轉折點(diǎn)，從過(guò)去的支付和融資中介向綜合化信息中介服務(wù)轉變，信息是銀行發(fā)展的深層基礎和根本，能不能在未來(lái)競爭中保持優(yōu)勢，關(guān)鍵在于能不能成為信息掌握的強者，并采取措施通過(guò)大數據技術(shù)重新發(fā)展和鑄造新的金融經(jīng)濟關(guān)系。
有人曾把大數據比作“新時(shí)代的石油”大數據對于商業(yè)銀行尤其是中小商業(yè)銀行的價(jià)值是不言而喻的。但是對銀行的數據駕馭能力提出了全新的挑戰。銀行不僅要收集來(lái)自網(wǎng)點(diǎn)、信貸等傳統渠道的結構化數據，還要收集來(lái)自物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的各類(lèi)非結構化數據，甚至還要與歷史數據對照。在數據存儲方面，要達到低成本、低能耗、高可靠性目標，要用到分布式和云計算技術(shù)，這是很多銀行所欠缺的。有的數據涉及上百個(gè)參數，難以用傳統的方法描述與度量，處理的復雜度相當大，如客服錄音數據等。利用“大數據”的能力將成為決定銀行競爭力的關(guān)鍵因素。
近年來(lái)，隨著(zhù)直銷(xiāo)銀行與消費金融這一新型業(yè)態(tài)在國內的迅猛發(fā)展，互聯(lián)網(wǎng)金融客戶(hù)數與交易量呈幾何級數增長(cháng)。各家銀行紛紛建立自己的反欺詐風(fēng)控平臺。一個(gè)完善的風(fēng)控機制必須有足夠的數據源，全量數據采集為大數據分析提供了充足的數據樣本。所以數據采集的重要性日益凸顯。
銀行實(shí)時(shí)生產(chǎn)數據采集系統主要服務(wù)于銀行金融大數據分析平臺，對實(shí)時(shí)性要求高，需要提供自動(dòng)化的數據關(guān)聯(lián)與業(yè)務(wù)解析。整套系統分為探針實(shí)時(shí)數據采集和日志數據采集兩部分。其中日志采集系統，從安全設備收集相應的日志和MIB信息，經(jīng)過(guò)簡(jiǎn)單處理后進(jìn)入到kafka緩存隊列中。探針系統則提供底層全量網(wǎng)絡(luò )數據采集，為流量分析、網(wǎng)絡(luò )安全、交易監控提供素材：
銀行專(zhuān)用硬探針采用旁路采集數據，支持實(shí)時(shí)可擴展功能分析：采用實(shí)時(shí)下載/更新業(yè)務(wù)規則，解析業(yè)務(wù)流程辨識規則更新及關(guān)聯(lián)，可產(chǎn)生各個(gè)業(yè)務(wù)流程及相關(guān)參數，對新業(yè)務(wù)及廣域業(yè)務(wù)DPI如手機銀行可以進(jìn)行深度DPI及業(yè)務(wù)解碼、分析及流程關(guān)聯(lián)。
硬探針具有多個(gè)千兆輸入端口，擴展支持4-12個(gè)萬(wàn)兆Combo接口，可以同時(shí)兼顧網(wǎng)絡(luò )流量和交易生產(chǎn)數據的實(shí)時(shí)采集、解析與關(guān)聯(lián)。支持10Gbps~40Gbps（按配置）流量實(shí)時(shí)處理、輸出解析完的業(yè)務(wù)及流量信息及數據。
與過(guò)去在服務(wù)器安裝Agent的軟采集方式相比，探針硬采優(yōu)勢明顯：非侵入式的部署方式，無(wú)需在銀行服務(wù)器及交易主機部署監測軟件；采用TAP流量復制或交換機數據端口鏡像，實(shí)時(shí)復制采集全部生產(chǎn)區域的數據流，匯聚到探針端口進(jìn)行交易及業(yè)務(wù)流轉解析及關(guān)聯(lián)。探針系統與生產(chǎn)主機采用并行的方式部署，探針可靠性不會(huì )對生產(chǎn)主機的可靠性造成影響。
非侵入式部署的優(yōu)勢：
1、全網(wǎng)采集、多層面數據采集、解析、對業(yè)務(wù)網(wǎng)絡(luò )無(wú)干擾；
2、快速適應銀行不斷變化的業(yè)務(wù)需求，及時(shí)響應；
3、未來(lái)擴展到管理網(wǎng)效率高、成本低；
4、探針工作穩定性和長(cháng)期運行可靠性高， 輕松應對系統后續擴容；
5、大流量綜合分析（多層面Lay1~Lay7）可與大數據的結合進(jìn)行統一數據分析。
在交換機節點(diǎn)布置數據采集節點(diǎn)時(shí)，在交換機性能許可下，建議盡量采用交換機端口鏡像復制匯聚到采集端口，導引到信息采集匯聚交換機，所有信息經(jīng)匯聚到匯聚交換機輸出端口，輸出到硬探針設備。在少數交換機無(wú)法進(jìn)行端口鏡像復制，建議裝入TAP設備復制。一般采用1:2或者1:3 TAP復制分路，數據經(jīng)復制端口輸出后，接入信息采集匯聚交換機，再接入到探針的輸入口。
實(shí)時(shí) 生產(chǎn)數據采集系統 上線(xiàn)后，整體數據采集效率大大提升，大部分無(wú)效數據在探針解析關(guān)聯(lián)階段就被剔除。經(jīng)過(guò)清洗的數據通過(guò)專(zhuān)用消息接口存入銀行大數據平臺。平臺的分析展現層對數據進(jìn)行多維度的分析透視，根據客群分析、精準營(yíng)銷(xiāo)、銀行反欺詐等不同業(yè)務(wù)類(lèi)型建立分析模型。分析結果以圖表化、可定制的方式呈現在用戶(hù)終端或大屏幕上。實(shí)現銀行網(wǎng)絡(luò )流量分析、銀行設備可用性維護、交易性能監控解析和分析。大數據平臺還對接銀行報警通道，對潛在風(fēng)險通過(guò)報警通道提前預警。
作者：hzjuxadmin
上一篇：基于MES的柔性制造系統的數據采集結構
下一篇：便攜式數據采集器
推薦內容 Recommended
相關(guān)內容 Related
- 設備生產(chǎn)數據采集系統10-12
- 企業(yè)生產(chǎn)性設備數據采集方法10-05
- 生產(chǎn)數據采集系統介紹09-26
- 離散制造企業(yè)生產(chǎn)數據采集特點(diǎn)及原則09-17
- MES系統生產(chǎn)數據采集08-22