Flink与金融科技:以实时反欺诈系统为例

大家好, 我是Lucy@FinTech社区。

今天的文章将以实时反欺诈系统为例,带大家了解Flink与金融科技。

欢迎大家添加微信fintech12,或扫描底部微信,加入FinTech社区,提认知,攒人脉,求职招聘!

 

大数据时代,数据与金融的碰撞越来越激烈;实时计算、流计算、分布式系统等新兴技术在金融科技领域方兴未艾。今天我们就带领大家了解一下,当实时计算应用到反欺诈系统,会擦出什么样的火花

通过本篇文章,你将会学习到:

什么是反欺诈系统?

什么是Flink?

为什么选择Flink?
 

一、什么是反欺诈系统? 

在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力,这也带来大量的金融欺诈行为。

常见的金融欺诈场景有三类:

一是材料伪造。这是早年需要提交纸质材料时期常见的欺诈;

二是“养号”,常见于中介机构,通过收取服务费来维护大量号的健康状态,卖给有欺诈意向的用户进行贷款申请;

三是来自于专业黑客的威胁,他们通过寻找系统、流程的漏洞等方式,对账号安全构成攻击。

 

下图为银行系统反欺诈系统的示意图:

如上图所示,金融科技因其虚拟性特征,主要风险集中在两方面:

一是欺诈风险,二是信用风险

因此核心的风险评估流程就是反欺诈和信用评估

对于反欺诈而言,信息核实、高危人群拦截和实时计算、识别、决策是其核心风控手段。而对于信用风险的评估,需要内外兼修。
 

二、Flink技术简析 

Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。

Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。

由于Flink具有良好的实时性,所以Flink技术在大数据领域得到了极快的发展与应用。
 

下图为Flink的技术栈与基础架构:

从现如今的大数据计算趋势来看,批处理和流处理是主流都非常重视的,也是实际大数据应用场景当中的持续性需求。

所以,我们从上图可以看出,Flink框架本质上来说是流引擎但是在实际工作当中,实现了流处理和批处理的统一

Flink将批处理看作是一种特殊的流处理,也就是有边界的数据流,基于这样的思想,Flink能够实现业内延迟性较低的流数据+批数据计算
 

三、Why Flink? 

3.1 实时反欺诈的难点

目前,在线实时反欺诈会面临各类痛点,主要痛点集中在以下三方面:

一是低延时要求。越是大量数据需要计算,所需时间越长。在网贷盛行的年代,甚至有的公司打出“一分钟授信,半分钟放款”的口号。

二是超大规模实时计算要求。大数据场景中,需要对大规模数据做到实时计算,实时平台中用户的行为改变会导致数据发生变化,进而影响决策。因此对超大规模数据的实时计算需求越来越高,确保用户在出现欺诈行为时能够及时中止交易。

三是多维度、高并发要求。随着同一业务场景下用户规模的扩增,用户产生的数据也形成爆发性增长。在金融场景下需要按照数据各个维度分析得出风险评估报告,根据用户特性挖掘用户潜在需求。
 

3.2 Flink技术的优势

时延和吞吐量的角度:Flink 是纯粹的流式设计。流式大数据技术的计算是逻辑先行,即先定义计算逻辑,当数据流过时,实时计算并保留计算结果;当需要使用数据时,直接调用计算结果即可,无需再次计算。

与别的计算技术相比较;Flink 吞吐量约为 Storm 的 3~5 倍,且Flink 在满吞吐时的延迟约为 Storm 的一半。综合来看,Flink 框架本身性能优于 Storm

与现有生态体系结合的角度:Flink 与超大型计算和存储(HBase)的结合比 Spark 和 Storm 要好很多,同时接口也更友好,更加方便用户的使用
 

下图为Flink处理数据流的示意图:

总的来说,Flink 是一个设计良好的框架。它不但功能强大,而且性能出色。

此外它还有一些比较好的设计,比如良好的内存管理和流控。这些都有助于Flink技术在反欺诈系统中发挥作用。
 

3.3 基于Flink的反欺诈系统的设计

基于 Flink 的超大规模在线实时反欺诈系统的架构主要分为两大部分:数据部分决策部分

整个系统的运作相当于一个工作流,用户的数据信息以流的形式由一个节点传到下一个节点,在流转过程中会产生大量的决策信息,根据条件做出筛选和判断,并把判断结果快速推行到下一个节点,从而实时判断用户的数据情况,进而决定是否放款给用户。

 

下图为系统架构示意图:

在大数据时代,数据的质量直接影响大数据分析处理方法的效果,也影响决策过程

通过分析海量数据,可以从中发现数据集中隐含的模式和规律。所以,通过大规模实时反欺诈系统的建立,可以有效降低金融机构的资金风险

本期的内容就到这里,希望大家有所收获!

 

我们都知道,在2008年全球金融危机之后,关于通货膨胀、金融安全等方向很多人都有过不同的解决想法。那么大家对于在此背景下产生的比特币以及近期大火的区块链技术有所了解吗?

欢迎大家添加微信:fintech12,加入FinTech社区一起讨论!
 

近期热招: (点击标题,即可了解详情) 

招聘 | 期权量化研究-领先期货公司-上海
 

招聘 | 期权做市交易员-领先期货公司-上海
 

招聘 | OTC Trader-领先期货公司-上海/北京/深圳
 

招聘 | Alpha基金经理/系统开发工程师-呈瑞投资
 

招聘 | 资产配置研究员