点燃智能营销的灵*CirroDa

公益中国援助定点白癜风医院 http://disease.39.net/yldt/bjzkbdfyy/6173182.html

随着大数据技术的日益广泛应用,人类历史上从未出现过的大规模智能、 营销正在成为现实。数据维度不断丰富,应用场景不断增多,数据营销也在快速演进,中国的智能营销时代正在到来。而这一全新的营销模式正在改变着银行业和广大客户的生活。

宁波银行作为中国城市商业银行的领跑者,在全球银行业排名位居第位。除了在宁波地区经营之外,已经在全国15个城市设立了分行,营业网点家,经营业务多元化,员工超过1.9万人。在信息化建设方面,宁波银行多年来不断加大投入力度,其科技解决方案在行业内具有重要的参考价值。

宁波银行希望通过进行数据挖掘与整合,应用人工智能和数据技术,让数据发挥更大的价值,实现对客户的深刻洞察和 营销。而智能营销系统的“灵*”所在,正是建立一套灵活、完善、易于管理和应用的数据标签体系。

上海屹通公司是手机银行行业的领头羊,具有银行渠道端系统建设的先发优势和大数据技术的后发优势,正是凭借技术硬实力和用户口碑,屹通有幸成为了宁波银行的项目合作伙伴。而对屹通来说,选择一款强有力的底层数据库支撑系统是整个项目成败的关键。CirroData数据库以全面的功能和卓越的性能,最终脱颖而出,为数据营销的智能化提供基础动力。

标签管理体系是什么?

什么是“标签”?先来看一个例子,下图是由“出生日期”这个数据加工出的一系列“标签”:

图1.数据标签

“数据标签”是伴随着互联网行业的兴起而产生的。随着网络内容大爆炸,想要在海量数据中快速、准确的查询到自己感兴趣的信息并不容易。而“打标签”作为一种有效的数据整理、组织和管理的手段,很快得到了广泛的应用。“标签”不仅对数据做了细粒度的划分,便于数据查询,“打标签”也把复杂的业务逻辑转化为提前T+1的批量化处理,大大提高了对数据的查询性能。

另一方面,“打标签”有助于挖掘数据价值,是客户画像最核心的部分,对于大数据时代智能化的 营销发挥着基础性的重要作用。尽管银行业的标签应用场景与互联网行业不同,但“标签”在不同场景中,对于数据存储管理和查询所发挥的重要价值是不可忽视的。

关于银行业中标签体系的建设可以具体参考《一文看懂银行业标签体系建设(纯干货)》一文。正如文中提到的,一个完整的标签建设项目包括标签加工、标签装载、标签管理、标签服务四个环节,如下图所示:

图2.标签建设项目技术架构图

多样化场景挑战数据库技术

通过多方对比、测试和验证,宁波银行最终选择了东方国信(BONC)“营销云”平台中的标签管理系统,作为其全行级、全业务、全渠道统一支撑的标签系统。宁波银行也正是看重了东方国信营销云“标签中心”所具备的能力和优势:

在数据层面,标签库底层使用了数据代理,支持多种常用数据库;此外,还支持多表关联后建立标签库;在标签管理层面,支持构建灵活的标签体系分类;支持标签生命周期管理,构建衍生标签,标签的权限控制,以及标签的操作权限控制;在标签应用层面,东方国信营销云“标签中心”提供对外标签API查询服务功能,对象群筛选功能,和客户洞察功能。可以看出,标签体系涉及到的应用场景十分多样,根据不同的应用场景,对于数据库的选型有多种要求,如何用一个数据库满足所有场景的需求十分具有挑战性!

1

高性能海量数据批量加工

基础标签是需要进行数据装载、数据加工和落地存储的标签,原始数据已经保存在大数据平台,需要数据库支持直接稳定高效地读写大数据平台中的数据,支持高性能T+1跑批,以便于在标签查询和运营过程中降低查询性能的损耗。

2

数据库宽表支持

数据建模方面,宽表是标签数据模型的金标准。任何数据库表关联都会大大降低查询效率,因此数据库需支持列以上的大宽表,具备千万级以上数据量大宽表全表过滤扫描秒级响应能力。

3

高性能复杂查询

针对客群筛选、衍生标签等场景,多标签混合关联计算,范围、类型、周期、关键字等条件过滤,需要数据库具备高效的全字段索引和高速的全表过滤扫描性能。

4

数据库语法和函数支持

对象洞察依赖于完善的数据库语法和丰富的数据库函数支持。如完整支持SQL92标准,支持常用的OLAP函数,包括标准差、方差、日期函数、窗口函数、递归函数等,支持自定义函数、存储过程等。

5

高并发 查询

渠道API高并发点查询,如手机银行通过客户号调用标签值等场景,需要数据库在大数据量、高并发环境下的用户明细数据查询达到毫秒级响应。

6

多租户支持

对个人客户标签库、信用卡客户标签库、公司客户标签库等划分多租户,实现资源隔离与数据共享。

CirroData集众家所长

我们对Oracle、DB2、Hive、SparkSQL、Elasticsearch、HBASE、Impala和CirroData等多款市场主流数据库进行了技术性能的对比,并根据支持情况,对排名相对靠前的四款Oracle、Impala、Elasticsearch和CirroData组织了POC测试,分析结果如下:

图3.多款主流数据库性能分析

OracleOracle作为 的关系型数据库,在语法、函数和并发方面都有明显优势,但对于大宽表的支持、高性能复杂查询和多租户场景无法满足系统要求。 的问题在于无法支持大宽表全表过滤扫描,字段数不可高于导致实际场景只能拆分字段,多表做join,大大降低了查询效率。

ImpalaImpala是一款列存的数据分析引擎,对于批量加工、宽表支持和标准的语法函数方面都可满足要求,但对于海量数据的复杂查询、并发数、多租户等方面还是有所欠缺。 的短板在并发能力严重不足,在10节点的环境,列0万条数据的宽表,点查询并发性能无法满足通过客户号查询标签值的用户明细查询场景。

ElasticsearchElasticsearch是当前流行的企业级搜索引擎,查询效率和并发能力都是其优势特性。ES发布JDBC版本后集成能力也得到了提升,表宽字段数列才暴露出性能拐点。但是,它的关键硬伤是数据库语法和函数支撑能力不足,不能满足衍生标签配置和BI分析场景的需要。

CirroDataCirroData是东方国信自主研发的一款分布式分析型数据库。经测试,在以上客户场景中,CirroData满足了所有特性和指标要求。

可以轻松处理PB级数据的批量加工,同时提供了存储过程功能;

对于海量数据多表关联、任意字段甚至高达几千字段作为条件的查询、返回结果集比较大的复杂查询,均有突出的性能体现;

不限字段数,经验证可支持0列大宽表的全表过滤扫描;

支持SQL92标准和SQL3的主要分析函数,如窗口函数、递归函数等;

支持高并发点查询,按节点线性扩展,响应速度达到毫秒级;

支持多租户,支持资源的按需分配和随需部署。

其中特别突出,也尤为受到客户


转载请注明:http://www.180woai.com/qfhqj/2625.html


苏ICP备09012885号-7

当前时间: