银行大数据技术有哪些

‘壹’ 大数据处理的关键技术都有哪些

大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。

1、大数据采集技术

大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

因为数据源多种多样，数据量大，产生速度快，所以大数据采集技术也面临着许多技术挑战，必须保证数据采集的可靠性和高效性，还要避免重复数据。

2、大数据预处理技术

大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。

因获取的数据可能具有多种结构和类型，数据抽取的主要目的是将这些复杂的数据转化为单一的或者便于处理的结构，以达到快速分析处理的目的。

3、大数据存储及管理技术

大数据存储及管理的主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。

4、大数据处理

大数据的应用类型很多，主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。

‘贰’ 金融行业中的大数据应用有哪些方面

金融行业会运用到很多大数据，从投资结构上来看，银行将会成为金融类企业中的重要部分，证券和报表分列第二和第三位。国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，广大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款等等。我这边常会涉及到的大数据应用工具有finereport报表工具。

‘叁’ 信用卡大数据都包含了哪些数据

其实它就是一种面向贷款机构的第三方征信查询系统，它利用大数据的技术手段将各类网贷平台的贷款记录整合复在了一起。在借款用户提交申请时，如果用户的网贷大数据显示的信用记录太差，会影响到借款的申请。信用卡里的大数据是由成制千上万的互联网数据组成，也得到了广泛的应用，现在也有很多银行都会利用大数据而作为他们审批贷款和信用卡时百的风控参考，则大数据可以检测到个人近期的度用卡和用贷情况，互联网消费金融，回以及线上线下分期情况，从而来综合评估个人信用状况，通常来说个人的风险指数偏高，就说明此人信用不佳，还款能力不足，处于风险控制考虑，银行自然就会拒绝你问的信用卡和贷款申请。通过卡详查获取一份信用卡风险报告答，里面会提供你答的信用卡消费行为分析和信用卡交易行为分析来解析你的信用卡使用情况，帮助持卡人更好的了解用卡信用卡。

‘肆’ 银行it技术有哪些

1、融合架构：主机平台+分布式开放平台

核心账务系统，部署在主机平台上

主机平台可用性高，运行稳定，适合作为银行核心系统运行平台，但也存在风险集中、处理能力瓶颈、敏捷性不够、价格昂贵等不足。

主机资源用于核心账务系统，利用开放平台处理查询业务或者普通维护性交为了更好地利用主机资源，建设银行提出“主机+ 开放”的融合架构，确保“好钢用在刀刃上”。

查询系统，部署在分布式平台上

查询系统包括：个人客户综合积分、贷记卡管理、客户信息查询、对公/对私存款查询、客户渠道。

目前各类查询交易总计下移日均交易量1.4亿笔，节省主机资源2.6万MIPS，相当于8.22亿元。

查询系统与账务系统分离，既分散了系统风险，又提高了并发处理能力。

最近三年在实际业务量年均增长32% 的情况下，主机MIPS资源零增长，取得了节省投资的良好效果。

在分布式开放平台上，X86服务器替代小型机

在开放平台的选择上，由于同等计算能力的X86服务器价格只有小型机的1/20，所以首先在新一代架构的应用(AP)层中大量采用X86服务器替代小型机，随着替代技术逐步成熟，继续提高在数据库(DB)层使用X86服务器的比例，进一步减少小型机的数量。

自新一代实施以来，应用层和数据库层部署的X86服务器替代小型机已累计节省12.2亿元。新一代实施前后，小型机占开放计算资源比例已从1/3逐步下降到1/12，计算资源的总体可靠性和可用性保持不降。

2、私有云，能提供1000台以上的虚拟机

建设银行自2013 年起采用云计算技术来构建基础设施环境，将计算资源、存储资源、网络资源统一打包成共享资源池。

根据每种资源池的特点，采用不同的云部署单元(CDP)模型，构建了X86虚拟化资源池、Power 虚拟化资源池、HP资源池以及大数据资源池等。

以云部署单元为基本单位进行部署、更新和替换，统一了标准，提高了通用性，降低了成本。

目前已经在私有云环境中部署了1000台以上物理机，提供10000台以上虚拟机，有力地支撑了“ 新一代”核心系统上线。

3、网络架构：一网双平面，可靠性达到99.999%

新一代核心网络平台采用“一网双平面”的网络架构，用多协议标签交换技术，采用层次化、模块化的网络结构，将网络局部可靠性逐步提高到99.999% 水平，支持无中断维护。

新一代局域网通过推广柜顶接入架构，以虚拟端口聚合技术为基础，采用插入式服务架构来提高网络综合服务能力，接入层交换机使用板卡延伸技术，大规模标准化网络交换机配置。

通过采用“双平面”冗余设计避免逻辑单点，采用分散部署模式来分散整体性风险，逐步采用自动化变更手段杜绝操作失误。

采用松耦合的理念，模块化、层次化，网络服务资源池化，将二三层网络与四七层网络服务解除耦合关系，减少管理复杂度，有利于横向扩展，大幅提高数据中心网络平台的可靠性、健壮性。

4、安全：“多层水闸式”防范体系

原安全架构的安全功能与应用系统集成实现，嵌入到应用系统中，与应用系统紧密耦合，导致安全策略与安全功能固化。

“新一代安全架构”的应用系统只集成通用、标准化的安全代理，所有安全功能通过安全代理为应用系统提供，后台的安全服务可以统一调度、灵活组合，安全服务的调整不会导致业务系统的改造。

5、标准池化存储结构

NAS、SAN 存储

SAN 存储从应用(AP)层、数据库(DB)层混合部署转变为全数据库层部署，大面积在应用层使用NAS 存储替代SAN 存储。

打造“存储标准化”

实行存储配置标准化、资源池化，屏蔽了不同产品带来的差异化，减少了维护成本，同时实现了存储资源快速、灵活的供给。

采用庞大的“边缘—核心—边缘”三层SAN 存储网络

实现了楼宇内任意地点的存储网络接入。

6、自主研发云管理平台

自主开发了全面自动化的云管理平台，先后实施了IT 基础设施的服务器安装、版本部署、服务启停、日常巡检、配置比对等一系列自动化工具，极大提升了数据中心运营管理的自动化水平，形成全生命周期的自动化管理模式，完美支持了应用项目以及相关IT 框架、平台、技术和安全组件的投产上线。

创造了5 个工作日内交付上千台虚拟化服务器的行业纪录，在简化流程、提高效率的同时，有效控制了操作风险。

以上建设银行的IT技术。

‘伍’ 商业银行应用大数据之策

商业银行应用大数据之策

随着以社交网络为代表的web2.0 的兴起、智能手机的普及、各种监控系统及传感器的大量分布，人类正在进入一个数据大爆炸的时代，“大数据”的概念应运而生。大数据被誉为继云计算、物联网之后IT产业又一次颠覆性的技术变革，已经引起各方面的高度关注。大数据的意义在于从海量数据中及时识别和获取信息价值，金融业在IT基础设施、数据掌控力和人才富集度方面较之其他产业更具优势，具备了深度“掘金”的潜力。但是，大数据也给金融业带来剧烈的挑战与冲击，我国商业银行需要树立“数据治行”理念，明确大数据战略的顶层设计，加强大数据基础设施建设，实施稳妥的大数据安全策略，方能从容迎接大数据时代。

大数据带来的冲击与挑战

(一)传统发展战略面临冲击。传统银行发展战略，是在预计未来金融政策、经济环境的前提下,根据现有银行人员、网点、客户、资本、存贷款规模等资源占有状况,以及竞争对手、客户需求状况，来确定其战略目标及发展路径和方式的。步入大数据时代后, 对数据资源的占有及其整合应用能力是决定一家银行成功与否的关键因素,而传统的网点、人员、资本等因素则趋于淡化,未来商业银行的客户营销,将主要依靠对不同类型客户需求数据的掌握，并开发设计出安全、便捷、个性化的金融产品。因此，这就要求各商业银行在评判竞争对手实力与自身优势时，要注重考量IT能力与大数据实力；在制定战略目标时，必须兼顾财务承受能力来决定对大数据的投入,从而确保战略规划与大数据支撑相适应；在确定战略目标的实施路径时，必须将互联网金融、电子渠道、数据的收集与挖掘作为向客户提供服务的重要方式和手段。

(二)传统经营方式面临重大转变。在大数据时代, 金融业务与互联网深度融合, 商业银行的经营方式将会发生彻底改变。在产品开发、营销方面,通过对海量交易、行为数据的收集、分析和挖掘,科学构建数据模型, 分层客户的不同金融需求可以得到充分展示,进而针对客户需要、市场需求研发产品、开展营销,真正做到以客户为中心开发设计产品,并实现精准营销,而不是以银行为中心制造、推销产品。在风险防控方面,许多商业银行在风险分析和评估中，虽然已经引入了数量分析方式,但是因历史数据的积累不足,经验判断依然在风险管理、决策中起主导作用。依托大数据，对客户实施多维度评价,其风险模型将会更加贴近市场实际,对客户违约率的取值变得更加精准,长期以来银行凭经验办业务的经营范式将会得到根本改善。在绩效管理方面,可以通过对大数据的有效利用,并借助通讯、视频、移动终端等技术手段，对商业银行员工的工作方式、频率、业绩等做出更加准确的评价,有助于充分发挥绩效考核的正向激励作用。

(三)数据基础设施建设面临严峻考验。进入大数据时代，数据来源的多元化主要体现在两个层面：一是在金融业务链条之外。移动网络设备和网络社交媒体产生了极其丰富的实时化的客户行为数据，在这种环境下，客户行为偏好数据往往隐藏在社交网络之中。如果要实施“大数据工程”，商业银行必须搜集开放的网络数据，但现有的银行IT系统、技术手段还无力搜集、分析、利用大数据。二是在金融业务链条内部。随着专业细分与金融外包的趋势愈加明朗，由一家或少数几家银行掌控关键业务数据的时代已经走向终结，业务数据产生、流转于金融业务链条的各个结点，业务数据、客户行为数据不可能自动集成至某个机构，这对“大数据工程”的实施提出了严峻挑战。

商业银行的应对与谋变

(一)优先搞好大数据战略的顶层设计。大数据战略必须超越电子银行部或IT部门的狭隘视角，面向全局、面向未来，以客户需求、市场需求为导向，建立自身的大数据架构。完整的客户数据必须是多维度的，至少包含以下几个方面：一是客户的基本信息，譬如信用信息、社交关系信息等；二是客户的偏好信息，譬如金融产品偏好、金融服务偏好等；三是客户的行为信息，譬如银行范围内的行为数据、外部行为数据等；四是客户的分析数据，譬如客户风险度、客户价值度等。要想使这些不同维度的数据信息具有分析价值，首先必须具有合理的数据结构。但现实情况却不尽如人意，各银行的数据结构基本上是条块分割的。为此，各银行必须优先搞好顶层机制的设计与改革，逐步打破业务界限，重组业务流程，确保数据灵活性。

在总行层面上，需要抓紧制定大数据工作规划，建立大数据工作推进机制。主管数据部门负责组织协调，对大数据工作进行统筹规划、集中管理；业务部门负责大数据的搜集、整理、存储、分析和应用，全面采集、多方式整合商业银行内外部各类数据，形成数据管理、数据使用、数据推广的有效工作机制。

(二)科学谋划和打造大数据平台。一方面各银行要积极与社交网络、电商、电信等大数据平台开展战略合作，建立数据信息交流、共享机制，全面梳理、整合客户各类信息，将金融服务与社交网络、电子商务、移动网络等深度融合。另一方面各银行也可考虑自行打造大数据平台，以便牢牢掌握核心话语权。

(三)积极建设大数据仓库。着眼于大数据挖掘和分析，对海量数据的持续实时处理，建设数据仓库项目，为服务质量改善、经营效率提升、服务模式创新提供支撑，全面提升运营管理水平。在项目建设中，通过梳理整合经营管理关键数据，建立数据管控体系，搭建基础数据平台。通过数据仓库建设，运用数据挖掘和分析，全方位调整管理模式、产品结构、营销模式、信息战略，从根本上提高风险管理、成本绩效管理、资产负债管理和客户关系管理水平，实现多系统数据的业务逻辑整合，形成全行级客户、产品等主题数据。

(四)以大数据思维推进金融互联网化战略。进入大数据时代，金融产业与信息技术将实现深度融合, 金融电子化的深度、广度将日渐强化。各银行必须顺势而为, 紧紧追随迅猛发展的互联网、移动互联网浪潮, 积极实施金融互联化战略, 尝试构建电子化金融商业模式, 着力发展直销银行、社区智能银行、互联网金融、电子商务等业务。这就要求各银行应当从发展战略的高度，将金融互联网作为未来提供金融服务、提升核心竞争力的主渠道。

(五)依托大数据技术实现风险管理的精细化。大数据时代，商业银行可以消除信息孤岛，全面整合客户的多渠道交易数据，通过经营者个人金融、消费、行为等信息进行授信，有效破解传统信贷风险管理中的信息不对称难题，降低信贷风险。为此，各银行必须深化风险管理体制改革，运用大数据理念来构建以客户为中心的全面风险管理体系，理顺部门间的职责，淡化部门色彩，彻底打破以往小数据模式下形成的部门、机构、区域、产品间数据信息分隔管理以及由分支机构各自分散识别风险的做法，形成按客户集中统一管理数据信息和高效协调机制。

要积极推行把现场调查与非现场数据信息挖掘分析相结合、模型筛查与经验判断相结合，以定性信息与定量财务、经营等多重数据信息的勾稽核验等为重点内容的风险管理创新。总行要通过大量数据信息的挖掘分析，勾画出客户的全景视图，更加全面地评估客户风险状况，有效提升贷前风险判断和贷后风险预警能力。

要进一步完善基于大数据信息平台的集中式风险审查审批体制，采用大数据方式来验证借款人的数据信息，校正申报机构或部门对借款人的风险判断。运用合理的参数和模型，计量出可接受的最大风险敞口，精准识别和动态审查借款人的每一笔融资业务。再利用习惯性数据信息和常识性、逻辑性分析，作出更专业的判断，使风险识别、防范、决策更加可靠、更加贴近实际。

以上是小编为大家分享的关于商业银行应用大数据之策的相关内容，更多信息可以关注环球青藤分享更多干货

‘陆’ 大数据给银行业、保险业、证券业、征信业分别带来了哪些大变革

大数据给银行业、保险业、证券业、征信业分别带来了哪些大变革？

一、什么是大数据？
大数据已然成为当下一个十分热门的词汇，大数据，是指基于社会的进步与经济的飞速发展、科技的进步，对人们生产生活中产生的大量数据信息有效并及时地处理分析的一种技术，具有数据量大、数据种类繁多、价值密度高、处理速度快四大主要特征。

大数据的最终目标就是希望通过大量的数据对相关行业领域的动态，进行更加高效、智能化的管理，而银行业、保险业、证券业、征信业因为其庞大的数据规模所以它必然需要一个大数据计算系统作为其发展的重要支撑。

二、大数据对银行业、保险业、证券业、征信业发展的大变革
银行业、保险业、证券业、征信业这些行业其实就是围绕信息进行的，说到底谁的的用户信息量大，谁就是“数据为王”。谁掌握了数据，谁就拥有风险定价能力，谁就可以获得高额的风险收益，最终赢得竞争优势。

1、大数据推动相关行业的战略转型。而大数据技术正是其深入挖掘既有数据，找准市场定位，明确资源配置方向，推动业务创新的重要工具。业务转型的关键在于创新，但现阶段国内金融机构的创新往往沦为监管套利，没有能够基于挖掘客户内在需求，提供更有价值的服务。就银行业来说，现在的银行业已经跳出了以储蓄为主的业务体系，转而与保险、证券、征信等相融合，推动了整体的变革。
2、大数据技术能够降低管理和运行成本，提高了服务水平和利润。通过大数据应用和分析，金融机构能够准确地定位内部管理缺陷，制订有针对性的改进措施，实行符合自身特点的管理模式，进而降低管理运营成本。特别是随着大量的线上交易活动的展开，进一步降低了线下活动带来的一系列成本，也使得相关成本更加透明，方便监管的进行。此外，大数据还提供了全新的沟通渠道和营销手段，可以更好的了解客户的消费习惯和行为特征，及时、准确地把握市场营销效果，给与用户更加高水平的服务。
3、大数据技术有助于增强风险控制能力。金融机构可以摈弃原来过度依靠客户提供财务报表获取信息的业务方式，转而对其资产价格、账务流水、相关业务活动等流动性数据进行动态和全程的监控分析，从而有效提升客户信息透明度。目前，通过基于大数据，整合客户的资产负债、交易支付、流动性状况、纳税和信用记录等，对客户行为进行全方位的评价，给相关行业特别是征信业的发展带来了巨大机遇，用户的征信活动相较之前更加的及时有效详细。

‘柒’ 大数据能为银行做什么

随着移动互联网、云计算、物联网和社交网络的广泛应用，人类社会已经迈入一个全新的“大数据”信息化时代。而银行信贷的未来，也离不开大数据。
国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，光大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款。从发展趋势来看，银行大数据应用总的可以分为四大方面：
第一方面：客户画像应用。
客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于自身拥有的数据有时难以得出理想的结果甚至可能得出错误的结论。
比如，如果某位信用卡客户月均刷卡8次，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。包括：
（1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库）。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理；
（2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可；
（3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况；
（4）其他有利于扩展银行对客户兴趣爱好的数据，如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。
第二方面：精准营销
在客户画像的基础上银行可以有效的开展精准营销，包括：
（1）实时营销。实时营销是根据客户的实时状态来进行营销，比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销（某客户采用信用卡采购孕妇用品，可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务）；或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；
（2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；
（3）个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；
（4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。
第三方面：风险管控
包括中小企业贷款风险评估和欺诈交易识别等手段。
（1）中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。
（2）实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪，摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯。
第四方面：运营优化。
（1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道推广的质量，从而进行合作渠道的调整和优化。同时，也可以分析哪些渠道更适合推广哪类银行产品或者服务，从而进行渠道推广策略的优化。
（2）产品和服务优化：银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析，通过对还款数据挖掘比较区分优质客户，根据客户还款数额的差别，提供差异化的金融产品和服务方式。
（3）舆情分析：银行可以通过爬虫技术，抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做的好的方面，以作为自身业务优化的借鉴。
银行是经营信用的企业，数据的力量尤为关键和重要。在“大数据”时代，以互联网为代表的现代信息科技，特别是门户网站、社区论坛、微博、微信等新型传播方式的蓬勃发展，移动支付、搜索引擎和云计算的广泛应用，构建起了全新的虚拟客户信息体系，并将改变现代金融运营模式。
大数据海量化、多样化、传输快速化和价值化等特征，将给商业银行市场竞争带来全新的挑战和机遇。数据时代，智者生存，未来的银行信贷，是从数据中赢得未来，是从风控中获得安稳。

‘捌’ 大数据核心技术有哪些

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

一、数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费（收集）数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。

NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学。

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业（极其容错的分布式并行计算）来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。

Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、事件处理时重新指派任务等）。supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出（或被kill掉），supervisor会尝试重新生成新的worker进程。

当使用上游模块的数据进行计算、统计、分析时，就可以使用消息系统，尤其是分布式消息系统。Kafka使用Scala进行编写，是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心，Kafka可以有许多的生产者和消费者分享多个主题，将消息以topic为单位进行归纳；Kafka发布消息的程序称为procer，也叫生产者，预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka以集群的方式运行时，可以由一个服务或者多个服务组成，每个服务叫做一个broker，运行过程中procer通过网络将消息发送到Kafka集群，集群向消费者提供消息。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作，如果需要将流式数据从Kafka转移到hadoop，可以使用Flume代理agent，将Kafka当做一个来源source，这样可以从Kafka读取数据到Hadoop。

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

二、数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。

Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显着减少磁盘上的存储。

三、数据清洗

MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Rece（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成（因为有些大作业可能会执行很久(几个小时甚至几天)）。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等；Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面（开发、运维）的投入，帮助用户专注于解决产品本身的流计算需求。

四、数据查询分析

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。

Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用；深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

五、数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可点击这里免费试用）等。

在上面的每一个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。

‘玖’ 大数据技术在金融行业中的典型应用

大数据技术在金融行业中的典型应用
近年来，我国金融科技快速发展，在多个领域已经走在世界前列。大数据、人工智能、云计算、移动互联网等技术与金融业务深度融合，大大推动了我国金融业转型升级，助力金融更好地服务实体经济，有效促进了金融业整体发展。在这一发展过程中，又以大数据技术发展最为成熟、应用最为广泛。从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。
大数据在金融行业的典型应用场景
大数据涉及的行业过于广泛，除金融外，还包括政治、教育、传媒、医学、商业、工农业、互联网等多个方面，各行业对大数据的定义目前尚未统一。大数据的特点可归纳为“4V”。第一，数据体量大（Volume），海量性也许是与大数据最相关的特征。第二，数据类型繁多（Variety），大数据既包括以事务为代表的传统结构化数据，还包括以网页为代表的半结构化数据和以视频、语音信息为代表的非结构化数据。第三，价值密度低（Value），大数据的体量巨大，但数据中的价值密度却很低。比如几个小时甚至几天的监控视频中，有价值的线索或许只有几秒钟。第四，处理速度快（Velocity），大数据要求快速处理，时效性强，要进行实时或准实时的处理。
金融行业一直较为重视大数据技术的发展。相比常规商业分析手段，大数据可以使业务决策具有前瞻性，让企业战略的制定过程更加理性化，实现生产资源优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。
当前，大数据在金融行业典型的应用场景有以下几个方面：
在银行业的应用主要表现在两个方面：一是信贷风险评估。以往银行对企业客户的违约风险评估多基于过往的信贷数据和交易数据等静态数据，内外部数据资源整合后的大数据可提供前瞻性预测。二是供应链金融。利用大数据技术，银行可以根据企业之间的投资、控股、借贷、担保及股东和法人之间的关系，形成企业之间的关系图谱，利于企业分析及风险控制。
在证券行业的应用主要表现为：一是股市行情预测。大数据可以有效拓宽证券企业量化投资数据维度，帮助企业更精准地了解市场行情，通过构建更多元的量化因子，投研模型会更加完善。二是股价预测。大数据技术通过收集并分析社交网络如微博、朋友圈、专业论坛等渠道上的结构化和非结构化数据，形成市场主观判断因素和投资者情绪打分，从而量化股价中人为因素的变化预期。三是智能投资顾问。智能投资顾问业务提供线上投资顾问服务，其基于客户的风险偏好、交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个性化财富管理方案。
在互联网金融行业的应用，一是精准营销。大数据通过用户多维度画像，对客户偏好进行分类筛选，从而达到精准营销的目的。二是消费信贷。基于大数据的自动评分模型、自动审批系统和催收系统可降低消费信贷业务违约风险。
金融大数据的典型案例分析
为实时接收电子渠道交易数据，整合银行内系统业务数据。中国交通银行通过规则欲实现快速建模、实时告警与在线智能监控报表等功能，以达到实时接收官网业务数据，整合客户信息、设备画像、位置信息、官网交易日志、浏览记录等数据的目的。
该系统通过为交通银行卡中心构建反作弊模型、实时计算、实时决策系统，帮助拥有海量历史数据，日均增长超过两千万条日志流水的银行卡中心，形成电子渠道实时反欺诈交易监控能力。利用分布式实时数据采集技术和实时决策引擎，帮助信用卡中心高效整合多系统业务数据，处理海量高并发线上行为数据，识别恶意用户和欺诈行为，并实时预警和处置；通过引入机器学习框架，对少量数据进行分析、挖掘构建并周期性更新反欺诈规则和反欺诈模型。
系统上线后，该银行迅速监控电子渠道产生的虚假账号、伪装账号、异常登录、频繁登录等新型风险和欺诈行为；系统稳定运行，日均处理逾两千万条日志流水、实时识别出近万笔风险行为并进行预警。数据接入、计算报警、案件调查的整体处理时间从数小时降低至秒级，监测时效提升近3000倍，上线3个月已帮助卡中心挽回数百万元的风险损失。
网络的搜索技术正在全面注入网络金融。网络金融使用的梯度增强决策树算法可以分析大数据高维特点，在知识分析、汇总、聚合、提炼等多个方面有其独到之处，其深度学习能力利用数据挖掘算法能够较好地解决大数据价值密度低等问题。网络“磐石”系统基于每日100亿次搜索行为，通过200多个维度为8.6亿账号精确画像，高效划分人群，能够为银行、互联网金融机构提供身份识别、反欺诈、信息检验、信用分级等服务。该系统累计为网络内部信贷业务拦截数十万欺诈用户，拦截数十亿不良资产、减少数百万人力成本，累计合作近500家社会金融机构，帮助其提升了整体风险防控水平。
金融大数据应用面临的挑战及对策
大数据技术为金融行业带来了裂变式的创新活力，其应用潜力有目共睹，但在数据应用管理、业务场景融合、标准统一、顶层设计等方面存在的瓶颈也有待突破。
一是数据资产管理水平仍待提高。主要体现在数据质量不高、获取方式单一、数据系统分散等方面。
二是应用技术和业务探索仍需突破。主要体现在金融机构原有的数据系统架构相对复杂，涉及的系统平台和供应商较多，实现大数据应用的技术改造难度很大。同时，金融行业的大数据分析应用模型仍处于起步阶段，成熟案例和解决方案仍相对较少，需要投入大量的时间和成本进行调研和试错。系统误判率相对较高。
三是行业标准和安全规范仍待完善。金融大数据缺乏统一的存储管理标准和互通共享平台，对个人隐私的保护上还未形成可信的安全机制。
四是顶层设计和扶持政策还需强化。体现在金融机构间的数据壁垒较为明显，各自为战问题突出，缺乏有效的整合协同。同时，行业应用缺乏整体性规划，分散、临时、应激等特点突出，信息价值开发仍有较大潜力。
以上问题，一方面需要国家出台促进金融大数据发展的产业规划和扶持政策，同时，也需要行业分阶段推动金融数据开放、共享和统一平台建设，强化行业标准和安全规范。只有这样，大数据技术才能在金融行业中稳步应用发展，不断推动金融行业的发展提升。

‘拾’ 哪些关键性的技术推动和促进了大数据金融的发展,就重要的一个当面进行描述

摘要 （1）大数据技术能够提升银行业服务质量