数据仓库与数据挖掘

一、引言
近年来，由于我行各项业务的迅速拓展，规模的扩大和客户的持续增加，加大了管理的难度。一方面，无法用量化的指标考核行员业绩，考核标准不统一，很大程度上挫伤了员工的积极性；另一方面，由于系统众多，数据分散，决策及管理部门无法及时准确地获取业务信息。因此，为了对行员（尤其是客户经理）绩效进行有效的监控和评价，强化内部竞争机制，更好地提高员工的积极性，我行决定建设一套科学化的业绩考核系统，同时建立一个集成的、逐步完善的决策分析平台，为以后其他分析管理提供基础，提升银行的科学经营管理水平。
二、数据仓库设计
１．主题需求
在银行日常经营管理中，管理人员迫切希望能够快速准确定位信贷业务等关键环节中所隐藏的问题和风险，了解客户行为和行员绩效，以便制订出科学有效的市场营销策略和激励机制，帮助企业在激烈的市场竞争中取得优势。为此，银行提出了客户交易、贷款和行员绩效三个分析主题。主题是数据仓库的灵魂，是纲；数据分析是目。纲举目张，三个主题都是决策人员提出分析的角度、方法和设想，然后希望数据仓库中的数据来验证结论。这是一种典型的验证性分析方法，它采用多维分析工具来实现。
２．数据仓库结构设计
源系统具有以账户为中心、系统众多、数据分散和平台多样的特点，为此，本文采用自顶向下的结构来构建数据仓库。该结构在建立数据仓库初期就从企业的整体上考虑数据仓库的需求，并建立一个能为企业所有部门决策提供数据支撑的企业数据仓库。数据源经过ＥＴＬ程序进入企业数据仓库。在企业数据仓库的基础上，各个部门可以根据其特殊需求从数据仓库中获取数据建立数据集市，直接为部门决策服务。
该系统结构的主要特点有：①具有鲜明的层次结构，能很好地支持数据仓库信息处理、ＯＬＡＰ、数据挖掘等应用。②由于数据仓库将分散的业务数据进行了整合，可以在数据仓库上进行全局性的信息处理，例如建立整个企业的管理类报表系统。③先建立数据仓库再建立数据集市，可以使数据仓库集中精力解决数据整合和清理等问题，而数据集市则致力于为特定的决策过程提供服务。数据仓库在数据源和直接面对决策支持过程的数据集市之间形成了一个缓冲，数据集市可以面向一个优良的数据仓库来建设，数据源的变化可以不直接影响到数据集市。④以数据仓库为中心，不仅为分析服务提供基础数据，而且满足了数据挖掘的需求。
３．数据模型设计
数据模型就是对现实世界进行抽象的工具，抽象的程度不同，也就形成了不同抽象级别层次上的数据模型。数据仓库数据模型一般是根据操作数据模型建立起来的，但数据仓库模型并不等同于操作数据模型，而要经过相当多的改动。数据模型的主要工作有：①除去纯粹用于操作环境的数据。操作数据模型是为业务处理过程服务的，其中有很多数据专门用来支持操作环境，这类数据不应该包含在数据仓库中。②给键码增加时间元素。数据仓库中的数据一般必须有时间属性，以记录数据的历史信息。③在合适的地方增加导出数据。对于常用的一些统计信息等导出数据，为了减少重复计算，经常需要保存导出数据。④对数据的结构进行调整。例如，适当增加或减少数据属性列、在合适的情况下进一步分离或合并数据表等。
４．系统开发
建立数据仓库模型之后，接下来最重要的任务就是将数据源中的数据经过抽取、净化、转换和装载等步骤，转移到数据仓库中。在数据仓库建立后的工作是建立分析、决策应用系统，在应用系统完成后即可投入使用。
在系统的运行过程中，随着数据源中的数据不断变化，需要通过数据刷新操作来维护数据仓库中数据的一致性。根据数据的不同特点，我行采用了“时标方法”和“重读方法”对数据仓库中的数据进行刷新。
三、ＯＬＡＰ应用
数据仓库为企业的所有决策支持应用提供了一个良好的数据基础，但是数据仓库重点解决的是数据整合和清理问题，并不直接面向ＯＬＡＰ分析。ＯＬＡＰ的基本数据模型是多维模型，在数据仓库基础上建立ＯＬＡＰ应用需要经过生成ＯＬＡＰ立方体、进行数据展示等几个步骤。它通过多维分析工具对以多维形式组织起来的数据采取切片、切块、旋转等各种分析动作，对信息的多个角度、多个侧面进行快速、一致和交互的存取，从而使分析人员能够对数据进行深入地分析与观察。
下面简单介绍三个分析模型的应用情况。
１．交易数据分析模型
交易数据分析模型根据银行活期存款账户的流水账，统计业务的笔数、发生额，从资金流动等多角度分析客户账户，监控客户账户的资金变动情况，及时找出并跟踪那些资金存取过于频繁或者有异常情况的账户，发现账户的活动规律，防范账户风险。
２．贷款分析模型
贷款分析模型可以进行贷款发放分析、贷款规模分析、贷款投向分析、资产的风险权重分析和资产的流动性分析。
３．绩效分析主题
绩效分析主题帮助银行实现了全面的绩效管理。通过全面了解机构经营情况、整体收益结构，银行能把握业务发展状况，掌握市场发展规律，针对不同产品所产生的模拟利润，形成区别模拟利润价格，通过价格杠杆引导全行业务沿着目标轨道发展。
四、结束语
我行正在进行新一代综合业务系统的推广工作，新系统上线以后，数据源将发生变化，数据抽取工作将重新布置。由于本文数据仓库采用了自顶向下的结构，将有效地屏蔽这些变化给前端用户分析工作带来的不利影响。
综合业务系统是以客户为中心的、本外币一体化经营的、账务集中的新一代银行业务系统，系统的实施使得原本因条件所限而不能进行的客户主题的分析、信用卡主题的分析能够有条件开展。
本文提出的分析主题只是银行管理分析领域中很小的一部分，更多的ＯＬＡＰ应用将随着业务需求的提出纳入开发计划，以便更全面地对企业实施决策支持。
限于数据的时间轴深度不够，本文没有深入研究数据挖掘技术在银行中的应用。其实数据挖掘技术在银行数据仓库应用中有着广阔的发展前景，例如客户信用等级的评定、消费行为分析、反洗钱等都是数据挖掘技术应用活跃的领域。
编辑：　作者：浦东发展银行南京分行侯波　来源：《中国金融电脑》

阅读全文(4256) | 回复(0) | 编辑 | 精华 | 删除

[金融行业]保险业信息化的两大趋势：数据挖掘＋CRM
文章收藏, 网上资源

薛峰发表于 2005/4/20 23:32:36

作为我国金融市场中成长最为迅速的行业，保险公司借助信息化手段提高竞争能力也成为关键之举。而在保险信息化过程中，完成了基本业务系统的建设集成后，对数据挖掘和CRM的需求，将会主导未来相当长时间内各个保险公司的工作战略。

　　刘红颖，辽宁省盘锦市财政局会计师，对保险信息化有较深入研究，发表学术文章近十篇。为中国客户关系管理研究中心特聘高级顾问。代表著作有《作业成本管理》、《领跑—城市经营卖点圣经》，其著作受到专业人士的广泛赞誉。目前研究领域：银行、保险、证券公司信息化实施案例研究。

　　2003年对于所有中国保险业从业人士，都将是刻骨铭心的一段时光：不仅实现了保险公司与资本市场的对接，完成人保和人寿两大“标杆企业”的成功上市，而且实现全国保费收入再创新高,达3880.4亿元，增速高达27.1%。21世纪的前3年，保险业的发展都令所有人侧目：2001年中国保险业保费收入突破2000亿元大关，2002年中国保险业保费收入达到3053.1亿元；预计2004年，中国保险业保费收入突破4000亿元大关，已成为一个指日可待的目标。

　　应用落伍是事实 <

(下面还有2193字)

阅读全文(3143) | 回复(0) | 编辑 | 精华 | 删除

[金融行业]构建银行数据仓库经验谈
文章收藏, 网上资源, 读书笔记

薛峰发表于 2005/4/20 23:27:48

数据仓库技术的实现方式
作为一项数据管理领域的新技术，数据仓库的精髓在于针对联机分析处理（OLAP）提出了一种综合的解决方案，但与以往很多技术不同的是，它主要是一种概念，在此概念指导下完成系统的构造。既没有可以直接购买到的现成产品，也没有具体的分析规范和实现方法，也就是说没有成熟、可靠且被广泛接受的数据仓库标准。在以往关系数据库的设计和实现中，不仅有详细的理论推导，还有无数的设计实例，无论你使用的是什么公司的数据库产品、开发工具，只要按照规范做，那么实现同一业务需求的方案都会很相似。而现有数据仓库的实现中，出现了MOLAP方案和ROLAP方案的区别，出现了形形色色的数据仓库建模工具、表现工具，而设计人员的个人经验和素质也会在其中扮演很重要的角色。
笔者认为目前在数据仓库技术的实际应用中应包括如下几种具体实现方式。

一、在关系数据库上建立数据仓库（ROLAP）

二、在多维数据库上建立数据仓库（MOLAP）

上述两种方案的区别在于存储技术，究竟是使用多维数据库还是传统的关系数据库。

MOLAP方案是以多维方

(下面还有80字)

阅读全文(3334) | 回复(0) | 编辑 | 精华 | 删除

[金融行业]CRM投资回报（ROI）分析
网上资源

薛峰发表于 2005/4/10 13:59:14

一旦掌握了相关的客户数据，如何使这些数据发挥出最大功效？Anthony Plewes从一个全新的角度对客户关系管理问题进行了诠释。

不久以前，大量与数据挖掘（data mining）和CRM分析相关的讨论，使一般商业经营者感到目不睱接、无可适从。人们普遍认为，数据挖掘运算法则和联机分析处理（OLAP）是属于统计学领域的工作。

然而，上述这种认识在目前已经发生了转变，CRM分析逐渐成为人们关注的重要问题。Gartner工作组甚至将客户服务分析视为2005年前发展最迅速的一项客户服务应用。此外，针对分析工作所需的工具也已经通过测试，一些业务经理已经开始掌握并采用这项新技术。NCR公司Teradata技术欧洲、中东和非洲地区（EMEA）高级分析主管Judy Bayer指出：“如今，CRM分析不再是学术领域专家们独享的技术成果，而被重新定义为‘为群众而塑造’新型技术”。

数据挖掘和分析方法允许公司能够从庞大的数据库中寻找出有价值的事件，特别是针对电信、金融服务和零售业的大量用户数据的收集，通过这些数据可以得出企业想要的信息，让企业认识并了解客户情况。

分析作用始终贯穿整个CRM价值链。Hewson Group的2003年CRM市场分析指出：Siebel作为CRM市场的龙头企业，去年年底收购了专业从事分析的CRM公司nQuire，这使该公司从两年前几乎一无所获发展到2003年度创利超过20，000万美元。

“我们欣喜的看到，实时分析功能受到大众的普遍欢迎，”Siebel公司负责欧洲市场的主管Neil Morgan说：“公司的第二线主打产品都直接嵌入了该项功能，并逐渐成为市场上最受欢迎的新产品。”

与此同时，许多关键的CRM和呼叫中心供应商不约而同地对他们的产品增强分析能力，投入市场销售环节的新产品都嵌入有分析和数据挖掘功能。

“CRM供应商之所以对分析法感兴趣，是因为这能使他们对项目进行更完善的控制，”提供CRM咨询服务的专业公司Hewson的常务董事Nick Siragher说：“具备更好的分析能力，能够使CRM供应商在市场竞争中处于更优势的地位。”

目前，CRM分析不仅仅由CRM供应商主动提供，其他一些提供CRM专业分析的供应商还包括Ephiphany和 Quadstone；SAP、Peoplesoft、Oracle等ERP供应商；以及NCR Teradata、SPSS等数据仓储和分析公司，也不甘落后的在各自产品中嵌入分析功能。

随着市场竞争的不断加剧，一些实力较弱的供应商很可能成为实力强大CRM供应商的获取目标。“我们公司在去年就期望通过兼并或收购行动使公司获得更强的竞争能力，”Hewson说：“因为这些小公司可能具备我们所需要的东西。”

虽然CRM分析法包括许多方面的工作，但它的主要功能则是允许公司能够对其客户进行有效划分。

“通过使用分析法，公司能够对用户价值进行更好的理解和预估，”Gartner Group研究室主任John Radcliffe说：“基于对不同客户的划分，公司能够根据不同的客户价值分配他们的资源。”

然而，大多数的分析都必须基于相关的历史数据，例如：发展客户的成本费用与客户价值的相关比值。“对一些公司来说，仅仅是数据收集这一项工作就意味着他们将面临巨大的挑战，”Radcliffe说：“很多公司甚至不能对客户盈利能力进行准确测量，更不用说使用数据挖掘技术对客户行为进行预估了。”

如果一家公司仅仅了解他们拥有哪些客户，他们的工作也只能是局限于进行客户分析；尤其值得重视的问题是，如果公司是通过零售渠道为客户提供产品和服务，他们应该如何有效进行客户数据的收集和分析呢？一些超市想出了解决这个问题的方法，他们利用“忠诚卡片”对客户购买能力和模式进行鉴定，从而获取到关键的客户价值信息。如果缺少类似的解决方法，超市仅能对一个市场或购买水平进行分析，这显然不利于他们的长期发展。

由于分析法是基于为组织提供一个洞察了解数据的目的，如果缺乏相关的源数据资料，分析功能几乎是毫无用处的技术。正如俗话所说的一样，任何一种智能算法的运用都必须避免出现GIGO“无用（错误）信息输入；无用（错误）信息输出”的现象。几年前，普华永道（PricewaterhouseCoopers）对遍布美国、英国、澳大利亚的公司进行的一次民意调查指出：75%的被调查者正是由于存在数据缺陷的问题，导致公司面临重大的损失和严峻的挑战；仅有1/3的被调查者对他们掌握的数据资料感到相当自信。Gartner工作组的Radcliffe说：“我们有足够的理由相信，许多公司将持续地重视和加强数据质量方面的问题。”

如果能够确保“纯净数据（Clean Data）”的实现，CRM分析法的优势作用无疑将是显著的。过去几年中，CRM的投资回报持续低靡一直是人们关注的焦点。从根本上来说，没有取得预期的投资回报的原因，主要是由于公司一度狂热的追求CRM软件的实施，而没有考虑到对商业利益的测量。现在，分析法就能够帮助公司从他们的CRM投资上取得投资回报，正如Nick Hewson所说的那样：“如果缺乏相关分析，正确的操作过程将很难有效制定和执行。”

“在确定基础设施是否符合要求的时候，计算和测量工作不可避免的会导致一系列成本费用的产生，”Gartner成员Radcliffe说。尽管分析CRM是一项艰苦的工作，并且需要耗费比实施CRM更长的时间才能取得收益和效果；然而，从长远来说我们应该看到，由于组织的各项业务运作能够持续得到优化，分析法潜在的投资回报势必也将得到持续增长。

目前，CRM分析法的主要趋势是应用工具越来越多的针对商业用户而设计。分析工具在后台集成数据挖掘功能，用户并不需要对它们的具体工作细节深入理解。业务经理现在能够直接控制这些分析，而不需要再将大量数据传送给专家进行分析。

“当对一项业务进行计划时，经理需要迅速从分析中得出结果，”Radcliffe说：“但是，需要注意的问题是批处理不允许这样操作。”此外，既然业务经理能够对分析进行控制，销售商能够在多次变动中不断优化其销售策略。

“分析法的另一个潜在好处是，它不需要进行特别筛选就能够聪明的对数据进行计算，”Teradata公司的Bayer指出：“这允许你能够更有创造性并且更迅速地做出分析，能够根据自己的需要拟定并测试脚本。这反映出一个趋势：人们开始更关注于数据而不是算法。”

同时，这个趋势还意味着“数据挖掘”一词更集中于技术和运算的运用，而不是业务。

由于分析法不适用于批处理环境，因此更多的组织能够利用分析后的数据有效减少人力资源的浪费。例如：通过对一个客户的评估分析，能够立即得到该客户资料的实时更新。“我们将分析方法的使用从批处理环境转移到实时控制中，”Epiphany公司负责市场方面的副总裁Michael Trigg说：“通过这个方法，可以利用分析数据引导公司更好的与客户进行沟通和合作。”

“商业智能市场已发展成熟并形成规模。”Trigg进一步强调指出：“大多数供应商提供的产品都将BI技术作为工具包的一个组成部分。这是由于组织在与客户进行交互作用时，存在对数据挖掘和分析的需求。”

Epiphany公司的软件产品提供一个实时的客户信息功能，并且能够根据不同公司的需求决定各自的扩展功能。这些功能包括收集客户性别、邮政编码、购买计分等信息。一旦获取到这些有用的信息数据，组织就能够通过计算对交互销售（cross-selling）和升级产品（up-selling）的时机进行适当预测和把握。

这些先进的功能不仅仅适用于呼叫中心的工作。NCR Teradata目前正在欧洲市场上推广一项新技术，他们的目标是将实时分析运用到银行ATM的显示屏上。他们解释说：“当你在ATM上取出存款时，银行系统将对你实时产生一条个人信息，例如提供一份销售供贷款。”类似这样的功能在法国一家连锁超市也得到了体现，基于对消费者购买行为的实时分析，消费者在这家超市购物后能够免费获得不同金额的代金券。

综上所述，对于商业用户来说，分析法之所以越来越成为CRM实施体系中的关键组成部份，其主要原因正是由于实时功能和分析工具的运用，能够帮助企业更好的了解客户，从而使企业能够在适当的时间提供符合市场需求的产品及服务。

阅读全文(2756) | 回复(0) | 编辑 | 精华 | 删除

« 1 ›

站点首页 | 联系我们 | 博客注册 | 博客登陆

Sponsored By W3CHINA
W3CHINA Blog 0.8 Processed in 0.047 second(s), page refreshed 144790984 times.
《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》
苏ICP备05006046号