·设为首页
·加入收藏
·在线支付
 | 网站首页 | 资讯 | CIO | 案例 | 培训 | 专家 | 咨询 | 商城 | 下载 | 论坛 | 博客 | 
您现在的位置: 中国商业智能网 >> CIO >> BI知识 >> 文章正文 用户登录 新用户注册
浅谈数据仓库和数据挖掘本质           ★★★ 【字体:
浅谈数据仓库和数据挖掘本质
作者:张清    文章来源:IT168    点击数:    更新时间:2007-10-25

数据仓库和数据挖掘是两个比较大的概念,在国外已经非常成熟,在国内随着前几年企业数据的累计、ERP的成熟,数据仓库和数据挖掘开始起步。

  如何建立数据仓库和数据挖掘是个不断值得探讨和优化的问题,不仅仅在技术上,在商业应用上也是如此。随着新的技术和观念的不断引入,传统的数据仓库技术方法有了很大的改变,基于数据仓库的应用也有了新的发展。每个企业的数据仓库根据企业特点不同,可以采用非常灵活的选型方法进行选型设计、实施。本文根据一些比较新的技术特点,谈谈数据仓库和数据挖掘的架构。

  从成熟的数据仓库架构入手来看,建立EDW(Enterprise Data Warehouse)是个比较好的选择。EDW是企业数据仓库,对整个企业数据有一个完整的不冗余的保留关键历史变化信息的唯一视图。基于EDW可以建立不同主题的数据集市Data Mart,数据集市不同的企业有不同的要求,基本上可以分用户主题,业务流主题,产品主题等等,在EDW的基础上可以有非常多的主题应用,如何建立EDW是个比较重要的问题。

  建立EDW的关键是要把握数据仓库的本质,提供关键历史变化信息,可以真实还原企业数据的关键历史视图。也就是现在提到比较多的DSS层,在DSS层之下有ODS层做当前数据视图,有缓冲层做增量数据视图,利用增量数据视图和DSS层数据视图结合起来,利用缓慢变化维或者代理键技术,从理论上就可以实现DSS层的任何数据历史变化。但是在实际实施DSS层时候,一个能提供高性能计算的数据库和选择一个切合业务发展的增量时间频率是两个关键点。

  缓慢变化维从具体实施过程的可以维护性出发,比较统一通用的方法可以采用增加快照开始时间和快照结束时间,结合业务系统的主键,就可以完成DSS层真实企业数据关键历史快照视图。在实施过程中关键要把握增量数据缓冲层中三种集合数据,纯粹新增的数据A,关键历史信息发生变化的数据B,关键历史信息没有发生变化的数据C。对集合A,B都需要增加快照记录,对集合C则采用更新快照记录。这个过程的重点是高性能计算和商业需求。

  在DSS层之上,根据EDW方案种数据库不同,可以采用建立数据集市。数据集市基本上可以采用星型模型建立,便于多维分析。

  成熟EDW是用来支持商业应用的,EDW之上的一个比较重要的应用是数据挖掘,从EDW海量数据中寻找有用的信息,支持企业的发展。这里不具体到数据挖掘厂商,从一般性的概念上理解更加重要,数据挖掘需要EDW能够基于DSS层的企业数据关键历史视图,重新组合成商业上决策因素集合。结合数据挖掘的一些成熟的算法,把EDW里面的海量数据处理成为信息决策源。在实施数据挖掘过程中,需要注意的是一定要根据企业本身的业务来制定模型,任何脱离企业业务的理论模型在具体实施过程中失败的可能性很大。

  谈完了数据仓库和数据挖掘的本质,那么目前可以值得选择的一些厂商和技术是什么呢?

  随着商业智能,数据仓库的成熟,进入这个领域的厂商越来越多,评测也是各有千秋。在EDW方面,根据数据仓库的容量,计算复杂度,实时性要求,在低端可以考虑微软的SQL Sserver ,目前SQL Sserver 2005在商业智能上有显著增强。在中端可以考虑Oracle 的DW 解决方案,Sybase IQ在数据量不是非常大的时候性能还是不错的。如果要做超大型的DW,那么需要考虑一些高端专业的DW解决方案,目前TERADATA和IBM的Share Nothing架构的高端数据仓库在海量数据处理,复杂商业计算,实时数据处理方面扩展性比较好,但是投入非常大。

  数据仓库和数据挖掘,从几年前比较抽象的层次逐渐清晰起来,在企业决策和业务流程优化中发挥的作用越来越大,一个好的数据仓库和数据挖掘方案是一个开始,更重要的是推动商业思想上从传统的拍脑袋到精细化营销和依靠数据做决策方面来。商业和技术是两个互相推进的因素,商业是驱动,但是好的技术也可以推动商业的发展,适合的技术用在需要的商业驱动上才能发挥好作用。

文章录入:admin    责任编辑:admin 
  • 上一篇文章:

  • 下一篇文章:
  • 发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
    ChinaBI版权、投稿与免责申明:
    1)凡本网署名文字、图片和音视频稿件,版权均属中国商业智能网所有。任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网协议授权的媒体、网站,在下载使用时必须注明稿件来源:中国商业智能网,违者本网将依法追究责任。
    2)本网注明“采编自”的文章均为转载稿,本网转载出于传递更多信息之目的。如本网转载稿涉及版权等问题,请作者速来电或来函与本网联系。
    最新热点 最新推荐 相关文章
    警惕商业智能出现最差实践
    三大模型架起数据仓库大厦
    中国反洗钱监测存储设备
    贵阳市信息管理系统软件招标
    中国进出口银行业务系统
    轻松掌握开发数据仓库
    一个释放企业能量的武器
    数据仓库及其体系结构建设
    商业智能应用为何鲜有作为?
    宁波银行综合业务前置系统
      网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)