新大陆数码

新大陆数码

集建设及数据管理方法

返回>来源:未知   发布时间:2019-07-19 21:39    关注度:

  集扶植及数据办理方式_财政办理_经管营销_专业材料。集扶植及数据办理方式

  集市扶植及数据办理方式 (初稿) 目次 ◇ 数据集市 数据集市 数据集市: –数据仓库的子集 –颠末ETL流程的必然粒度汇总数据 –面向部分级营业 –针对特定主题的数据集 –星型模式(不遵照3NF布局) –缓解仓库拜候瓶颈 实现体例: – 独立型(Ralph Kimball) ? ? ? ? ? ? ? ? 仓库是集市的结合 数据来历于营业系统 起首满够数据展现的需求 必需同一的数据仓库扶植思惟协调 集市是仓库的子集 数据来历于仓库 供给更强的数据分歧性和矫捷性 持久规划 火龙果 ? 拾掇– 隶属型(Bill Inmon) 实现目标 – 归并分歧系统数据源 – 非及时更新数据的拜候 – 消息发布面向特定用户群体 – 合理的查询响应时间 – 快速分歧的视图拜候 火龙果 ? 拾掇 – 独立型 火龙果 ? 拾掇 uml.org.cn – 隶属型 火龙果 ? 拾掇 uml.org.cn 实现步调: – 定义贸易方针 – 理解数据源 – 确定汇总粒度 – 定义数据模子 火龙果 ? 拾掇 uml.org.cn 实现准绳: – 同一建立 – 总体指点 – 不变性 – 可顺应性 – 可扩展性 火龙果 ? 拾掇 uml.org.cn 数据分层架构 集市 集市 集市 主题分类 ... 数据仓库 元数据 数据 使用数 据层 根本数据层 现实、维 过渡区 营业数据 营业数据 营业数据 外部数据 火龙果 ? 拾掇 uml.org.cn 针对性营销数据集市 基于EDW/ODS ,通过对EDW/ODS 中的数据进行必然粒度的汇总,满足 针对性营销IT支持需求的数据调集 包罗营销阐发数据和营销事务数据 火龙果 ? 拾掇 uml.org.cn 营销阐发数据 – 数据挖掘宽表 – 自助取数汇总表 – 外部数据宽表 火龙果 ? 拾掇 uml.org.cn – 数据挖掘宽表 ? 旨在为数据挖掘模子的成立和阐发供给根本支持, 并为之供给无效的数据调集,提拔系统效率。 ? 包含客户属性类数据、客户具有类数据、客户行为 类数据、客户价值类数据和客户交互类数据。 – 自助取数汇总表 ? 自助取数汇总表次要包含按照客户、用户等维度进 行数据的初级汇总和整合,实现自助取数系统对客 户、产物等相关消息数据提取 火龙果 ? 拾掇 uml.org.cn – 外部数据宽表(外部调研数据) ? 在成功获取了外部数据后,可建立合适的数据集市 ,纳入系统的外部数据可包罗:合作敌手消息、客 户偏好消息、客户对劲度消息等 ? 外部数据涵盖的范畴很是普遍,将所有的外部数据 都加载到针对性营销的数据集市中具有较浩劫度。 火龙果 ? 拾掇 uml.org.cn 营销事务数据 ? 营销事务数据用以支持营销勾当的制定与开展 – 套餐材料库 – 营销材料库 – 营销资本库 火龙果 ? 拾掇 uml.org.cn – 套餐材料库 ? 套餐材料库存储已有的套餐材料,为套餐梳理和套 餐方案设想环节供给数据支持。 – 套餐的布局包罗根基套餐和可选套餐两部门。根基套餐是 套餐的主体部门,它包含了套餐的焦点产物及次要优惠规 则,能够独立具有;可选套餐是由客户自行选择的叠加套 餐,一般不零丁供给,需以采办根基套餐为前提。 火龙果 ? 拾掇 uml.org.cn – 营销材料库 – 营销材料库包含了整个营销勾当的筹谋、阐发、评估环节 所涉及到的除了套餐以外的内容: ? ? ? ? ? 市场调研所需的问卷题库 营销脚本 宣传方案 促销方案 营销勾当案例 火龙果 ? 拾掇 uml.org.cn – 营销资本库 – 营销资本库包含了电信公司所具有的渠道、发卖品、外呼核心等 资本的,供营销筹谋人员在筹谋时能够查询当前营销勾当能够利 用的营销资本;用于对营销勾当所需资本的可操纵性进行查抄 ? ? ? ? ? ? ? 人力资本 财政预算 告白资本 渠道资本 合作伙伴 促销品资本(包罗赠送品、搭售品等) 其他支持系统功能(如计费系统) 火龙果 ? 拾掇 uml.org.cn 目次 ◇ 数据集市 ◇数据办理 ? 数据整合 ? 数据质量 ? 元数据办理 数据整合 整合预备: – 源/方针模子 – 数据预处置 整合过程: – 数据抽取 – 数据转换 – 数据加载 火龙果 ? 拾掇 uml.org.cn 整合法则: – 数据编码同一 – 包管数据质量 – 支撑非常节制 – 流程可维护 – 非常处置 – 流程办理 火龙果 ? 拾掇 uml.org.cn 火龙果 ? 拾掇 uml.org.cn 输出: – 法则阐发 ? 包罗:候选数据源确定、源与方针的映照关系、估 计行数等 – 施行阐发 ? 包罗:施行时间、施行体例、施行挨次、施行频度 等 – 非常演讲 ? 包罗:非常位置、非常缘由、处置体例等 – 版本节制 火龙果 ? 拾掇 uml.org.cn 数据整合总体流程 总体处置流程 火龙果 ? 拾掇 uml.org.cn 目次 ◇ 数据集市 ◇数据办理 ? 数据整合 ? 数据质量 ? 元数据办理 数据质量处理方式 消息问题域 流程问题域 数据质量问题 手艺问题域 办理问题域 火龙果 ? 拾掇 uml.org.cn 消息问题域 消息问题 完整性 独一性 分歧性 数据采集点 合法性 精确性 同一数据办理 营业元数据 企业模子 元数据管控 手艺元数据 同一企业数据模子 数据质量问题 手艺问题域 数据质量问题 数据获取 数据查抄 数据校验 数据迟延 及时性 文件传输体例 漏传 传输手艺 收集传输过程不靠得住 数据传送 数据利用 展现体例 展现东西 展现周期 数据清洗算法 数据转换算法 数据加载算法 数据加载 数据维护 报酬调整数据 维护验证机制 数据存储能力 数据备份、恢复 手艺问题 火龙果 ? 拾掇 uml.org.cn 流程问题域 流程问题 查抄数据完美 数据评估 考核数据完美 数据评估 数据查抄流程 数据考核流程 数据考核 数据查抄 查抄法则设定 考核法则设置 数据测试流程 变动维护流程 数据转换 数据加载 数据维护流程 错误数据维护流程 报酬调整数据流程 数据获取流程 数据清洗 数据获取 数据质量问题 火龙果 ? 拾掇 uml.org.cn 办理问题域 数据质量问题 职责 义务人 岗亭设置 办理轨制 方针 工作优先级 反馈渠道 反馈机制 办理组织架构 培训内容 培训时间 培训资金 办理组织架构 激励 奖惩轨制 奖惩轨制的施行 培训打算 培训轨制 培训 办理问题 火龙果 ? 拾掇 uml.org.cn 火龙果 ? 拾掇 uml.org.cn 数据质量办理流程 数据质量问题发觉 数据质量问题阐发 问题处理和验证 数据质量评估阐发 数据质量 办理人员 阐发问题 问题展示 问题工单 生成派单 问题验证 数据质量 阐发评估 数据质量 查核 数据质量 查抄人员 数据质量 查抄 问题汇总 数据质量 考核 派单 判断 问题 处理 N ODS系统 维护人员 ETL处置 过程 源系统数 据人员 ODS系统 问题工单 工单处置 ODS系统 评估演讲 源系统 问题工单 源系统 评估演讲 火龙果 ? 拾掇 uml.org.cn 数据质量办理平台 办理功能 数据质量 查抄考核 数据质量使命派发 数据属性查抄 数据属性关系查抄 数据表关系查抄 非常处置 数据质量评估 数据对比考核 数据对比展示 数据质量组织办理 数据质量脚色办理 数据质量权限办理 数据质量 评估监控 数据质量阐发 数据质量非常跟踪 数据质量批改跟踪 算法设置装备摆设 流程设置装备摆设 接口定义 数据质量告警 数据质量监控 法则设置装备摆设 数据质量工单办理 数据处置环境查核 数据质量 根本办理 同一目标定义 非常流程跟踪 源系统1 源系统2 ETL/EAI 企业数据平台 火龙果 ? 拾掇 uml.org.cn 数据质量办理总体流程 总体处置流程: 目次 ◇ 数据集市 ◇数据办理 ? 数据整合 ? 数据质量 ? 元数据办理 元数据办理 元数据定义 – 元数据最素质,最笼统的定义为:data about data (关于数据的数据) – 在数据仓库范畴中,元数据被定义为:描述数 据及其情况的数据 元数据存储 – 手艺元数据:为企业手艺用户和IT人员供给支 持的元数据 – 营业元数据:为企业营业用户供给支撑的元数 据 元数据办理 火龙果 ? 拾掇 uml.org.cn 元数据办理手艺——公共仓库元模子CWM CWM – 公共仓库元模子(Common Warehouse Metamodel)是OMG国际尺度化组织 提出的,次要目标是在异构情况下,使分歧数据仓库东西、平台和元数据 学问库进行元数据互换。 火龙果 ? 拾掇 uml.org.cn 元数据办理-支撑五类系统办理功能 – 描述哪些数据在数据仓库中; – 定义要进入数据仓库中的数据和从数据仓库中 发生的数据; – 记实按照营业事务发生而随之进行的数据抽取 工作时间放置; – 记实并检测系统数据分歧性的要乞降施行环境; – 权衡数据质量。 火龙果 ? 拾掇 uml.org.cn 数据仓库元数据办理 数据仓库涉及的元数据办理包罗: – – – – – – – 数据源元数据 ETL法则元数据 数据仓库元数据 报表元数据 接口文件格局元数据 贸易元数据 其他元数据 各类元数据办理法子: – ? 数据源元数据 数据源元数据次要是数据库模子设想文档、为综 合统计阐发平台供给数据的各类营业系统的数据 字典及数据接口文件等。 数据源元数据的办理:由相关人员对各类文档进 行同一版本的办理。 ? 火龙果 ? 拾掇 uml.org.cn 各类元数据办理法子: – ETL法则元数据 ? ETL法则元数据中涉及到数据源元数据、方针系统 元数据、ETL流程、源与方针的映照关系等元数据 消息。 ? 数据源元数据包罗营业系统元数据和数据仓库元数 据等;方针系统元数据可能是数据仓库元数据、数 据集市元数据等。 ? ETL法则元数据的办理:由数据库开辟人员按照各 个模块的ETL过程以及过程运转的挨次,构成相关 元数据办理文档进行同一办理。 火龙果 ? 拾掇 uml.org.cn 各类元数据办理法子: – 数据仓库元数据 ? 数据仓库采用RDBMS进行数据的存储和办理,设想 模式遵照数据仓库的设想原则,实现主题、维、度 量等多维概念模子,这些元素在RDBMS中物理上是 具体的数据表,这些表与具体多维模子的映照关系 需要通过元数据进行描述和定义。 ? 数据仓库元数据的办理:制定命据仓库模子设想文 档记实现实表、维度、属性、条理等消息,物理表 与多维模子的映照关系等消息 ,对文档进行同一版 本的办理。 火龙果 ? 拾掇 uml.org.cn 各类元数据办理法子: – 报表元数据 ? 包罗对报表和报表中具体目标(怀抱)的描述消息 等 ? 报表元数据的办理:对数据集上能够计较的怀抱进 行相关元数据的办理,包罗细致设想文档中对各个 表中怀抱的定义、描述等;对所有表和怀抱之间的 关系进行严酷的文档记实,包罗怀抱的计较、怀抱 之间的彼此依赖关系、以及汗青消息进行元数据管 理 火龙果 ? 拾掇 uml.org.cn 各类元数据办理法子: – 接口文件格局元数据 ? 接口数据文件格局,包罗接口数据文件的定名、传 输周期、格局等申明消息。 ? 接口文件格局元数据:与ETL法则元数据进行同一 办理。 火龙果 ? 拾掇 uml.org.cn 各类元数据办理法子: – 贸易元数据 ? 系统中对各项目标的营业寄义的描述性消息,在综 合统计阐发平台中,包罗维、怀抱的营业寄义描述 ,主题的阐发方针描述,报表目标的注释消息等。 ? 贸易元数据的办理能够分化成数据仓库元数据的管 理和报表元数据的办理。 火龙果 ? 拾掇 uml.org.cn 各类元数据办理法子: – 其他元数据 ? 数据拜候日记、数据装载日记等消息。数据拜候日 志记实数据库的拜候消息,包罗对数据库表的操作 、锁、内存利用、I/O利用等消息;数据装载消息记 录每个ETL过程的抽取时间、操作人员、起始和截 止时间、抽取涉及到的表、操作行数等相关消息 ? 其他元数据的办理:将元数据消息记实到日记,形 成元数据文件进行同一办理 火龙果 ? 拾掇 uml.org.cn 智能营销数据办理 火龙果 ? 拾掇 uml.org.cn 智能营销元数据办理 火龙果 ? 拾掇 uml.org.cn ????? 感谢! 火龙果 ? 拾掇 uml.org.cn

  文档贡献者

  基于大数据集群架构的数...

  数据集市扶植数据质量及...

  数据集市扶植、数据质量...

  大数据时代病院分析消息...

  基于安排数据网和安排集...

  电力企业消息办理系统建...

  消息办理与消息系统概论...

  高校消息办理与消息系统...

  四川省扶植工程造价消息...

  70 电力企业消息办理系统...

  电力企业消息办理系统建...

  电力消息办理系统

  电力企业办理消息系统的...

  电力行业消息平安办理系...

  消息办理与消息系统概论...

http://theespress.com/xdlsm/405/
上一篇:国务院办公厅关于印发科学数据管理办法的通知 下一篇:【CXO进化营】数据资产管理的概念与方法详解

报名参赛