大数据之路阿里巴巴大数据实践

阿里官方网首次公布互联网大数据系统架构图与关键技术，CSDN，ChinaUnix，ITPUB，segmentfault等好几家技术社区推荐！关键剖析阿里近些年的大数据挖掘，剖析，运用的探寻历经。这书合适全部搞数据信息科学研究，数据统计分析的自己或公司学习培训参照。这本书对大家有蛮高规定的。许多全是浅尝即止，或是便是提一些大家都明白的定义。我善良的想，阿里巴巴可能是为了更好地技术性信息保密吧。可是总体来说，这不能说不值得这一价格，不一样“实践活动”两字！

互联网大数据之途阿里互联网大数据实践活动文件目录

第1章 概要 1

第1篇 数据信息技术性篇

第2章 日志收集 8

2.1 电脑浏览器的网页页面日志收集 82.1.1 网页页面访问日志收集步骤 92.1.2 网页页面互动日志收集 142.1.3 网页页面日志的服务端清理和预备处理 152.2 无线网络手机客户端的日志收集 162.2.1 网页页面事情 172.2.2 控制点一下以及他事情 182.2.3 独特情景 192.2.4 H5 ＆ Native日志统一 202.2.5 机器设备标志 222.2.6 日志传送 232.3 日志收集的挑戰 242.3.1 典型性情景 242.3.2 大促确保 26

第3章 数据库同步 293.1 数据库同步基本 293.1.1 传送数据同歩 303.1.2 数据信息数据同步 303.1.3 数据库查询日志分析同歩 313.2 阿里巴巴数据库管理的同歩方法 353.2.1 大批量数据库同步 353.2.2 实时数据同歩 373.3 数据库同步碰到的难题与解决方法 393.3.1 分库分表的解决 393.3.2 高效率同歩和大批量同歩 413.3.3 增加量与全量同歩的合拼 423.3.4 同歩特性的解决 433.3.5 数据信息飘移的解决 45

第4章 线下数据开发 484.1 数据信息软件开发平台 484.1.1 统一测算服务平台 494.1.2 统一软件开发平台 534.2 线程同步系统软件 584.2.1 环境 584.2.2 详细介绍 594.2.3 特性及运用 65

第5章 即时技术性 685.1 介绍 695.2 流式的技术架构 715.2.1 数据收集 725.2.2 数据处理方法 745.2.3 数据储存 785.2.4 网络服务 805.3 流式的数据库系统 805.3.1 数据信息分层次 805.3.2 多流关系 835.3.3 维表应用 845.4 大促挑戰＆确保 865.4.1 大促特点 865.4.2 大促确保 88

第6章 网络服务 916.1 服务项目构架演变 916.1.1 DWSOA 926.1.2 OpenAPI 936.1.3 SmartDQ 946.1.4 统一的网络服务层 966.2 技术架构 976.2.1 SmartDQ 976.2.2 iPush 1006.2.3 Lego 1016.2.4 uTIMing 1026.3 最佳实践 1036.3.1 特性 1036.3.2 可靠性 111

第7章 大数据挖掘 1167.1 大数据挖掘简述 1167.2 大数据挖掘优化算法服务平台 1177.3 大数据挖掘网易大数据管理体系 1197.3.1 发掘数据中台 1207.3.2 发掘优化算法网易大数据 1227.4 大数据挖掘实例 1237.4.1 客户画像 1237.4.2 互联网技术反挂 125

第2篇 数据库系统篇

第8章 互联网大数据领域建模具体描述 130

8.1 为何必须大数据挖掘 1308.2 关联数据库管理和数据库管理 1318.3 从OLTP和OLAP系统的差别看实体模型科学方法论的挑选 1328.4 典型性的数据库管理模型科学方法论 1328.4.1 ER实体模型 1328.4.2 维度实体模型 1338.4.3 Data Vault实体模型 1348.4.4 Anchor实体模型 1358.5 阿里数据库系统实践活动具体描述 136

第9章 阿里数据信息融合及体系管理 1389.1 简述 1389.1.1 精准定位及使用价值 1399.1.2 管理体系构架 1399.2 标准界定 1409.2.1 专用名词 1419.2.2 评价指标体系 1419.3 设计模型 1489.3.1 具体指导基础理论 1489.3.2 实体模型层级 1489.3.3 基本准则 1509.4 实体模型执行 1529.4.1 业内常见的实体模型执行全过程 1529.4.2 OneData执行全过程 154

第10章 维度设计方案 15910.1 维度设计理论 15910.1.1 维度的基本要素 15910.1.2 维度的基本上设计方法 16010.1.3 维度的结构分析 16210.1.4 规范性和反规范性 16310.1.5 一致性维度和交叉式探察 16510.2 维度设计方案高級主题风格 16610.2.1 维度融合 16610.2.2 水准分拆 16910.2.3 竖直分拆 17010.2.4 历史时间存档 17110.3 维度转变 17210.3.1 迟缓转变维 17210.3.2 快照更新维表 17410.3.3 極限储存 17510.3.4 小型维度 17810.4 独特维度 18010.4.1 递归算法层级 18010.4.2 个人行为维度 18410.4.3 多值维度 18510.4.4 多值特性 18710.4.5 杂类维度 188

第11章 事实表设计方案 19011.1 事实表基本 19011.1.1 事实表特点 19011.1.2 事实表设计原理 19111.1.3 事实表设计方法 19311.2 事务管理事实表 19611.2.1 设计过程 19611.2.2 单事务管理事实表 20011.2.3 多事务管理事实表 20211.2.4 二种事实表比照 20611.2.5 父子俩事实的处理方法 20811.2.6 事实的设计方案规则 20911.3 周期时间快照更新事实表 21011.3.1 特点 21111.3.2 案例 21211.3.3 常见问题 21711.4 积累快照更新事实表 21811.4.1 设计过程 21811.4.2 特性 22111.4.3 独特解决 22311.4.4 物理学完成 22511.5 三种事实表的较为 22711.6 无事实的事实表 22811.7 集聚型事实表 22811.7.1 集聚的基本准则 22911.7.2 集聚的基本上流程 22911.7.3 阿里巴巴公共性归纳层 23011.7.4 集聚补充说明 234

第3篇 数据库管理篇

第12章 元数据 23612.1 元数据简述 23612.1.1 元数据界定 23612.1.2 元数据使用价值 23712.1.3 统一元数据服务体系 23812.2 元数据运用 23912.2.1 Data Profile 23912.2.2 元数据门户网 24112.2.3 运用链接剖析 24112.2.4 大数据挖掘 24212.2.5 推动ETL开发设计 243

第13章 测算管理方法 24513.1 优化系统 24513.1.1 HBO 24613.1.2 CBO 24913.2 每日任务提升 25613.2.1 Map歪斜 25713.2.2 Join歪斜 26113.2.3 Reduce歪斜 269第14章 储存和成本控制 27514.1 数据编码 27514.2 数据信息重遍布 27614.3 储存整治项提升 27714.4 生命期管理方法 27814.4.1 生命期管理模式 27814.4.2 通用性的生命期管理方法引流矩阵 28014.5 数据信息成本费计量检定 28314.6 数据信息应用收费 284

第15章 网站安全性 28515.1 网站安全性确保标准 28515.2 网站安全性方式简述 28715.2.1 消費情景了解 28915.2.2 数据整理全过程守点校检 29215.2.3 风险防控措施监管 29515.2.4 品质考量 299

第4篇 数据信息运用篇

第16章 数据信息运用 30416.1 淘宝生意参谋 30516.1.1 环境简述 30516.1.2 作用构架与系统工作能力 30716.1.3 店家运用实践活动 31016.2 对里数据产品服务平台 31316.2.1 精准定位 31316.2.2 商品基本建设过程 31416.2.3 总体构架详细介绍 317附则A 这书插画图片数据库索引 320