大数据背后的核心技术 本书特色

本书分为三大部分，分别为大数据基础理论分析、基于海量语意规则的大数据流处理技术及大数据应用。 *部分介绍大数据领域的主要基础理论，包括大数据基本概念、可编程数据中心、云文件系统、云数据库系统、大数据并行编程与分析模型、大数据智能计算算法、基于大数据的数据仓库技术、大数据安全与隐私保护，以及基于大数据的语意软件工程方法等。 第二部分介绍基于海量语意规则的大数据流处理技术，包括基于规则的大数据流处理介绍、语意规则描述模型、海量语意规则网及优化、海量语意规则处理算法及海量语意规则并行处理等。 第三部分主要介绍大数据的一些典型应用，包括：文化大数据、医疗健康大数据、互联网金融大数据、教育大数据、电子商务大数据、互联网大数据、能源大数据、交通大数据、宏观经济大数据、进出口食品安全监管大数据、基于大数据的语意计算及典型应用（含语意搜索引擎、语意金融、语意旅游规划、基于海量语意规则的语意电子商务）。*后探讨了大数据未来的研究方向。

大数据背后的核心技术 内容简介

大数据作为一门崭新的学科，尚未形成完整的理论体系，仍存在许多关键问题尚待解决。 本书由业内实力派作者编著，与您一同探寻大数据背后的基础理论与核心技术，并在剖析教育、医疗、金融、交通等典型应用的基础上讨论未来趋势。

大数据背后的核心技术 目录

目录
**部分大数据基础理论分析（1）
第1章大数据基本概念（2）
1.1大数据定义（2）
1.2大数据度量（3）
1.2.1大数据能耗度量（3）
1.2.2大数据计算能力度量（4）
1.2.3大数据的数据中心服务能力度量（4）
1.2.4大数据商业与社会价值度量（4）
1.2.5大数据冷热度度量（5）
1.3语意计算的发展过程（5）
1.3.1语义计算（Semantic Computing）（5）
1.3.2语意计算（SemanticComputing）（5）
1.3.3语意计算（Semantic Computing）（6）
1.3.4语意计算和大数据（7）
1.4大数据的语意理解（8）
1.4.1大数据资源语意存储（9）
1.4.2大数据资源语意信息获取（9）
1.4.3语意资源管理（9）
1.4.4大数据语意处理（10）
1.4.5大数据语意服务（语意分析/语意合成等）（10）
1.4.6大数据语意安全与隐私（10）
1.4.7语意接口（10）
1.4.8基于语意的大数据应用（10）
1.5大数据和云计算（11）
1.5.1云计算（11）
1.5.2大数据和云计算的关系（11）
本章小结（12）
第2章可编程数据中心（13）
2.1可编程数据中心体系架构（13）
2.2数据分配管理（14）
2.2.1数据分配管理原理（14）
2.2.2数据分配管理案例（17）
2.3异构数据节点分配管理（19）
2.3.1异构数据节点分配管理方法（20）
2.3.2异构数据节点服务能力计算方法（22）
2.4规则管理（23）
2.4.1规则（23）
2.4.2语意规则（24）
2.4.3海量语意规则管理架构（24）
2.5数据放置策略（25）
2.5.1谷歌的数据放置策略（25）
2.5.2Hadoop的数据放置策略（26）
2.5.3其他常用的数据放置策略（26）
2.5.4语意数据放置策略（26）
2.6可编程数据中心机房架构（30）
本章小结（30）
第3章云文件系统（32）
3.1常用云文件系统综述（32）
3.2语意云文件系统SCFS（34）
3.2.1SCFS系统架构（34）
3.2.2SCFS大小文件处理机制（36）
3.2.3数据一致性保障（40）
3.2.4元数据集群管理技术（40）
3.2.5副本管理策略（负载均衡机制）（41）
本章小结（44）
第4章云数据库系统（45）
4.1常用云数据库系统综述（45）
4.2语意云数据库系统SCloudDB（47）
4.2.1SCloudDB系统架构（47）
4.2.2SCloudDB设计思路（48）
4.2.3SCloudDB的SRegion定位机制（50）
4.2.4多维及海量随机查询机制（51）
4.2.5支持多维及海量随机查询的语意搜索机制（52）
4.2.6大表划分方法（54）
4.2.7基于列族存储及语意的大表划分机制（56）
4.2.8分布式同步关键技术（57）
本章小结（59）
第5章大数据并行编程与分析模型（60）
5.1大数据并行编程与分析模型综述（60）
5.2大数据并行编程与分析模型SemanMR（63）
5.2.1SemanMR体系架构（63）
5.2.2SemanMR技术思路（64）
5.3SemanMR关键技术（66）
5.3.1基于语意的调度器关键技术（66）
5.3.2SemanMR的作业/任务状态交互新规则（68）
5.3.3语意映射器关键技术（69）
5.3.4基于语意的作业调度器关键技术（70）
5.3.5基于语意的任务调度器关键技术（73）
5.3.6任务跟踪器关键技术（76）
5.4SemanMR计算部分框架（78）
5.5SemanMR原理分析（82）
5.5.1SemanMR原理实现分析（82）
5.5.2SemanMR实现原理特点分析（84）
5.6基于SemanMR的大数据实时处理与分析实现技术（88）
5.6.1SemanMR实时架构（88）
5.6.2SemanMR的MapReduce网络优化技术（89）
本章小结（94）
第6章大数据智能计算算法（95）
6.1大数据智能计算算法架构（95）
6.2数据采集算法（95）
6.2.1管理信息系统数据采集（96）
6.2.2网络信息数据采集（96）
6.2.3物理信息数据采集（96）
6.3数据预处理算法（97）
6.4数据挖掘算法（99）
6.4.1分类算法（99）
6.4.2聚类算法（100）
6.4.3关联挖掘算法（101）
6.4.4推荐算法（101）
6.5复杂智能算法（103）
6.5.1大数据溯源算法（103）
6.5.2大数据的相关推荐算法（105）
6.5.3基于大数据的决策管理算法（105）
6.5.4基于模型的推理及预测算法（106）
6.5.5基于数据的推理及预测算法（107）
6.5.6基于规则的推理及预测算法（109）
6.5.7混合推理及预测算法（109）
本章小结（109）
第7章基于大数据的数据仓库技术（110）
7.1Facebook中Hive采用的技术思路与存在问题分析（110）

7.1.1Hive采用的技术思路分析（110）
7.1.2Hive存在的问题分析（111）
7.2Yahoo!中Pig采用的技术思路与存在问题分析（111）
7.2.1Pig采用的技术思路分析（111）
7.2.2Pig存在的问题分析（112）
7.3未来数据仓库架构需求分析（113）
7.4一种基于大数据的数据仓库SemanDW（114）
本章小结（114）
第8章大数据安全与隐私保护（115）
8.1大数据安全模型BigData-PKI（115）
8.1.1大数据安全体系结构（115）
8.1.2大数据安全模型BigData-PKI（116）
8.2大数据安全协议BigData-Protocol（118）
8.3大数据隐私（120）
8.4大数据的隐私提取方法（121）
8.4.1大数据的直接隐私提取方法（121）
8.4.2大数据的间接隐私提取方法（121）
8.5大数据隐私保护模型BigData-Privacy（122）
8.6大数据共享信息与隐私信息融合技术（122）
8.6.1大数据的共享信息与隐私信息融合机制（123）
8.6.2大数据的共享信息与隐私信息融合算法（123）
8.6.3大数据的共享信息与隐私信息融合质量评价模型（123）
8.7云环境下医疗大数据安全和隐私保护示范（125）
8.7.1云环境下大数据安全和隐私保护架构（125）
8.7.2数据分割及安全机制（127）
8.7.3数据融合及安全机制（129）
8.7.4基于隐私数据的查询机制（130）
8.7.5数据完整性保障机制（131）
8.8海量电子病历安全保护应用（133）
本章小结（134）
第9章基于大数据的语意软件工程方法（135）
9.1基于大数据的语意软件工程体系架构（136）
9.2基于大数据的语意软件编制（136）
9.2.1基于大数据的语意软件编制方法（136）
9.2.2基于大数据的语意软件编制方法设计思路（137）
9.2.3复杂的SemanPL程序编程实现原理分析（138）
9.2.4基于大数据的语意编程语言SemanPL（139）
9.2.5SemanPL编译器原理分析（141）

9.3基于大数据的语意软件测试（143）
9.4基于大数据的语意软件验证（143）
9.5基于大数据的语意软件工程方法的语意软件系统应用（144）
本章小结（144）
第二部分基于海量语意规则的大数据流处理技术（145）
第10章基于规则的大数据流处理介绍（147）
10.1基于规则的大数据流（147）
10.1.1基于规则的大数据流应用背景（147）
10.1.2基于规则的大数据流应用意义（148）
10.2大数据流的规则处理技术国内外研究现状（149）
10.3存在的问题总结与分析（153）
本章小结（154）
第11章语意规则描述模型（155）
11.1规则表示方法（155）
11.2规则节点图形化符号表示模型（155）
11.2.1非计算规则节点（156）
11.2.2计算规则节点（156）
11.3规则粒度（158）
11.4规则节点流量分析（159）
11.5计算规则节点计算代价分析（163）
本章小结（167）
第12章海量语意规则网及优化（168）
12.1海量语意规则网概述（168）
12.2海量语意规则网维护（169）
12.2.1海量语意规则网增量集成（169）
12.2.2删除规则节点时的规则网维护（170）
12.3海量语意规则网优化方法（171）
12.3.1基于规则合并的优化方法（171）
12.3.2规则模块等价变换的优化方法（173）
本章小结（183）
第13章海量语意规则处理算法（184）
13.1传统规则处理算法存在的问题（184）
13.2海量语意规则模式匹配模型（185）
13.2.1海量语意规则模式匹配模型体系结构（185）
13.2.2概念与介绍（186）
13.2.3模式网络存储组织（186）
13.2.4海量语意规则模式匹配算法（188）
13.3海量语意规则模式匹配算法特点（192）
13.4海量语意规则网运行处理机制（195）
本章小结（198）
第14章海量语意规则并行处理（199）
14.1海量语意规则并行处理面临的问题（199）
14.2海量语意规则并行处理机制（200）
14.2.1海量语意规则并行处理机制GAPCM概述（200）
14.2.2海量语意规则子网生成（201）
14.2.3海量语意规则网计算代价预分配（202）
14.2.4海量语意规则网通信（219）
14.2.5映射分配（220）
本章小结（221）
第三部分大数据应用（223）
第15章文化大数据（224）
15.1文化大数据的意义（224）
15.2文化大数据关键技术平台架构（225）
15.3文化大数据资源层（226）
15.4文化大数据综合平台层（227）
15.5基于文化大数据的应用（228）
15.6文化大数据云管理系统（232）
本章小结（234）
第16章医疗健康大数据（235）
16.1医疗健康大数据（235）
16.2医疗健康大数据平台架构（235）
16.3医疗健康大数据共享平台（237）
16.3.1集中式医疗健康大数据共享平台（237）
16.3.

大数据背后的核心技术 作者简介

张桂刚：清华大学博士后，美国加州大学尔湾分校访问学者，现为中国科学院自动化研究所副研究员，研究生导师。国家公共文化服务体系建设专家委员会委员，中国人工智能学会智能服务专业委员会委员，IEEE/ACM/中国自动化学会会员，中国计算机学会高级会员。BigMM/ICSC/ICRC（多媒体大数据/语义计算/机器人计算）三个国际会议的Workshop联合主席。主持或参与973、863、国家科技支撑计划、工信部民机专项、国家自然基金等课题10余个，发表SCI/EI论文40余篇，申请发明专利20余项。主要研究方向：大数据、语意（义）计算、大飞机综合健康管理、图计算。李超：博士，副研究员，清华大学息技术研究院WEB 与软件技术研究中心副主任，兼任金融大数据/智慧健康大数据两联合研究中心副主任，中国计算机学会信息存储技术专委委员，中国高等学校计算机教育研究会对外联络委员会委员，全国文影标（SAC/TC86/SC6）委员、全国信标委教育技术分技术委员会（TC28/SC36）委员、ISO/IEC JTC1 SC36 WG8 Learning Analytics Interoperability工作组专家。发表论文50余篇、已授权专利10余项。在海量数据存储、组织与管理、分析，及其在教育/医疗/金融等领域的应用方面有十余年经验。邢春晓：清华大学信息技术研究院博导，副院长。主要研究领域包括：数据库和数据仓库，数据工程和知识工程，软件工程，面向智慧城市的教育、医疗、金融和政务的大数据关键技术研究等。发表学术论文180多篇，其中SCI 20多篇、EI 100多篇，发明专利20余项。