|
|
|
大數據管理技術涉及了大數據管理的各個方面，包括資料儲存、資料查詢、資料治理、資料整合、資料處理、資料分析、資料視覺化。傳統關聯資料庫的一站式服務已經無法滿足大數據領域的資料處理需求。一方面，以網際網路應用爲代表的大數據應用產生的龐大數據量超出了傳統工具的處理能力；另一方面，異構資料源和種類繁多的大數據應用對資料處理和資料查詢提出了諸多靈活性需求，這些需求大多不易透過傳統的SQL查詢來實現。爲解決資料量大和資料處理需求多樣性所帶來的挑戰，大數據管理技術發展出了一系列革新的資料管理技術。
本書詳細討論大數據管理技術的各個分支及其實現技術，包括大數據建模技術、大數據儲存和索引技術、大數據查詢處理技術、大數據交易技術和大數據匯流排技術，並在此基礎上，對大數據應用系統進行了全面分析。
本書面向大數據應用的開發人員、大數據管理系統的開發人員以及大數據管理技術的研究人員，也適用於高等院校相關專業師生學習。
作者簡介
陳剛
大學計算機科學與技術學院教授，博士生導師。主要研究方向為資料庫、大數據處理、雲端運算、CPS系統等。擔任了包括資料庫領域TOP會議VLDB在內的近十個國際會議程式委員，以及TKDE、VLDBJ、TPDS、JCST等國際期刊的評審專家。
第1 篇 大數據管理系統基礎
第1 章 大數據技術簡介
1.1 大數據技術的起源
1.2 大數據與雲端運算
參考文獻
第2 章 大數據管理系統架構
2.1 大數據管理系統不能採用單一架構
2.1.1 大數據的5V 特徵
2.1.2 關聯資料庫系統架構的缺陷
2.2 基於Hadoop 生態系統的大數據管理系統架構
2.2.1 Hadoop 簡介
2.2.2 HDFS 分散式文件系統
2.2.3 MapReduce 資料處理系統
2.3 面向領域的大數據管理系統
2.3.1 什麼是面向領域的大數據管理系統
2.3.2 面向領域的大數據管理系統架構
參考文獻
第3 章 大數據模型
3.1 關聯資料模型
3.1.1 關聯資料模式
3.1.2 關聯大數據儲存模型
3.1.3 查詢語言
3.1.4 典型系統
3.2 鍵值資料模型
3.2.1 鍵值資料模式
3.2.2 鍵值資料儲存模型
3.2.3 查詢語言
3.2.4 典型系統
3.3 列族資料模型
3.3.1 列族資料模式
3.3.2 列族資料儲存模型
3.3.3 查詢語言
3.3.4 典型系統
3.4 文件資料模型
3.4.1 文件資料模式
3.4.2 文件資料儲存模型
3.4.3 查詢語言
3.4.4 典型系統
3.5 圖資料模型
3.5.1 圖資料模式
3.5.2 圖資料儲存模型
3.5.3 查詢語言
3.5.4 典型系統
參考文獻
第4 章 大數據應用開發
4.1 大數據應用開發流程
4.2 大資料庫設計
4.2.1 頂層設計
4.2.2 資料儲存格式
4.2.3 資料模式設計
4.2.4 元資料管理
4.2.5 元資料儲存
參考文獻
第2 篇 大數據管理系統實現技術
第5 章 大數據儲存和索引技術
5.1 大數據儲存技術
5.1.1 分散式文件系統
5.1.2 關聯資料儲存
5.1.3 列族大數據儲存技術
5.2 大數據索引技術
5.2.1 系統概述
5.2.2 CG 索引
參考文獻
第6 章 大數據查詢處理技術
6.1 大數據批處理技術
6.1.1 MapReduce 技術簡介
6.1.2 基於MapReduce 的多表連接技術
6.2 大數據串流處理技術
6.2.1 系統設計動機與需求
6.2.2 MillWheel 程式模型
6.2.3 MillWheel 程式設計介面
6.2.4 運算
6.2.5 鍵
6.2.6 流
6.2.7 持久態
6.2.8 低水位
6.2.9 定時器
6.3 大圖資料處理技術
6.3.1 Pregel 大圖處理系統
6.3.2 系統實現
6.3.3 GRAPE 大圖處理系統
6.4 混合大數據處理技術
6.4.1 背景介紹
6.4.2 EPIC 框架概述
6.4.3 模型抽象
6.4.4 實現方案與技術細節
6.4.5 實驗
6.5 群組查詢處理技術
6.5.1 簡介
6.5.2 群組查詢的非侵入式方法
6.5.3 群組查詢基礎
6.5.4 群組查詢引擎COHANA
6.5.5 性能分析
6.5.6 總結
參考文獻
第7 章 大數據交易技術
7.1 基於鍵組的交易技術
7.1.1 鍵組
7.1.2 鍵值分組協議
7.1.3 系統實現
7.2 基於時間戳的交易技術
7.2.1 Spanner 交易簡介
7.2.2 TrueTime 應用介面
7.2.3 基於時間戳的交易
7.3 確定性分散式交易技術
7.4 基於資料遷移的交易技術
7.4.1 LEAP
7.4.2 L-Store
參考文獻
第8 章 大數據匯流排技術
8.1 爲什麼需要大數據匯流排
8.1.1 兩個複雜性問題
8.1.2 從N-to-N 到N-to-One
8.2 基於日誌的資料匯流排
8.2.1 資料庫中的日誌
8.2.2 分散式系統中的日誌
8.3 Kafka 系統簡介
8.3.1 單個分區的效率
8.3.2 分散式協調
8.3.3 交付保證
參考文獻
第3 篇 面向領域應用的大數據管理系統
第9 章 面向決策支持的雲展大數據倉儲系統
9.1 決策支持簡介
9.2 雲展大數據倉儲系統架構
9.2.1 雲展大數據倉儲系統總覽
9.2.2 SINGA 分散式深度學習平臺
9.2.3 CDAS 衆包資料分析系統
9.3 應用實例
9.3.1 簡介
9.3.2 綜合醫療分析系統架構
9.3.3 聯合患者檔案
9.3.4 案例分析： 患者返院預測
參考文獻
第10 章 面向大規模軌跡資料的分析系統TrajBase
10.1 軌跡資料處理系統簡介
10.1.1 軌跡資料處理技術簡介
10.1.2 集中式軌跡資料處理系統
10.1.3 分散式多維資料處理系統
10.1.4 分散式時空資料處理系統
10.2 軌跡概念介紹
10.3 TrajBase 系統架構
10.4 軌跡資料處理技術
10.4.1 軌跡資料表達技術
10.4.2 軌跡資料儲存技術
10.4.3 軌跡資料索引和查詢技術
10.4.4 軌跡資料探勘技術
參考文獻
第11 章 基於超圖的互動式圖像檢索與標記系統HIRT
11.1 圖像檢索與標記方法簡介
11.1.1 基於文字的圖片檢索方法
11.1.2 基於內容的圖片檢索方法
11.1.3 基於超圖的圖片檢索方法
11.2 HIRT 系統架構
11.2.1 超圖構建
11.2.2 矩陣運算
11.2.3 Top-k 查詢
11.3 互動式圖像檢索技術
11.3.1 平行查詢方法
11.3.2 近似查詢方法
11.3.3 互動式查詢方法
參考文獻
