云計算與大數據處理技術

培訓目標

1，深入理解通過云計算實現海量數據處理的思想、方法與實踐。

2，理解安全性和可用性設計的問題、方法與實踐。

3，掌握把傳統數據中心改造成云計算中心的技術與方法。

4，掌握虛擬化技術的核心技術方法以及應用特征。

培訓受眾:

1，系統架構師、系統分析師、高級程序員、資深開發人員。

2，牽涉到海量數據處理的機構數據中心運行、規劃、設計負責人。

3，云服務運營服務提供商規劃負責人。

4，高校、科研院所牽涉到大數據與分布式數據處理的項目負責人。

課程收益:

1，深入理解通過云計算實現海量數據處理的思想、方法與實踐。

2，理解安全性和可用性設計的問題、方法與實踐。

3，掌握把傳統數據中心改造成云計算中心的技術與方法。

4，掌握虛擬化技術的核心技術方法以及應用特征。

課程大綱:

第一講 云計算的概念與現狀

1）云計算的概念

2）云計算發展現狀

3）云計算實現機制

4）云計算的發展環境

5）云計算的優勢

第二講 從Google云計算體系，理解海量數據處理的方法

1）如何構建海量存儲文件系統？

GFS系統架構

GFS容錯機制

GFS系統管理技術

MapReduce產生背景

MapReduce編程模型

MapReduce實現機制

MapReduce案例分析

2）如何提供鎖服務解決分布式數據一致性問題？

Chubby的設計思路

Chubby中的Paxos算法

Chubby文件系統

3）如何建立規模龐大的高性能表結構？

BigTable設計目標

BigTable系統架構

BigTable服務器

BigTable性能優化

4）如何建立高可用性和高可擴展性的數據系統？

Megastore設計目標

Megastore數據模型

Megastore事務及并發控制

Megastore基本架構

Dapper監控系統

Dapper關鍵性技術

Dapper工具

第三講 從Hadoop云計算項目，進一步研究云數據處理方法

1）HDFS：高可靠性處理機制及應用

Hadoop項目簡介

HDFS體系結構

HDFS關鍵運行機制

Hadoop vs Google

Hadoop API

Hadoop環境搭建

2）Hadoop：龐大、極其稀疏的可擴展性數據模型

Hadoop簡介

Hadoop的運行機制

Hadoop與 HDFS

Hadoop的對外接口

ZooKeeper的數據模型

ZooKeeper的讀寫機制

ZooKeeper的使用方法

第四講 從Windows Azure，理解平臺即服務的本質

1）微軟云計算平臺

2）微軟云操作系統Windows Azure

3）微軟云關系數據庫SQL Azure

4）Azure AppFabric

5）Azure Marketplace

第五講 從Amazon云計算，討論如何提供云服務

1）Dynamo基礎存儲架構

2）彈性計算云EC2

3）簡單存儲服務S3

4）簡單隊列服務SQS

5）簡單數據庫服務Simple DB

6）關系數據庫服務RDS

7）內容推送服務CloudFront

第六講 實施云計算的關鍵點：安全策略

1）云計算安全是一個必須前期重視的策略

2）云計算的特征與安全挑戰

3）云計算的安全體系與關鍵技術

4）基礎架構云安全框架

5）云計算安全平臺

第七講 當前數據中心如何向云計算環境轉變

1）VMware云產品

2）云管理平臺 vCenter

3）vCloud Service Director

4）VMware的網絡和存儲虛擬化

5）主流商業云計算解決方案比較

6）主流開源云計算系統比較

7）國內代表性云計算平臺比較

第八講 基礎設施即服務（IaaS）關鍵實現技術

1）IaaS技術體系概述

2）服務器虛擬化技術

CPU虛擬化

內存虛擬化

I/O虛擬化

3）存儲虛擬化技術

存儲系統概述

存儲設備層的存儲虛擬化

塊聚合層的存儲虛擬化

文件/記錄層的存儲虛擬化

4）主機網絡虛擬化

第九講 軟件即服務（SaaS）關鍵實現技術

1）SaaS技術概述

2）呈現層技術綜述

3）調度層技術

基于DNS的調度

基于虛擬IP的調度

基于鏈路聚合的調度

基于應用的調度

調度策略

4）業務層

5）數據層

6）用戶管理和配置管理

7）用戶體驗的設計

8）課程總結