方案簡介
隨著互聯(lián)網(wǎng)技術的發(fā)展，越來越多的應用面向云計算。云計算是網(wǎng)絡計算、分布式計算、并行計算、效用計算、網(wǎng)絡存儲、虛擬化、負載均衡等傳統(tǒng)計算機和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。云計算的核心思想，是將大量用網(wǎng)絡連接的計算資源統(tǒng)一管理和調度，構成一個計算資源池為用戶按需服務。云計算是IT服務提供方式的一種改變，它在對數(shù)據(jù)中心呈幾何倍數(shù)增長的情況下，有望顯著提高效率和靈活性。許多云計算部署依賴于計算機集群，包括計算、網(wǎng)絡互聯(lián)、存儲等，如圖1-3。圖1-4為具體一個云計算應用的拓撲部署。
圖 1-3
圖 1-4
上述圖1-4，描述了一個云計算應用，其主要業(yè)務應用在經(jīng)分系統(tǒng)中支持Oracle Rac，和分布式話單分析等，其中配置的集群服務器節(jié)點共有32臺刀片服務器，每個結點內(nèi)置40Gb InfiniBand QDR HCA 卡網(wǎng)卡，連接到MIS5030 IB交換機中。多臺業(yè)務應用服務器連接到核心GE萬兆交換機中。以太網(wǎng)與IB網(wǎng)的連接通過MBX 5020 完成。MBX 5020有4個IB口，每個IB 可連接3個GE口，從而實現(xiàn)了計算結點與以太網(wǎng)服務器的通訊。
VSA 服務器：VSA為存儲加速軟件，配置了2個服務器，每個服務器內(nèi)置一塊HCA（IB）卡和兩塊HBA（FC）卡，以及一塊512GB SSD固態(tài)盤。VSA服務器作為網(wǎng)關設備，實現(xiàn)了IB到FC的轉換。
HCA卡：40Gb InfiniBand QDR HCA 網(wǎng)卡。
HBA卡：8Gb FC卡。
SSD固態(tài)盤：采用CFD-SATAE電子盤產(chǎn)品，持續(xù)讀寫能力達200MB/s，用于加載VSA軟件做緩存用。
VSA連接著FC交換機與后端的FC存儲。
上述拓撲圖中，實現(xiàn)了IB、Ethernet、FC網(wǎng)絡的整合互通，應用在不同的云計算需求網(wǎng)絡部署中。
在當今企業(yè)中80%的數(shù)據(jù)都是非結構化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長60%。大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構、數(shù)據(jù)中心的基礎設施等，也會引發(fā)數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能、云計算等應用的連鎖反應。未來企業(yè)會將更多的TB級數(shù)據(jù)集用于商務智能和商務分析。到2020年，全球數(shù)據(jù)使用量預計將暴增44倍，達到35.2ZB（1ZB=10億TB）。
如何去分析這些數(shù)據(jù)，挖掘其內(nèi)在價值，就需要分布式計算來支撐海量數(shù)據(jù)的分析工作。
早先那種多線程，多任務分解的日志分析設計，是分布式計算的一個單機版縮略，如何將這種單機的工作進行分拆，變成協(xié)同工作的集群，就是分布式計算框架設計所涉及的。
分布式計算運用在多場景，大數(shù)據(jù)量的分布式處理，是云計算服務中其業(yè)務內(nèi)容必須用到的。
InfiniBand是針對對帶寬延遲要求比較高的領域設計的一種網(wǎng)絡，現(xiàn)階段主流帶寬是40Gb/s，網(wǎng)絡中端到端延遲可以控制在us級別，InfiniBand 網(wǎng)絡采用集中管理，支持網(wǎng)絡劃分，QOS等功能，擴展方便，可達數(shù)千個節(jié)點，經(jīng)驗證，適用于MPI， ORACLE RAC，HADOOP等的應用。
1.2 節(jié)點系統(tǒng)
云計算核心是計算能力的集中和規(guī)模性突破，云計算中心對外提供的計算類型決定了云計算中心的硬件基礎架構。從云端客戶需求看，云計算中心通常需要規(guī)?；奶峁┮韵聨追N類型的計算能力：
? 大型服務器
一是高性能的、穩(wěn)定可靠的高端計算，主要處理緊耦合計算任務，這類計算不僅包括對外的數(shù)據(jù)庫、商務智能數(shù)據(jù)挖掘等關鍵服務，也包括自身賬戶、計費等核心系統(tǒng)，通常由8路以上的大服務器提供。上述圖1-4，描述了這種情況的一個云計算應用的拓撲；
? 高密度服務器
二是面向眾多普通應用的通用型計算，用于提供低成本計算解決方案，這種計算對硬件要求較低，一般采用高密度、低成本的超密度集成服務器，以有效降低數(shù)據(jù)中心運營商的運營成本和終端用戶的使用成本；
? 高性能計算HPC
三是面向科學計算、生物工程等業(yè)務，提供百萬億、千萬億次計算能力的高性能計算，其硬件基礎是高性能集群。
1.3 網(wǎng)絡系統(tǒng)
網(wǎng)絡互聯(lián)技術是云計算中的關鍵因素，需要滿足5個關鍵因素對網(wǎng)絡的需求：
2 高帶寬/低延遲
2 整合型以太網(wǎng)
2 支持多種類作業(yè)任務
2 擴展性和可管理性
2 綠色/低能耗
對于支持云計算的網(wǎng)絡架構，解決方案應該是開放的，支持各廠商產(chǎn)品；采用“逐步擴展”式的布置，避免一次性淘汰更換。
采用的網(wǎng)絡互聯(lián)設備有：
2 40G IB網(wǎng)絡設備：用來支撐高性能的服務器架構，包括IB交換機和IB網(wǎng)卡
2 網(wǎng)關設備：支持多種協(xié)議的網(wǎng)絡連接與融合
2 10G以太網(wǎng)設備：支持以太網(wǎng)高速互聯(lián)的交換機和萬兆網(wǎng)卡
2 光纖設備：支持光通道傳輸?shù)墓饽K與光纖交換機
2 通用的百兆千兆網(wǎng)傳輸設備：包括線纜與網(wǎng)卡、模塊
1.4 存儲系統(tǒng)
不論是商業(yè)計算、普通應用，或是科學計算，在硬件架構層，影響云計算能力的除了計算能力以外，最重要的一個環(huán)節(jié)就是存儲。云計算采用數(shù)據(jù)統(tǒng)一集中存儲的模式，存儲的數(shù)據(jù)規(guī)模通?？梢赃_到TB乃至PB級別，計算平臺處理的海量并發(fā)必然會帶來海量的并發(fā)讀寫。由于數(shù)據(jù)量非常大，讀寫并發(fā)高，普通存儲設備不可能滿足數(shù)據(jù)處理中對性能、穩(wěn)定性和可用性方面的要求。并且傳統(tǒng)的存儲和文件系統(tǒng)在設計時并沒有考慮到大規(guī)模需求以及全球內(nèi)容分發(fā)。存儲多達數(shù)十億的文件會占用千兆字節(jié)的空間，要確保這些文件能夠在多個數(shù)據(jù)中心之間快速、高效的共享，傳統(tǒng)解決方案的部署復雜、很難管理、不易擴展，且費用高昂。
DataDirect Networks 采用 Web Object Scaler (WOS)，有效改善了上述問題。WOS是最尖端的基于云的文件存儲技術，從根本上簡化并改進了從多個分布于不同地域的網(wǎng)站存儲、分發(fā)和訪問文件的方式。只需通過一個易于使用的管理界面，便能創(chuàng)建輕松、無限擴展的全球存儲云。WOS存儲技術具備管理方便、低延遲、可自動創(chuàng)建備份和執(zhí)行災難恢復程序，安全性、可靠性高，易于擴展等特點。
云存儲應用案例：
? 高速的交易結算系統(tǒng)– CDR (呼叫數(shù)據(jù)記錄) 和互聯(lián)網(wǎng)帶寬使用記錄均為小文件，每秒可到達數(shù)百萬個，而現(xiàn)有的存儲技術若未能實現(xiàn)基礎結構的擴展，就無法滿足如此快速的交易需求。即使使用現(xiàn)有的存儲技術，高峰時期也容易造成數(shù)據(jù)的丟失。WOS 每秒可輕松處理海量交易。
? 視頻監(jiān)控– 智能型 IP 攝像頭直接與NVR (網(wǎng)絡視頻) 對話，反過來，NVR可將錄像轉移到 iSCSI 陣列等存儲設備上。使用 WOS，從此就無需再使用 NVR，因此攝像頭錄制的視頻便可直接轉移到WOS 存儲云上。這樣不僅能夠降低成本和復雜性，并且由于 WOS固有的多功能性，用戶可同時從多個監(jiān)控中心訪問錄像檔案。WOS 還自帶故障轉移和災難恢復功能，而這一點對敏感數(shù)據(jù)很重要。
? Internet/Web2.0 – 管理用戶生成內(nèi)容的網(wǎng)站必須能夠應付持久性數(shù)據(jù)不斷擴大的存儲需求，以及管理數(shù)以百萬計文件的挑戰(zhàn)。多功能的 WOS 能夠存儲數(shù)以十億計的文件，且不會對用戶端造成任何影響，是能夠滿足高速擴展需求的理想的解決方案。
? 銀行 – 支票影像應用平臺能夠創(chuàng)建數(shù)以百萬計的小文件，而這些小文件會對傳統(tǒng)的基于 NFS 的文件造成嚴重損壞。一個WOS 云便能在同一個命名空間內(nèi)輕松存儲數(shù)十億支票影像，并自動將這些影像分發(fā)至多個數(shù)據(jù)中心，保護數(shù)據(jù)的同時還能提高訪問速度。
? 文檔及文件存檔– WOS 云是理想的存儲庫，適用于超過80% 的非結構性數(shù)據(jù)，這些數(shù)據(jù)需要保持在線狀態(tài)但只是偶爾對其進行訪問。將不常使用的數(shù)據(jù)遷移到 WOS，能夠釋放 1 層空間，延長使用壽命并降低持有成本。即使存檔數(shù)據(jù)不斷擴大，您也可隨時根據(jù)需要快速、順暢地添加 WOS 節(jié)點。
? 政府– WOS 云可為用戶提供海量規(guī)模和優(yōu)異性能，適用于大型視頻、成像和存檔項目，同時還可實現(xiàn)政府機構和關聯(lián)機構之間自動、快速的信息共享，用于應急響應系統(tǒng)、快速聯(lián)動系統(tǒng)。
1.5 應用軟件
搭建云計算平臺，需要軟件技術的支持，這些軟件包括：
? 應用軟件：
提供云計算平臺服務的應用軟件，如網(wǎng)絡加速、任務調度、高性能計算軟件、安全、存儲、系統(tǒng)優(yōu)化等軟件。
? 虛擬化軟件
虛擬化技術主要分為以下幾個大類 ：
2 平臺虛擬化（Platform Virtualization），針對計算機和操作系統(tǒng)的虛擬化。
2 資源虛擬化（Resource Virtualization），針對特定的系統(tǒng)資源的虛擬化，比如內(nèi)存、存儲、網(wǎng)絡資源等。
2 應用程序虛擬化（Application Virtualization），包括仿真、模擬、解釋技術等。
? 網(wǎng)絡、集群管理軟件
網(wǎng)絡、集群管理軟件可幫助搭建和管理“云系統(tǒng)”。集群計算系統(tǒng)是云計算系統(tǒng)的核心。集群管理軟件通過提供監(jiān)控、告警、報表、控制、統(tǒng)籌管理機制等功能，提高了集群運作性能，保證了集群整體安全，方便了用戶使用和管理。
? 分布式計算軟件
分布式軟件充分利用分布式資源，通過將計算過程分解，由多臺服務器并行處理，計算結果綜合起來得到最終結果的方式，使計算量巨大的處理可以再在更短時間內(nèi)完成。分布式軟件通過綜合調度、并行處理的方式，使分布式系統(tǒng)資源充分利用，各節(jié)點協(xié)同工作，以低成本達到類似一臺大型機的運算效果。
