去數據中心還是系統集成上班

A. 現在大數據工作的薪資待遇怎麼樣

由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才。因此很多企業會通過內部挖掘，所以薪資高那就不足為奇了。

大數據職業是現在均勻收入最高的職業，其從業人員均勻年薪已逾十萬元，有經驗的大數據工程師均勻年薪一般在12萬元以上。現在剛畢業學員的起薪基本是在8k-15k元的水平，有大數據相關工作經驗的學員，薪酬基本是15k-25k元的水平。如果就加米穀大數據零基礎班的學生的就業薪資來看，在成都的平均水平薪資在12k左右。

薪酬方面，以北京為例：北京2017年的薪酬，北京數據挖掘工程師工資中位數為：￥15166元/月，最低工資8K-10K，最高工資工資30-50K；北京數據工程師工資中位數：￥13156元/月，最高工資20K-30K；北京數據架構師工資中位數：￥23700元/月，最低工資10K-15K，最高工資無法確定。

B. 大數據錄入工作去哪找

(1)大數據系統研發工程師：負責大數據系統研發工作，包括大規模非結構化數據業務模型構建、大數據存儲、資料庫架構設計以及資料庫詳細設計、優化資料庫構架、解決資料庫中心建設設計問題。他們還負責集群的日常運作、系統的監測和配置、Hadoop與其他系統的集成。
(2)大數據應用開發工程師：負責搭建大數據應用平台、開發分析應用程序。他們熟悉工具或演算法、編程、包裝、優化或者部署不同的MapRece事務。他們以大數據技術為核心，研發各種基於大數據技術的應用程序及行業解決方案。
(3)大數據分析師：運用演算法來解決分析問題，並且從事數據挖掘工作。他們最大的本事就是能夠讓數據道出真相;此外，他們還擁有某個領域的專長，幫助開發數據產品，推動數據解決方案的不斷更新。
(4)數據可視化工程師：具備良好的溝通能力與團隊精神，責任心強，擁有優秀的解決問題的能力。他們負責在收集到的高質量數據中，利用圖形化的工具及手段的應用，一目瞭然地揭示數據中的復雜信息

C. 如何判斷我的windows操作系統是真正的數據中心版，還是集成了MCC功能的數據中心版

介紹了縣級中小城市污水處理工藝，西門子S7-300 PLC主要特點，污水處理廠的自控要求、PLC的系統硬體配置、軟體設計，和實際運行結果。

可編程式控制制器PLC是實現污水處理廠自動控制的關鍵，縣級中小城市的污水處理廠處理能力一般在10萬m3/d以下，很多是1～5萬立方米/d，監控點數一般不是很多，而選用西門子S7-300 PlC是一種即經濟又切合實際的解決方案，它具有高度模塊化結構，指令集功能強大，能夠滿足多樣化和個性化的需求。

1 污水處理工藝流程
從當前污水處理工藝和技術研究、開發和應用的情況看，由於傳統的活性污泥處理工藝在中小規模的污水處理廠中存在基建投資高、運行費用高以及電耗高等問題，因此，處理水量在10萬立方米/d以下的縣級中小城市的污水處理廠處理工藝一般多採用氧化溝和SBR工藝。西北某縣城污水處理廠日處理污水4萬噸，處理工藝採用的是奧貝爾氧化溝。主要處理：工段有機械處理段、生物處理段、和污泥脫水處理段。機械處理段由粗格柵間、進水泵房、細格柵間、旋流沉砂池組成。生物處理段由厭氧池、氧化溝、迴流及剩餘污泥泵房、二沉池、接觸池等組成，污泥脫水處理段由儲泥池、污泥脫水機房組成。該工藝的流程見圖1。

城市污水管網收集到的污水到了進水泵房，在這里大的固體雜質被格柵機過濾掉，然後較稀的污水被提升泵送到旋流沉砂池，污水由於攪拌機和吸砂機的作用，其中的固體顆粒又被去除。下一道工序是污水先被送到厭氧池，目的是去磷、脫氮，然後流入氧化溝，這里有相應的菌種來分解、凈化污水，氧化溝中的污泥細菌生態系統維持存活的主要條件一個是污水中的有機物雜質，另一個就是氧氣的供應，所以氧化溝上的曝氣轉碟的作用是對污水進行充氧。經過氧化溝處理後的污水在二沉池沉澱後然後在接觸池加氯達標後可直接排放，多餘的污泥被排泥泵送到脫水機房，通過脫水處理，污泥被壓干製成餅，用作肥料。

2 自控系統的硬體選擇
污水處理主要是順序邏輯控制，這正是PLC控制的優勢所在。在眾多的PLC生產廠家中，西門子公司的S7-300 PLC系列產品以其較高的性價比成為眾多用戶的首選。S7-300是模塊化的中小型PLC系統，能滿足中等性能要求的應用，模塊化、無排風扇結構，各種單獨的模塊之間可進行廣泛的組合以用於擴展。介面模塊（IM）用於多機架配置時連接主機架（CR）和擴展機架（ER），S7-300通過分布式的主機架（CR）和二個擴展機架（ER）可以操作多達32個模塊。中央處理單元（CPU）集成有PROFIBUS-DP和MPI通訊介面，多點介面（MPI））用於同時連接編程器、PC機和人機界面等。信號模塊（SM）用於數字量和模擬量的輸入輸出。

3 總體控制要求及功能
污水處理廠自控系統的要求是對污水處理過程進行自動控制和自動調節，使處理後的水質指標達到要求的范圍；在公司中控室發出上傳指令時，將當前時刻運行過程中的主要工作參數（水質參數、流量、液位等）、運行狀態及一定時間段內的主要工藝過程曲線等信息上傳到公司中控室。功能如下：
1）控制操作：在中心控制室能對被控設備進行在線實時控制，如啟停某一設備，調節某些模擬輸出量的大小，在線設置PLC的某些參數等。

2）顯示功能：用圖形實時地顯示各現場被控設備的運行工況，以及各現場的狀態參數。

3）數據管理：依據不同運行參數的變化快慢和重要程度，建立生產歷史資料庫，存儲生產原始數據，供統計分析使用。利用實時資料庫和歷史資料庫中的數據進行比較和分析，得出一些有用的經驗參數，有利於優化氧化溝的准閉環控制，並把一些必要的參數和結果顯示到實時畫面和報表中去。

4）報警功能：當某一模擬量（如電流、壓力、水位等）測量值超過給定范圍或某一開關量（如電機啟停、閥門開關）閥發生變位時，可根據不同的需要發出不同等級的報警。

5）列印功能：可以實現報表和圖形列印以及各種事件和報警實時列印。列印方式可分為：定時列印、事件觸發列印。

4 系統構成及其布局
如果採用常規PLC集中控制方式，將現場信號通過電纜連接到集中控制室內的PLC上，由於工藝線路長、現場控制點分布范圍廣，需要敷設大量的電纜及橋架，且現場環境惡劣、其施工難度非常大。鑒於此，採用了PROFIBUS現場匯流排技術，根據工藝劃分，系統共設了兩個主站、兩個子站、兩個操作員站。採用西門子的S7-300系列PLC，主站採用CPU315-2DP，其帶有一個DP通訊口和一個MPI口。子站採用通用性較好的ET200M遠程模塊，用於現場數據的採集和控制，並藉助PROFIBUS（工業現場匯流排），方便控制網路系統的建立。其自控系統見圖2。

控制系統分為三個級別，即現場級、控制級、管理級。
（1）管理級
管理級集中監控各個分站設備的運行狀態。管理級現場匯流排選擇PROFIBUS-FMS匯流排，兩台安裝組態軟體的冗餘伺服器作為PROFIBUS-FMS現場匯流排的操作員站，安裝在控制室內，可以同時收集現場數據。伺服器採用WinCC組態軟體，並配有伺服器軟體包選項。

（2）控制級和現場級
控制級主要功能是接收管理層設置的參數或命令，對污水處理生產過程進行控制，將現場狀態輸送到管理層。根據本廠工藝流程和總平面布置，結合馬達控制中心MCC的位置和供配電范圍，按照控制對象的區域、設備數量，以就近採集和單元控制為劃分區域的原則，在進水泵房、變電所設兩座現場主站PLC1、PLC2。在加氯間、脫水機房設兩座現場子站，其中加氯間PLC1-1為進水泵房PLC1的DP從站，脫水機房PLC2-1為變電所PLC2的DP從站。現場主站與現場子站之間採用PROFIBUS-DP現場匯流排。現場主站PLC1、PLC2分別由電源模塊PS 307、CPU315-2 DP模塊和通訊模塊CP343-5及相應信號模塊SM組成。現場子站採用ET200M遠程單元，每個ET200M單元均由1個IMl53-2匯流排介面模塊和其它若干數字量、模擬量輸入輸出模塊組成。

進水泵房現場主站PLC1監控范圍為粗格柵、進水泵房、細格柵、沉砂池等，其主要控制對象為粗細格柵間的粗細格柵及進水電動閘門、進水泵房的污水提升泵、沉砂池的排砂裝置和砂水分離等設備，此外，還負責進水水質如pH、SS（濁度測量）等參數的在線檢測。其I/O配置為：DI＝144、DO＝48、A1＝16。

加氯間現場子站PLC1-1監控范圍為加氯間、接觸池，其主要控制對象為加氯消毒等設備，此外其還負責出水水質如：余氯、COD、流量等參數的在線檢測。其I/O配置為：D1＝48、DO＝16、AI＝8。

變電所現場主站PLC2監控范圍為厭氧池、氧化溝、迴流及剩餘污泥泵房、二沉池，主要完成對處理工藝參數的監測控制，如對溶解氧、污泥濃度、pH值、ORP值等參數的測控。對曝氣設備、攪拌設備、排水設備、污泥迴流及剩餘泵、刮泥機等進行操作控制，以滿足對處理出水水質的要求。其I/O配置為：DI＝224、DO＝8O、A1=24。

脫水機房現場子站PLC2-1監控范圍為脫水機房、儲泥池，其主要控制對象為儲泥池的攪拌器、電動閥門，脫水機房的進泥泵、輸送機、濃縮機、加葯系統等設備。其I/O配置為：DI＝48、DO＝16、Al＝8。

5 系統軟體
計算機操作系統採用Microsoft Windows 2000 Professional中文版操作系統。歷史資料庫採用Microsoft SQLServer 2000中文版軟體。上位機監控軟體採用GE公司的iFIX3.5組態軟體來實現。

1）操作系統軟體Windows 2000 Professional中文版操作系統提供了一個快速、高效的多用戶、多任務操作系統環境，是目前使用廣泛的工控操作系統。資料庫伺服器採用Windows2000 server中文版配合Microsoft SQL2000使用，用來保存歷史數據。各工作站均採用Windows 2000 Professional中文版操作系統。

2）iFIX3.5監控軟體實現了對整個系統的開關量、狀態量、電量、模擬量的採集和處理，並顯示在主工作站的界面上；對一些污水處理廠重要的物理量如各個進水泵的電流、頻率、出口壓力等都實時顯示在主上作站的主界面上，便於調度員及時掌握系統的運行情況。

3）資料庫伺服器上安裝Microsoft SQL2000中文版資料庫軟體，用來儲存整個污水廠重要的歷史數據，通過iFIX3.5與Microsoft SQL 2000的通訊來讀取歷史數據。單獨設計一個資料庫伺服器可以避免因為系統局部故障導致歷史數據丟失現象的發生。

4）STEP7可以利用IEC-1131標准中八種編程語言中的6種（STL、LAD、FBD、CFC、SFC和SCL）進行編程、本系統利用STEP7對西門子可編程序控制器進行配置、編程。

6 結束語
用西門子S-300 PLC設計的自控系統在該污水處理廠投入使用以來，運行至今系統穩定、可靠。設備具有調試簡單、操作方便、使用安全、效率高、故障率低，污水處理效果好的特點，提高了勞動生產率，同時由於軟硬體均採用模塊化結構，方便了工程技術人員的安裝、調試和維修。

D. 系統集成方面的工作主要做什麼要會些什麼

一個優秀的系統集成工程師應具備以下技能
1：網路
基礎知識：深刻理解網路基本概念，例如ISO/OSI、TCP/IP、VLAN、各種LAN、WAN協議、各種路由協議、NAT等等

Cisco：熟悉Cisco產品線；會配置主要型號的交換機和路由器，不熟悉的設備能構獨立查資料配置；熟悉Cisco一些主要的技術例如VOIP、Qos、ACL等；

Nortel：熟悉Nortel產品線；會配置主要型號的交換機和路由器，不熟悉的設備能構獨立查資料配置；
Huawei-3com：熟悉Huawei-3com產品線；會配置主要型號的交換機和路由器，不熟悉的設備能構獨立查資料配置；
Foundry：熟悉Foudry產品線；會配置主要型號的交換機和路由器，不熟悉的設備能構獨立查資料配置；

2：主機
基礎知識：熟悉伺服器的基本知識，例如各種RAID、各種外設、SCSI卡等等
Sun Solaris：熟悉Sun小型機產品線，掌握各個版本的Solaris使用
IBM AIX：熟悉IBM小型機產品線，掌握各個版本的AIX使用
HP HP-UX：掌握HP-UX的基礎知識
Linux：熟悉主流版本的Linux的安裝、使用、配置
MS Windows：熟練掌握Windows NT、2000、2003的安裝、使用、配置、排錯

3：資料庫與中間件
基礎知識：深刻理解資料庫的基本概念，會使用簡單的SQL語句，了解資料庫復制、數據倉庫等高級概念
Sybase ASE：熟悉Sybase資料庫的基本概念、體系結構、安裝、配置、維護、排錯、復制
Oracle DB：熟悉Oracle資料庫的基本概念、體系結構、安裝、配置、維護、排錯、復制
MS SQL Server：熟悉MS SQL Server資料庫的基本概念、體系結構、安裝、配置、維護
IBM DB2：了解IBM DB2
MySQL：了解MySQL資料庫在Windwos和linux下的安裝和維護
Sybase EAserver：熟悉Sybase EAServer在各個平台的安裝、配置和使用
Oracle AS：了解Oracle應用伺服器的安裝和配置
IBM WebSphere：熟悉IBM Websphere各個版本在各個平台的安裝、配置和使用
Tomcat：了解Tomcat在Windwos和linux下的安裝和維護

4：安全
基礎知識：深刻理解網路安全的重要性，了解各種安全設備的作用
防火牆：深刻理解防火牆的基本概念和作用，了解主流的國內和國際品牌，在文檔的幫助下能夠獨立配置使用和諸如聯想、天融信等國產防火牆
入侵檢測系統：深刻理解IDS基本概念和作用，了解主流的國內和國際品牌，在文檔的幫助下能夠獨立配置和使用諸如金諾網安、綠盟等國產IDS
漏洞掃描系統：深刻漏洞掃描的基本概念和作用，了解主流的國內和國際品牌，在文檔的幫助下能夠獨立配置和使用諸如榕基等國產掃描系統
VPN：了解VPN的基本概念
加密和認證：了解加密和認證的基本概念
安全隔離產品：了解安全隔離產品
網路反病毒：了解國內國際主流的反病毒廠商，能夠熟練安裝、配置、部署諾頓、卡巴斯基、瑞星等主流軟體
郵件反病毒反垃圾：理解郵件反病毒反垃圾的重要性，了解反病毒反垃圾用到的主要技術，在文檔的幫助下能夠正確安裝和配置國產郵件反病毒反垃圾軟體 5：存儲和備份
基礎知識：了解存儲的基本概念和主流廠商，了解磁帶、DAS、NAS、SAN的基本概念
Sun存儲：了解Sun的存儲產品，在文檔的幫助下能夠獨立配置Sun的存儲產品
IBM存儲：了解IBM的存儲產品，在文檔的幫助下能夠獨立配置IBM的存儲產品
EMC存儲：了解EMC的存儲產品，在文檔的幫助下能夠獨立配置EMC的存儲產品 光纖Hub、光纖交換機：了解光纖Hub、光纖交換機的基本概念和主要作用
備份：深刻理解備份的重要作用，了解主流備份軟體諸如ARC Server、NetBackup等軟體的安裝、配置和使用、熟悉主流資料庫的備份方法和策略
6：音視頻
視頻會議：了解視頻會議的基本概念、組成部分和協議，了解主流的視頻終端和MCU，能夠獨立操作泰德的視頻終端和Radvision的MCU
視頻點播：了解視頻點播和流媒體的基本概念、組成部分和協議，能夠安裝和配置視頻點播所需要的軟體（RealServer等）和硬體（視頻採集卡等）
VOIP：了解VOIP的的基本概念和應用，了解語音網關和語音關守，能夠配置
VoIP 組播：了解組播的基本概念和應用以及組播路由協議，能夠配置簡單的組播
各種音視頻設備：了解各種音頻、視頻設備以及各種線纜，了解諸如智能法庭的整體結構

7：應用
HTTP：能夠正確安裝、配置和使用各種WWW伺服器，例如IIS、Apache、IBM HTTP Server
FTP：能夠在各種平台（windows、linux、Unix）下配置FTP伺服器
Mail：能夠在各種平台（windows、linux、Unix）下配置Mail伺服器，能夠安裝和配置中軟和Eyou的mail Server
DNS：能夠在各種平台（windows、linux、Unix）下配置DNS伺服器
公司自主軟體：熟悉公司的自主軟體，在文檔幫助下，能夠獨立安裝公司的**信息系統、**信息系統、**軟體等所有軟體
其他：能夠熟練使用客戶端和伺服器端各種軟體，能夠獨立在互聯網上找到自己所需的軟體

8：弱電
了解綜合布線、門禁、監控、智能建築等基本概念，熟練製作各種網路線纜

9：其他專項技術
高可用性：理解高可用性的概念，能夠安裝配置IBM HACMP、Rose、Sun Cluster的安裝、配置和維護
呼叫中心：理解呼叫中心的基本概念和組成部分
UPS：熟悉UPS的基礎知識、自己能夠獨立安裝小型UPS、熟悉各種電纜
電信：熟悉各種電信線路，了解電信的各種信令
WLAN：了解無線區域網的基本概念和組成部分
網路管理：了解網路管理的作用和網路管理協議（SNMP、RMON等），能夠使用Cisco Ciscoworks、Nortel Optivity、HP OpenView等產品，能夠用Sniffer等軟體對網路進行監控和排錯
10：項目管理

E. 數據中心可視化管理平台是什麼東西

數據可視化管理平台是將傳統的數據中心通過現代信息化、數字化技術手段，構建出一套全面完善的智能化、綠色化數據中心監控系統，進而加強能耗管理、提高設備運行效率和管理人員的工作效率，擺脫繁多的基礎設施維護工作，將更多的精力投入核心業務的管理中，為全方位綠色數據中心提供可靠保障。

且具有完善的故障預警告警、事件自診斷、分析等功能，對於超過性能閾值的性能指標系統，能夠進行故障告警或預警並通知相應的運維管理人員，並做到保存歷史信息和報警事件。

數據中心可視化總的來說就是將多種復雜的管理系統信息聚集在虛擬模擬環境下，以人類最直觀的理解形式展現，大幅度提升了信息交互和操控的效率，減少時間損耗和信息的浪費，保證信息的及時性和准確性。繼而實現了數據中心端到端的IT可視化，強化IT管制手段和管理水平，包括縮短響應時間加速排障，提升資源利用率和運營效率過程，最終完成對數據中心高效綠色智能化運營。由此為數據中心科學決策有效管理打下夯實的基礎。

F. 數據中心是什麼其系統結構和工作原理是怎樣的呢

一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途：

• 整合公司所有業務數據，建立統一的數據中心；

• 提供各種報表，有給高層的，有給各個業務的；

• 為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；

• 為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；

• 分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；

• 開發數據產品，直接或間接為公司盈利；

• 建設開放數據平台，開放公司數據；

• 。。。。。。



• 上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；


• 其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；


• 建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。


• 整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：


• 邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。


• 我們從下往上看：


• 數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。



• 數據源的種類比較多：



• 網站日誌：



• 作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，


• 一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；



• 業務資料庫：



• 業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。


• 當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。



• 來自於Ftp/Http的數據源：



• 有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；



• 其他數據源：



• 比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；



• 數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。



• 離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；


• 當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》


• 實時計算部分，後面單獨說。


• 數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；



• 前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。


• 另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。



• 數據應用

• 業務產品
  



• 業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；



• 報表



• 同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；



• 即席查詢



• 即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；


• 這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。


• 即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。


• 當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。



• OLAP



• 目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；


• 這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；


• 比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。



• 其它數據介面
  



• 這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。



• 實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。


• 我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。


• 做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。


• 任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；



• 這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。


• 前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。


• 總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。

G. 數據中心建設的未來前景如何

合作過數據中心項目，其實結合當前互聯網技術 ，前景是很可觀的，隨著數字化的快速推進，數據中心的變化將更能體現新基建"基建+科技"的內涵。對於數據中心而言，進行技術創新，能夠合理存儲和處理數據，滿足上層需求，支撐數字經濟騰飛，才能實現其真正價值。

針對數據中心系統復雜、多場景和動態性的特點。以 HTML5 的 WebGL 標准實現 3D 的圖形渲染技術，以及基於瀏覽器內核嵌入到小程序實現更方便傳播。並採用圖撲軟體（ Hightopo）輕量架構使其支持跨平台展示，實現多埠海量數據的分析。

通過線上監控系統了解設備健康狀況，可遠程查看機櫃的檢修記錄、履歷信息和歷史故障，為評估設備安全提供了直觀的數據基礎。運維人員擺脫了機械性的工作，緩解運維壓力。

HT 的三維模擬技術適用強，功能全面、性能穩定，結合集裝箱式數據中心自身優勢，應用起來無疑是錦上添花。將數據全面集成，改變數據孤島現象，成為實現數據中心扁平化、集約化、一體化有力的助推劑，為機房監控的發展帶來革命性的進步。

H. 系統集成公司主要的工作是什麼

系統集成商（英文System Integrator），是指具備系統資質，能對行業用戶實施系統集成的企業。系統集成包括設備系統集成和應用系統集成，因此系統集成商也分為設備系統集成商（或稱硬體系統集成商、弱電集成商）和 應用系統集成商（即常說的行業信息化方案解決商）。設備系統集成商進一步細分為智能建築系統集成商、計算機網路系統集成商、安防系統集成商（安防工程商）。
如果把系統集成的運作比作工業流水線，面臨三個要點：專而精、分工劃分、協調管理。其管理的關鍵在於責、權、利。
1，系統集成的組織職能劃分：
依功能劃分：銷售、市場、技術，包含以下要素：市場：系統行銷市場的分析、策劃、管理，並對新產品的研發提出市場性指導意見。銷售：總負責與具體客戶的商 務人員的接觸、跟蹤、關系。®售前：對銷售人員負責，為具體客戶的技術人員提供產品技術介紹、具體系統解決方案。
工程：對項目組負責，完成項目的工程實施。
售後服務：對項目組負責，完成項目的售後持續性技術維護和服務。
產品開發：負責軟硬體產品的具體開發實施。
專家機構：
研究跟蹤新產品、新技術，提出系統模式和具體系統技術解決方案。
對售前為客戶提供的系統方案進行評審。
對產品開發提供系統模式、開發平台的評審和指導。
2，依行業性市場劃分
依據行業劃分，要求各級人員除了對本職工作的專而精，還要有對行業關系、行業業務知識的深入了解。可以結合以上兩點，以行業，結合具體情況劃分系統集成的各職能部門。

I. 什麼是系統集成

系統集成就是通過結構化的綜合布線系統和計算機網路技術，將各個分離的設備(如個人電腦)、功能和信息等集成到相互關聯的、統一和協調的系統之中，使資源達到充分共享，實現集中、高效、便利的管理。

從事系統集成的公司要求：不僅要精通各個廠商的產品和技術，能夠提出系統模式和技術解決方案。更要對用戶的業務模式、組織結構等有較好的理解。同時還要能夠用現代工程學和項目管理的方式，對信息系統各個流程進行統一的進程和質量控制，並提供完善的服務。

(9)去數據中心還是系統集成上班擴展閱讀：

系統集成公司的發展方向：

1.產品技術服務型

以原始廠商的產品為中心，對項目具體技術實現方案的某一功能部分提供技術實現方案和服務，即產品系統集成。

2.系統咨詢型

對客戶系統項目提供咨詢（項目可行性評估、項目投資評估、應用系統模式、具體技術解決方案）。如有可能承接該項目，則負責對產品技術服務型和應用產品開發型的系統集成商進行項目實現招標、並負責項目管理（承包和分包）。

3.應用產品開發型

表現在與用戶合作共同規劃設計應用系統模型，與用戶共同完成應用軟體系統的設計開發，對行業知識和關鍵技術具有大量的積累，具有一批懂行業知識又懂計算機系統的兩棲專業人員。為用戶提供全面系統解決方案，完成最終的系統集成。

4.系統集成新概念

其商業模式是銷售其軟體、硬體和服務及融資的四位一體合同，其解決方案的核心是在數據整合互聯化的基礎上實現城市交通、水資源利用、醫療體系、平安保障和應急系統的智能化。

參考資料：網路-系統集成