去数据中心还是系统集成上班

A. 现在大数据工作的薪资待遇怎么样

由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才。因此很多企业会通过内部挖掘，所以薪资高那就不足为奇了。

大数据职业是现在均匀收入最高的职业，其从业人员均匀年薪已逾十万元，有经验的大数据工程师均匀年薪一般在12万元以上。现在刚毕业学员的起薪基本是在8k-15k元的水平，有大数据相关工作经验的学员，薪酬基本是15k-25k元的水平。如果就加米谷大数据零基础班的学生的就业薪资来看，在成都的平均水平薪资在12k左右。

薪酬方面，以北京为例：北京2017年的薪酬，北京数据挖掘工程师工资中位数为：￥15166元/月，最低工资8K-10K，最高工资工资30-50K；北京数据工程师工资中位数：￥13156元/月，最高工资20K-30K；北京数据架构师工资中位数：￥23700元/月，最低工资10K-15K，最高工资无法确定。

B. 大数据录入工作去哪找

(1)大数据系统研发工程师：负责大数据系统研发工作，包括大规模非结构化数据业务模型构建、大数据存储、数据库架构设计以及数据库详细设计、优化数据库构架、解决数据库中心建设设计问题。他们还负责集群的日常运作、系统的监测和配置、Hadoop与其他系统的集成。
(2)大数据应用开发工程师：负责搭建大数据应用平台、开发分析应用程序。他们熟悉工具或算法、编程、包装、优化或者部署不同的MapRece事务。他们以大数据技术为核心，研发各种基于大数据技术的应用程序及行业解决方案。
(3)大数据分析师：运用算法来解决分析问题，并且从事数据挖掘工作。他们最大的本事就是能够让数据道出真相;此外，他们还拥有某个领域的专长，帮助开发数据产品，推动数据解决方案的不断更新。
(4)数据可视化工程师：具备良好的沟通能力与团队精神，责任心强，拥有优秀的解决问题的能力。他们负责在收集到的高质量数据中，利用图形化的工具及手段的应用，一目了然地揭示数据中的复杂信息

C. 如何判断我的windows操作系统是真正的数据中心版，还是集成了MCC功能的数据中心版

介绍了县级中小城市污水处理工艺，西门子S7-300 PLC主要特点，污水处理厂的自控要求、PLC的系统硬件配置、软件设计，和实际运行结果。

可编程控制器PLC是实现污水处理厂自动控制的关键，县级中小城市的污水处理厂处理能力一般在10万m3/d以下，很多是1～5万立方米/d，监控点数一般不是很多，而选用西门子S7-300 PlC是一种即经济又切合实际的解决方案，它具有高度模块化结构，指令集功能强大，能够满足多样化和个性化的需求。

1 污水处理工艺流程
从当前污水处理工艺和技术研究、开发和应用的情况看，由于传统的活性污泥处理工艺在中小规模的污水处理厂中存在基建投资高、运行费用高以及电耗高等问题，因此，处理水量在10万立方米/d以下的县级中小城市的污水处理厂处理工艺一般多采用氧化沟和SBR工艺。西北某县城污水处理厂日处理污水4万吨，处理工艺采用的是奥贝尔氧化沟。主要处理：工段有机械处理段、生物处理段、和污泥脱水处理段。机械处理段由粗格栅间、进水泵房、细格栅间、旋流沉砂池组成。生物处理段由厌氧池、氧化沟、回流及剩余污泥泵房、二沉池、接触池等组成，污泥脱水处理段由储泥池、污泥脱水机房组成。该工艺的流程见图1。

城市污水管网收集到的污水到了进水泵房，在这里大的固体杂质被格栅机过滤掉，然后较稀的污水被提升泵送到旋流沉砂池，污水由于搅拌机和吸砂机的作用，其中的固体颗粒又被去除。下一道工序是污水先被送到厌氧池，目的是去磷、脱氮，然后流入氧化沟，这里有相应的菌种来分解、净化污水，氧化沟中的污泥细菌生态系统维持存活的主要条件一个是污水中的有机物杂质，另一个就是氧气的供应，所以氧化沟上的曝气转碟的作用是对污水进行充氧。经过氧化沟处理后的污水在二沉池沉淀后然后在接触池加氯达标后可直接排放，多余的污泥被排泥泵送到脱水机房，通过脱水处理，污泥被压干制成饼，用作肥料。

2 自控系统的硬件选择
污水处理主要是顺序逻辑控制，这正是PLC控制的优势所在。在众多的PLC生产厂家中，西门子公司的S7-300 PLC系列产品以其较高的性价比成为众多用户的首选。S7-300是模块化的中小型PLC系统，能满足中等性能要求的应用，模块化、无排风扇结构，各种单独的模块之间可进行广泛的组合以用于扩展。接口模块（IM）用于多机架配置时连接主机架（CR）和扩展机架（ER），S7-300通过分布式的主机架（CR）和二个扩展机架（ER）可以操作多达32个模块。中央处理单元（CPU）集成有PROFIBUS-DP和MPI通讯接口，多点接口（MPI））用于同时连接编程器、PC机和人机界面等。信号模块（SM）用于数字量和模拟量的输入输出。

3 总体控制要求及功能
污水处理厂自控系统的要求是对污水处理过程进行自动控制和自动调节，使处理后的水质指标达到要求的范围；在公司中控室发出上传指令时，将当前时刻运行过程中的主要工作参数（水质参数、流量、液位等）、运行状态及一定时间段内的主要工艺过程曲线等信息上传到公司中控室。功能如下：
1）控制操作：在中心控制室能对被控设备进行在线实时控制，如启停某一设备，调节某些模拟输出量的大小，在线设置PLC的某些参数等。

2）显示功能：用图形实时地显示各现场被控设备的运行工况，以及各现场的状态参数。

3）数据管理：依据不同运行参数的变化快慢和重要程度，建立生产历史数据库，存储生产原始数据，供统计分析使用。利用实时数据库和历史数据库中的数据进行比较和分析，得出一些有用的经验参数，有利于优化氧化沟的准闭环控制，并把一些必要的参数和结果显示到实时画面和报表中去。

4）报警功能：当某一模拟量（如电流、压力、水位等）测量值超过给定范围或某一开关量（如电机启停、阀门开关）阀发生变位时，可根据不同的需要发出不同等级的报警。

5）打印功能：可以实现报表和图形打印以及各种事件和报警实时打印。打印方式可分为：定时打印、事件触发打印。

4 系统构成及其布局
如果采用常规PLC集中控制方式，将现场信号通过电缆连接到集中控制室内的PLC上，由于工艺线路长、现场控制点分布范围广，需要敷设大量的电缆及桥架，且现场环境恶劣、其施工难度非常大。鉴于此，采用了PROFIBUS现场总线技术，根据工艺划分，系统共设了两个主站、两个子站、两个操作员站。采用西门子的S7-300系列PLC，主站采用CPU315-2DP，其带有一个DP通讯口和一个MPI口。子站采用通用性较好的ET200M远程模块，用于现场数据的采集和控制，并借助PROFIBUS（工业现场总线），方便控制网络系统的建立。其自控系统见图2。

控制系统分为三个级别，即现场级、控制级、管理级。
（1）管理级
管理级集中监控各个分站设备的运行状态。管理级现场总线选择PROFIBUS-FMS总线，两台安装组态软件的冗余服务器作为PROFIBUS-FMS现场总线的操作员站，安装在控制室内，可以同时收集现场数据。服务器采用WinCC组态软件，并配有服务器软件包选项。

（2）控制级和现场级
控制级主要功能是接收管理层设置的参数或命令，对污水处理生产过程进行控制，将现场状态输送到管理层。根据本厂工艺流程和总平面布置，结合马达控制中心MCC的位置和供配电范围，按照控制对象的区域、设备数量，以就近采集和单元控制为划分区域的原则，在进水泵房、变电所设两座现场主站PLC1、PLC2。在加氯间、脱水机房设两座现场子站，其中加氯间PLC1-1为进水泵房PLC1的DP从站，脱水机房PLC2-1为变电所PLC2的DP从站。现场主站与现场子站之间采用PROFIBUS-DP现场总线。现场主站PLC1、PLC2分别由电源模块PS 307、CPU315-2 DP模块和通讯模块CP343-5及相应信号模块SM组成。现场子站采用ET200M远程单元，每个ET200M单元均由1个IMl53-2总线接口模块和其它若干数字量、模拟量输入输出模块组成。

进水泵房现场主站PLC1监控范围为粗格栅、进水泵房、细格栅、沉砂池等，其主要控制对象为粗细格栅间的粗细格栅及进水电动闸门、进水泵房的污水提升泵、沉砂池的排砂装置和砂水分离等设备，此外，还负责进水水质如pH、SS（浊度测量）等参数的在线检测。其I/O配置为：DI＝144、DO＝48、A1＝16。

加氯间现场子站PLC1-1监控范围为加氯间、接触池，其主要控制对象为加氯消毒等设备，此外其还负责出水水质如：余氯、COD、流量等参数的在线检测。其I/O配置为：D1＝48、DO＝16、AI＝8。

变电所现场主站PLC2监控范围为厌氧池、氧化沟、回流及剩余污泥泵房、二沉池，主要完成对处理工艺参数的监测控制，如对溶解氧、污泥浓度、pH值、ORP值等参数的测控。对曝气设备、搅拌设备、排水设备、污泥回流及剩余泵、刮泥机等进行操作控制，以满足对处理出水水质的要求。其I/O配置为：DI＝224、DO＝8O、A1=24。

脱水机房现场子站PLC2-1监控范围为脱水机房、储泥池，其主要控制对象为储泥池的搅拌器、电动阀门，脱水机房的进泥泵、输送机、浓缩机、加药系统等设备。其I/O配置为：DI＝48、DO＝16、Al＝8。

5 系统软件
计算机操作系统采用Microsoft Windows 2000 Professional中文版操作系统。历史数据库采用Microsoft SQLServer 2000中文版软件。上位机监控软件采用GE公司的iFIX3.5组态软件来实现。

1）操作系统软件Windows 2000 Professional中文版操作系统提供了一个快速、高效的多用户、多任务操作系统环境，是目前使用广泛的工控操作系统。数据库服务器采用Windows2000 server中文版配合Microsoft SQL2000使用，用来保存历史数据。各工作站均采用Windows 2000 Professional中文版操作系统。

2）iFIX3.5监控软件实现了对整个系统的开关量、状态量、电量、模拟量的采集和处理，并显示在主工作站的界面上；对一些污水处理厂重要的物理量如各个进水泵的电流、频率、出口压力等都实时显示在主上作站的主界面上，便于调度员及时掌握系统的运行情况。

3）数据库服务器上安装Microsoft SQL2000中文版数据库软件，用来储存整个污水厂重要的历史数据，通过iFIX3.5与Microsoft SQL 2000的通讯来读取历史数据。单独设计一个数据库服务器可以避免因为系统局部故障导致历史数据丢失现象的发生。

4）STEP7可以利用IEC-1131标准中八种编程语言中的6种（STL、LAD、FBD、CFC、SFC和SCL）进行编程、本系统利用STEP7对西门子可编程序控制器进行配置、编程。

6 结束语
用西门子S-300 PLC设计的自控系统在该污水处理厂投入使用以来，运行至今系统稳定、可靠。设备具有调试简单、操作方便、使用安全、效率高、故障率低，污水处理效果好的特点，提高了劳动生产率，同时由于软硬件均采用模块化结构，方便了工程技术人员的安装、调试和维修。

D. 系统集成方面的工作主要做什么要会些什么

一个优秀的系统集成工程师应具备以下技能
1：网络
基础知识：深刻理解网络基本概念，例如ISO/OSI、TCP/IP、VLAN、各种LAN、WAN协议、各种路由协议、NAT等等

Cisco：熟悉Cisco产品线；会配置主要型号的交换机和路由器，不熟悉的设备能构独立查资料配置；熟悉Cisco一些主要的技术例如VOIP、Qos、ACL等；

Nortel：熟悉Nortel产品线；会配置主要型号的交换机和路由器，不熟悉的设备能构独立查资料配置；
Huawei-3com：熟悉Huawei-3com产品线；会配置主要型号的交换机和路由器，不熟悉的设备能构独立查资料配置；
Foundry：熟悉Foudry产品线；会配置主要型号的交换机和路由器，不熟悉的设备能构独立查资料配置；

2：主机
基础知识：熟悉服务器的基本知识，例如各种RAID、各种外设、SCSI卡等等
Sun Solaris：熟悉Sun小型机产品线，掌握各个版本的Solaris使用
IBM AIX：熟悉IBM小型机产品线，掌握各个版本的AIX使用
HP HP-UX：掌握HP-UX的基础知识
Linux：熟悉主流版本的Linux的安装、使用、配置
MS Windows：熟练掌握Windows NT、2000、2003的安装、使用、配置、排错

3：数据库与中间件
基础知识：深刻理解数据库的基本概念，会使用简单的SQL语句，了解数据库复制、数据仓库等高级概念
Sybase ASE：熟悉Sybase数据库的基本概念、体系结构、安装、配置、维护、排错、复制
Oracle DB：熟悉Oracle数据库的基本概念、体系结构、安装、配置、维护、排错、复制
MS SQL Server：熟悉MS SQL Server数据库的基本概念、体系结构、安装、配置、维护
IBM DB2：了解IBM DB2
MySQL：了解MySQL数据库在Windwos和linux下的安装和维护
Sybase EAserver：熟悉Sybase EAServer在各个平台的安装、配置和使用
Oracle AS：了解Oracle应用服务器的安装和配置
IBM WebSphere：熟悉IBM Websphere各个版本在各个平台的安装、配置和使用
Tomcat：了解Tomcat在Windwos和linux下的安装和维护

4：安全
基础知识：深刻理解网络安全的重要性，了解各种安全设备的作用
防火墙：深刻理解防火墙的基本概念和作用，了解主流的国内和国际品牌，在文档的帮助下能够独立配置使用和诸如联想、天融信等国产防火墙
入侵检测系统：深刻理解IDS基本概念和作用，了解主流的国内和国际品牌，在文档的帮助下能够独立配置和使用诸如金诺网安、绿盟等国产IDS
漏洞扫描系统：深刻漏洞扫描的基本概念和作用，了解主流的国内和国际品牌，在文档的帮助下能够独立配置和使用诸如榕基等国产扫描系统
VPN：了解VPN的基本概念
加密和认证：了解加密和认证的基本概念
安全隔离产品：了解安全隔离产品
网络反病毒：了解国内国际主流的反病毒厂商，能够熟练安装、配置、部署诺顿、卡巴斯基、瑞星等主流软件
邮件反病毒反垃圾：理解邮件反病毒反垃圾的重要性，了解反病毒反垃圾用到的主要技术，在文档的帮助下能够正确安装和配置国产邮件反病毒反垃圾软件 5：存储和备份
基础知识：了解存储的基本概念和主流厂商，了解磁带、DAS、NAS、SAN的基本概念
Sun存储：了解Sun的存储产品，在文档的帮助下能够独立配置Sun的存储产品
IBM存储：了解IBM的存储产品，在文档的帮助下能够独立配置IBM的存储产品
EMC存储：了解EMC的存储产品，在文档的帮助下能够独立配置EMC的存储产品 光纤Hub、光纤交换机：了解光纤Hub、光纤交换机的基本概念和主要作用
备份：深刻理解备份的重要作用，了解主流备份软件诸如ARC Server、NetBackup等软件的安装、配置和使用、熟悉主流数据库的备份方法和策略
6：音视频
视频会议：了解视频会议的基本概念、组成部分和协议，了解主流的视频终端和MCU，能够独立操作泰德的视频终端和Radvision的MCU
视频点播：了解视频点播和流媒体的基本概念、组成部分和协议，能够安装和配置视频点播所需要的软件（RealServer等）和硬件（视频采集卡等）
VOIP：了解VOIP的的基本概念和应用，了解语音网关和语音关守，能够配置
VoIP 组播：了解组播的基本概念和应用以及组播路由协议，能够配置简单的组播
各种音视频设备：了解各种音频、视频设备以及各种线缆，了解诸如智能法庭的整体结构

7：应用
HTTP：能够正确安装、配置和使用各种WWW服务器，例如IIS、Apache、IBM HTTP Server
FTP：能够在各种平台（windows、linux、Unix）下配置FTP服务器
Mail：能够在各种平台（windows、linux、Unix）下配置Mail服务器，能够安装和配置中软和Eyou的mail Server
DNS：能够在各种平台（windows、linux、Unix）下配置DNS服务器
公司自主软件：熟悉公司的自主软件，在文档帮助下，能够独立安装公司的**信息系统、**信息系统、**软件等所有软件
其他：能够熟练使用客户端和服务器端各种软件，能够独立在互联网上找到自己所需的软件

8：弱电
了解综合布线、门禁、监控、智能建筑等基本概念，熟练制作各种网络线缆

9：其他专项技术
高可用性：理解高可用性的概念，能够安装配置IBM HACMP、Rose、Sun Cluster的安装、配置和维护
呼叫中心：理解呼叫中心的基本概念和组成部分
UPS：熟悉UPS的基础知识、自己能够独立安装小型UPS、熟悉各种电缆
电信：熟悉各种电信线路，了解电信的各种信令
WLAN：了解无线局域网的基本概念和组成部分
网络管理：了解网络管理的作用和网络管理协议（SNMP、RMON等），能够使用Cisco Ciscoworks、Nortel Optivity、HP OpenView等产品，能够用Sniffer等软件对网络进行监控和排错
10：项目管理

E. 数据中心可视化管理平台是什么东西

数据可视化管理平台是将传统的数据中心通过现代信息化、数字化技术手段，构建出一套全面完善的智能化、绿色化数据中心监控系统，进而加强能耗管理、提高设备运行效率和管理人员的工作效率，摆脱繁多的基础设施维护工作，将更多的精力投入核心业务的管理中，为全方位绿色数据中心提供可靠保障。

且具有完善的故障预警告警、事件自诊断、分析等功能，对于超过性能阈值的性能指标系统，能够进行故障告警或预警并通知相应的运维管理人员，并做到保存历史信息和报警事件。

数据中心可视化总的来说就是将多种复杂的管理系统信息聚集在虚拟仿真环境下，以人类最直观的理解形式展现，大幅度提升了信息交互和操控的效率，减少时间损耗和信息的浪费，保证信息的及时性和准确性。继而实现了数据中心端到端的IT可视化，强化IT管制手段和管理水平，包括缩短响应时间加速排障，提升资源利用率和运营效率过程，最终完成对数据中心高效绿色智能化运营。由此为数据中心科学决策有效管理打下夯实的基础。

F. 数据中心是什么其系统结构和工作原理是怎样的呢

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。
先大概列一下互联网行业数据仓库、数据平台的用途：

• 整合公司所有业务数据，建立统一的数据中心；

• 提供各种报表，有给高层的，有给各个业务的；

• 为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；

• 为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；

• 分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；

• 开发数据产品，直接或间接为公司盈利；

• 建设开放数据平台，开放公司数据；

• 。。。。。。



• 上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；


• 其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；


• 建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。


• 整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：


• 逻辑上，一般都有数据采集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同，本质上的角色都大同小异。


• 我们从下往上看：


• 数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。



• 数据源的种类比较多：



• 网站日志：



• 作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，


• 一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；



• 业务数据库：



• 业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapRece来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。


• 当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。



• 来自于Ftp/Http的数据源：



• 有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；



• 其他数据源：



• 比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；



• 数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。



• 离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapRece要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；


• 当然，使用Hadoop框架自然而然也提供了MapRece接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapRece来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapRece要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》


• 实时计算部分，后面单独说。


• 数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；



• 前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据；和数据采集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。


• 另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。



• 数据应用

• 业务产品
  



• 业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；



• 报表



• 同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；



• 即席查询



• 即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；


• 这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。


• 即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。


• 当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。



• OLAP



• 目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；


• 这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；


• 比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。



• 其它数据接口
  



• 这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。



• 实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。


• 我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。


• 做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。


• 任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据采集任务、数据同步任务、数据分析任务等；



• 这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据采集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始；这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。


• 前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。


• 总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的资源专注于业务之上。

G. 数据中心建设的未来前景如何

合作过数据中心项目，其实结合当前互联网技术 ，前景是很可观的，随着数字化的快速推进，数据中心的变化将更能体现新基建"基建+科技"的内涵。对于数据中心而言，进行技术创新，能够合理存储和处理数据，满足上层需求，支撑数字经济腾飞，才能实现其真正价值。

针对数据中心系统复杂、多场景和动态性的特点。以 HTML5 的 WebGL 标准实现 3D 的图形渲染技术，以及基于浏览器内核嵌入到小程序实现更方便传播。并采用图扑软件（ Hightopo）轻量架构使其支持跨平台展示，实现多端口海量数据的分析。

通过线上监控系统了解设备健康状况，可远程查看机柜的检修记录、履历信息和历史故障，为评估设备安全提供了直观的数据基础。运维人员摆脱了机械性的工作，缓解运维压力。

HT 的三维仿真技术适用强，功能全面、性能稳定，结合集装箱式数据中心自身优势，应用起来无疑是锦上添花。将数据全面集成，改变数据孤岛现象，成为实现数据中心扁平化、集约化、一体化有力的助推剂，为机房监控的发展带来革命性的进步。

H. 系统集成公司主要的工作是什么

系统集成商（英文System Integrator），是指具备系统资质，能对行业用户实施系统集成的企业。系统集成包括设备系统集成和应用系统集成，因此系统集成商也分为设备系统集成商（或称硬件系统集成商、弱电集成商）和 应用系统集成商（即常说的行业信息化方案解决商）。设备系统集成商进一步细分为智能建筑系统集成商、计算机网络系统集成商、安防系统集成商（安防工程商）。
如果把系统集成的运作比作工业流水线，面临三个要点：专而精、分工划分、协调管理。其管理的关键在于责、权、利。
1，系统集成的组织职能划分：
依功能划分：销售、市场、技术，包含以下要素：市场：系统行销市场的分析、策划、管理，并对新产品的研发提出市场性指导意见。销售：总负责与具体客户的商 务人员的接触、跟踪、关系。®售前：对销售人员负责，为具体客户的技术人员提供产品技术介绍、具体系统解决方案。
工程：对项目组负责，完成项目的工程实施。
售后服务：对项目组负责，完成项目的售后持续性技术维护和服务。
产品开发：负责软硬件产品的具体开发实施。
专家机构：
研究跟踪新产品、新技术，提出系统模式和具体系统技术解决方案。
对售前为客户提供的系统方案进行评审。
对产品开发提供系统模式、开发平台的评审和指导。
2，依行业性市场划分
依据行业划分，要求各级人员除了对本职工作的专而精，还要有对行业关系、行业业务知识的深入了解。可以结合以上两点，以行业，结合具体情况划分系统集成的各职能部门。

I. 什么是系统集成

系统集成就是通过结构化的综合布线系统和计算机网络技术，将各个分离的设备(如个人电脑)、功能和信息等集成到相互关联的、统一和协调的系统之中，使资源达到充分共享，实现集中、高效、便利的管理。

从事系统集成的公司要求：不仅要精通各个厂商的产品和技术，能够提出系统模式和技术解决方案。更要对用户的业务模式、组织结构等有较好的理解。同时还要能够用现代工程学和项目管理的方式，对信息系统各个流程进行统一的进程和质量控制，并提供完善的服务。

(9)去数据中心还是系统集成上班扩展阅读：

系统集成公司的发展方向：

1.产品技术服务型

以原始厂商的产品为中心，对项目具体技术实现方案的某一功能部分提供技术实现方案和服务，即产品系统集成。

2.系统咨询型

对客户系统项目提供咨询（项目可行性评估、项目投资评估、应用系统模式、具体技术解决方案）。如有可能承接该项目，则负责对产品技术服务型和应用产品开发型的系统集成商进行项目实现招标、并负责项目管理（承包和分包）。

3.应用产品开发型

表现在与用户合作共同规划设计应用系统模型，与用户共同完成应用软件系统的设计开发，对行业知识和关键技术具有大量的积累，具有一批懂行业知识又懂计算机系统的两栖专业人员。为用户提供全面系统解决方案，完成最终的系统集成。

4.系统集成新概念

其商业模式是销售其软件、硬件和服务及融资的四位一体合同，其解决方案的核心是在数据整合互联化的基础上实现城市交通、水资源利用、医疗体系、平安保障和应急系统的智能化。

参考资料：网络-系统集成