cephredis去中心

1. b站現在用的是金山的伺服器嗎

b站的客戶端就是外包給金山團隊做的。內部相當於是私有雲了，游戲業務用公有雲多些。

B站技術氛圍濃厚，愛開源、愛新技術，所以使用了大量的開源組件，包括SheepDog和GlusterFS（卡成翔），其中最大的坑是 SD卡 + Ceph存儲。Ceph本身的設計非常好，但是姿勢不對也會死很慘。比如B站的某套伺服器集群用 SD卡來跑系統，結果 SD卡跪了導致系統也跪了。

所有虛擬機的磁碟io都卡頓甚至死機，經過不斷調優終於還是穩定了。Ceph給我最大的安慰是：它沒有丟數據，沒有丟！

此外，Redis3.0、Codis、Twemproxy等開源系統都在B站得到了使用，最後我們自研了 BiliTW（已開源），主要原因是 Codis現在沒更新了，Twemproxy的性能比較差，特別是後端Redis多的情況下（而且它和Redis一樣、只吃單核）。BiliTW最大的改進是支持多核，增加了一些易於運維的功能。

B站伺服器為屢次被「炸」，原因：

首先，每個公共伺服器都會根據日常流量定製合適的伺服器，在控製成本的基礎上保證用戶可以正常訪問，B站伺服器癱瘓的原因就是一個時段訪問用戶激增，超出正常伺服器負荷范圍，所以導致無法正常使用。但是正常情況下還有許多能導致伺服器癱瘓的原因。

2. 如何基於 Ceph 構建高性能塊存儲服務

Ceph是一個分布式存儲系統，支持對象文件快介面，設計目標是:
• 所有組件橫向擴展
• 沒有單點故障
• 可以在普通廠商硬體使用
• 所有機制都能自我管理
• 開源
分布式存儲的應用場景相對於其存儲介面，現在流行分為三種:
1.對象存儲: 也就是通常意義的鍵值存儲，其介面就是簡單的GET,PUT，DEL和其他擴展，如七牛、又拍，Swift，S3等。
2.塊存儲: 這種介面通常以QEMUDriver或者KernelMole的方式存在，這種介面需要實現Linux的Block Device的介面或者QEMU提供的Block Driver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RDB(RDB是Ceph面向塊存儲的介面)。
3、文件存儲: 通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。
提到存儲的種類就不得不提到另外一個話題：存儲不能做統一化嗎？因為必須要有多個不同的軟體棧去管理不同的存儲設備：SSD，SATA等。
Ceph就此提出了不同觀點，RADOS提供了基礎的存儲設備的管理、數據控制流訪問的管理，提供的是一個可靠持久的數據存儲平台，基於其上，我們可以實現多個不同的介面戶來實現面向不同需求的對接，比如對象存儲我們有一個單獨的庫實現去滿足不同的存儲需要，比如我們塊存儲是通過RDP來實現。
統一存儲並不意味著所有存儲都的同一個介面，同一個實現，同一個軟體棧，它其實只是使用了同一個設備管理的生命周期和數據訪問的有效控制，它提供了一個相對合理，非常適合運維的，利於成本，利於軟體可靠性控制的的機制去保證我們的存儲的可靠。
舉一個例子，大部分存儲廠商甚至網路廠商都有一個自己的核心軟體棧，如文件系內核。基於其上演化出各種不同的產品線。如果廠商要追求各個產品線的極致是不是就應該每個產品完全獨立來追求極致，但事實上一個核心的底層技術棧需要高質量的代碼、完備的測試和長期的使用。在Ceph這里，一個分布式系統的並發IO、分布式恢復、數據端到端校驗等等關鍵實現是唯一實現，成熟的系統系統在這些實現上需要經過一定量級和時間的考驗，這才是Ceph所謂的統一存儲，而不是其他的介面堆疊式開發。
【Ceph和其他開源分布式存儲、其他商用存儲的區別之處在哪？】
眾所周知，很多傳統廠商如日立、富士通等存儲大廠也採用了Ceph作為它們存儲硬體的載體，Ceph能提供企業級的存儲服務一定有它的優勢，才能讓傳統的存儲廠商棄而採用開源的存儲方案。
1、中心化系統我們認為它在數據控制系統方面做的較好，在遷移運維方面提供較好的實現，但卻有元數據的瓶頸。在訪問數據時需要經過元數據伺服器的查詢再去尋找相應的數據伺服器會在大規模擴展時遇到性能瓶頸問題。
2、全分布式系統雖然提供較好的數據訪問能力，能高效處理客戶端的LO請求，但是卻沒有提供一個非常好的數據控制的實現，比如故障處理能力不足，數據恢復的困難，如果跳出中心化的元數據存儲系統它沒辦法做到強一致性的數據恢復。
彈性的數據分布策略和物理拓撲輸入實現了高可用性和高持久性，Ceph的高性能重構還體現在利用CRush演算法對數進行約束，避免數據分布到所有的集群的一個節點上，利用Ceph設計並提供的一個由CRush演算法來支持一個高自由化的存儲集群的設計，實現高可靠性，高持久性，高性能。

3. 黑馬程序員Linux運維培訓怎麼樣

1、什麼是運維工程師？

運維工程師，伺服器與系統安全穩定的掌舵者！當一個產品（如Web網站、APP軟體、網路游戲等）正式上線後，產品、開發、測試類的工作就正式結束了，接下來的維護和管理工作就會全部移交給運維工程師。

運維工程師的主要工作職責就是負責伺服器的架構設計以及雲計算平台管理，保障軟體的穩定運行。沒有開發以及測試類工作復雜且工作解決方案相對固定。更重要的是沒有年齡以及學歷的限制，隨著工作年限和工作經驗地增長，也會越老越吃香。

2、運維工程師工作場景

運維學科2019全年所有班級就業率93.5%，平均薪資8.7k起，最高薪資25k* 14薪

三、運維課程

1、第一階段：Linux運維基礎功

運維基礎：運維發展史、計算機概述、計算機組成、操作系統學完此階段可掌握的核心能力：熟練掌握Linux操作系統的安裝(CentOS7.6)、配置、基礎命令、VIM編輯器、用戶管理、許可權管理、自有服務、進程檢測與控制、阿里雲平台管理、開源CMS項目上線部署實戰。

Linux操作系統：Linux系統概述、虛擬機、CentOS7.6系統安裝，Linux基礎命令

Linux下文件管理（上）：文件命名規則、目錄管理、文件管理、文件復制與剪切、重命名、Linux文件打包與壓縮、文件處理命令

Linux下文件管理（下）：VIM編輯器介紹、VI與VIM的區別、VIM安裝與配置、四種工作模式（命令模式，編輯模式，末行模式，可視化模式）、相關VIM指令、VIM擴展功能、VIM總結

Linux下用戶管理：用戶和組的相關概念、用戶組管理、用戶管理、用戶密碼設置、切換用戶、Linux用戶管理實戰

Linux下許可權管理：許可權的基本概念、許可權在生產環境中的作用、Linux許可權類別（rwx）、Linux文件所有者類別（ugo）、普通許可權設置（字母+數字）、文件屬主與屬組設置、高級許可權、ACL許可權控制、umask

Linux下自有服務+軟體包管理：自由服務概述、systemctl管理服務命令、ntp時間同步服務、firewalld防火牆、crond計劃任務、設備掛載與解掛、rpm包管理工具

Linux進程檢測與控制：進程與程序的概念、進程管理命令（top命令，free命令，df命令，ps命令，netstat命令，kill命令與killall命令）、進程優先順序設置

阿里雲平台管理與開發CMS項目上線部署實戰：雲計算平台概述、阿里雲平台注冊、登錄與管理、項目背景、LAMP環境概述、YUM指令、LAMP環境搭建、開源CMS項目上線部署實戰

學完此階段可解決的現實問題：能夠根據企業實際項目需求實現伺服器部署與架構。

學完此階段可擁有的市場價值：熟練掌握之後，可以滿足市場對初級運維工程師的需求，但是市場就業工資相對較低，還是建議繼續學習就業班課程。

2、第二階段：Linux系統服務篇

Linux高級指令：基礎命令回顧、find命令之高級搜索、tree命令、scp文件上傳與下載、計劃任務crontab + tar實現定時備份、用戶管理高級、文件許可權管理高級

Linux下軟體包管理：軟體包管理任務背景、Linux下軟體包概述、RPM包管理工具、YUM包管理工具、YUM源配置（公網YUM源，本地YUM源、自建YUM源倉庫）、源碼安裝概述、源碼安裝三步走、源碼安裝實戰

Linux遠程管理服務SSH：SSH任務背景、SSH服務概述，yum源配置，SSH服務安裝與配置實戰，公私鑰概念，SSH免密碼登錄

Linux數據同步RSYNC：RSYNC任務背景、RSYNC介紹、RSYNC基本語法、本機同步與遠程同步、把RSYNC作為系統服務、RSYNC結合INOTIFY實現實時同步、RSYNC託管XINETD

Linux下文件共享服務FTP、NFS、SAMBA：文件共享任務背景、FTP服務介紹、FTP工作模式（主動模式+被動模式）、FTP服務搭建、客戶端工具（ftp、lftp使用）、FTP訪問控制、NFS服務介紹、NFS服務搭建、配置文件詳解、NFS任務背景及解決方案、SAMBA服務介紹、SAMBA服務搭建、配置文件詳解、文件共享服務總結

DNS域名管理服務：DNS服務介紹、DNS的作用、DNS服務搭建、正向解析、反向解析、多域搭建、NTP時間伺服器、主從DNS架構

源碼構建LAMP環境及部署業務應用：LAMP任務背景、Web伺服器環境准備、軟體編譯回顧、編譯安裝MySQL、編譯安裝Apache、編譯安裝PHP、後期配置、Web應用系統部署實戰

Linux下日誌管理服務RSYSLOG：日誌管理任務背景、查看日誌、日誌管理服務（RSYSLOG概述，日誌列表，日誌級別，相關符號，配置文件）、RSYSLOG本地日誌管理、RSYSLOG遠程日誌管理、日誌管理應用實踐

Linux 磁碟管理：磁碟管理任務背景、磁碟管理概述、fdisk命令詳解、Linux分區概述、Linux分區實戰、邏輯卷介紹、邏輯卷基本概念（PV、VG、PE、LV）、邏輯卷LVM應用操作實戰、RAID介紹、RAID常見級別、軟硬RAID、軟RAID應用實踐

Shell腳本編程：Shell概述、變數、Shell流程式控制制、Shell數組、Shell函數、Shell特殊用法、正則表達式、Shell編程實戰

資料庫DBA：MySQL概述，MySQL5.7安裝，MySQL配置，MySQL基本操作、SQL語句詳解、MySQL索引、MySQL備份與還原、MySQL主從復制、MHA高可用架構、MySQL企業級應用實戰

學完此階段課掌握的核心能力：

1、了解Linux系統運行原理，實現Linux伺服器的維護與管理；

2、了解Linux系統相關服務，能根據企業需求實現企業運維工作。

學完此階段可解決的現實問題：能實現企業Linux伺服器的日常維護與管理，搭建SSH、文件共享、DNS、Apache等服務、能獨立完成系統日誌分析、Shell腳本編程、資料庫DBA等相關工作。

學完此階段可擁有的市場價值：熟練學習和掌握後，可滿足企業運維的初中級需求。

3、第三階段：千萬級商城系統架構設計

源碼構建企業級LNMP架構及電商系統上線部署：千萬級商城系統架構設計任務背景、Web項目開發流程、Linux伺服器環境准備、LNMP環境概述、MySQL資料庫服務搭建、Nginx軟體服務搭建、PHP軟體服務搭建、Web商城項目部署上線

大型WEB服務軟體Nginx部署介紹使用：Nginx軟體概述、Nginx平滑升級、nginx.conf配置文件詳解、虛擬主機配置、Nginx默認官方模塊詳解（GZIP壓縮，客戶端緩存，反向代理，基於IP/用戶的訪問控制，目錄顯示）、日誌管理、日誌輪轉、第三方日誌管理軟體GoAccess、Location區塊、URL重寫、第三方模塊安裝與配置、Nginx安全管理、Nginx其他衍生版本（Tengine，OpenResty）

WEB高可用集群架構設計及實現（keepalived）：WEB高可用集群架構設計任務背景、單點資料庫遷移、HA高可用集群概述、Keepalived軟體介紹、Keepalived組成和原理、VRRP協議、安裝與配置Keepalived、Nginx服務高可用實踐、Keepalived擴展內容（非搶占模式、VIP腦裂、單播模式）

WEB負載均衡伺服器集群架構設計及實現LB(Nginx/LVS/HAProxy)：WEB負載均衡伺服器集群架構設計任務背景、為什麼需要LB負載均衡技術、LB負載均衡架構圖、負載均衡分類、常見負載均衡實現方式、LB負載均衡環境准備、Nginx負載均衡實現、負載均衡演算法、Session共享解決方案、高可用負載實踐; LVS概述、LVS工作原理、LVS核心組件、LVS三種工作模式（NAT模式、DR模式、TUN隧道模式）、LVS/NAT原理和特點、LVS/DR原理和特點、LVS/TUN原理和特點、LVS的十種調度演算法、LVS/NAT模式部署實踐、LVS/DR模式部署實踐; HAProxy概述、HAProxy安裝與部署、haproxy.cfg配置文件詳解、常見問題分析、HAProxy調度演算法、HAProxy負載均衡應用實踐

MyCAT讀寫分離：MySQL讀寫分離任務背景、讀寫分離的目的、讀寫分離常見的實現方式、搭建M-S主從復制、代碼實現讀寫分離、MyCAT實現讀寫分離實戰（JDK配置、MyCAT配置文件詳解、讀寫分離實踐、高可用實踐、分庫分表、MyCAT企業級案例實踐）

非關系型資料庫NoSQL(Memcache/Redis/MongoDB)：非關系型資料庫任務背景、Web項目訪問流程、優化方案、緩存技術引入、memcached介紹、memcached安裝與部署、telnet客戶端使用、memcached指令詳解、memcached tools工具使用、LRU失效機制、PHP memcached擴展安裝、Session入memcached、緩存項目的熱點數據; Redis介紹、Redis應用場景、Redis源碼安裝、客戶端工具使用、Redis數據結構詳解、數據持久化操作（快照+AOF）、企業級案例（主從，安全限制，PHP Redis擴展，Session入Redis）;MongoDB任務背景、MongoDB安裝和配置、數據結構類型操作CURD、MongoDB安全設置、PHP擴展、桌面管理軟體、企業級日誌統計實踐

JAVA項目架構設計實戰（LNTM架構）：Java項目任務背景、Tomcat概述、Tomcat安裝與部署、Tomcat企業級管理、Host虛擬主機配置、Server Status伺服器狀態、應用管理、Nginx動靜分離、Nginx+Tomcat負載均衡、Maven概述、Maven項目打包、Maven項目部署

存儲（NAS/SAN/GlusterFS/Ceph)：存儲概述、Linux存儲分層、存儲的分類（DAS，NAS，SAN）、存儲類型的分類（文件存儲、塊存儲、對象存儲）、SAN的分類、IP-SAN之iscsi實現; 分布式存儲、Glusterfs介紹、raid級別回顧、常見卷的模式、Glusterfs集群、環境准備、集群部署、創建glusterfs存儲卷、客戶端使用、卷的刪除、常見卷類型（stripe模式、distributed模式、distributed-replica模式、dispersed模式、distributed-dispersed模式）、其它卷類型、glusterfs分部署存儲應用實戰; 認識Ceph、Ceph架構原理圖、Ceph集群、Ceph集群組件、Ceph集群環境准備、Ceph集群部署實踐、RADOS原生數據存取、Ceph文件存儲、Ceph塊存儲、Ceph對象存儲、Ceph對象存儲+owncloud打造雲盤系統、Ceph Dashboard(拓展)

配置自動化（Ansible/SaltStack）：自動化運維任務背景、認識ansible、ansible安裝與配置、伺服器分組、ansible模塊（hostname模塊，file模塊，模塊，yum模塊，service模塊，command和shell模塊，scriYAML格式pt模塊）、playbook介紹、playbook實例、playbook編排應用、roles介紹、roles的目錄結構、roles應用案例; saltstack介紹、saltstack安裝與配置、saltstack遠程執行命令、grains、pillar、配置管理文件、配置管理目錄、配置管理命令、配置管理計劃任務、其他命令、salt-ssh使用

企業級監控平台（Zabbix/Prometheus）：企業級監控任務背景、監控的目的、主流的開源監控平台、Zabbix概述、Zabbix伺服器安裝、Zabbix監控本機與遠程主機、模板、監控項與應用集、圖形、觸發器、報警、Zabbix代理、主動監控與被動監控、Zabbix應用部署實戰; 認識Prometheus、Prometheus原理架構圖、Prometheus監控安裝部署、Prometheus監控遠程主機、遠程MySQL、Grafana介紹、Grafana安裝與登錄、Prometheus結合Grafana實現Linux系統監控、CPU監控、MySQL監控等等、Grafana報警系統實踐

企業級日誌分析（ELK/Kafka)：ELK任務背景、ELK概述、elasticsearch部署、elasticsearch基礎概念、elaticsearch基礎API操作、ES查詢語句、elasticsearch-head、logstash簡介、logstash部署、日誌採集、採集messages日誌、採集多日誌源、kibana介紹、kibana部署、kibana漢化、通過kibana查看集群信息、通過kibana查看logstash收集的日誌索引、通過kibana做可視化圖形、filebeat介紹、filebeat收集日誌、filebeat傳輸給logstash、filebeat收集nginx日誌、filebeat日誌過濾

CI/CD（Git、Gitlab、Jenkins）：CI/CD任務背景、版本控制概念、Git安裝、Git身份設置、Git創建本地倉庫、Git暫存區、Git版本控制、Git分支管理、擴展：Windows版Git; Github概述、GitHub注冊、創建項目、遠程倉庫、免密push、分支、多人協作; GitLab介紹、GitLab下載、安裝與配置、GitLab配置、倉庫管理、持續集成（CI）、持續交付（CD）、藍綠部署、滾動更新、灰度發布

運維安全（SSL與CA認證/防火牆/ VPN/JumpServer與Teleport跳板機）：運維安全任務背景、運維安全概述、硬碟分區加密（擴展）、對稱加密、非對稱加密、數字簽名、SSL與CA認證、SSL介紹、CA認證介紹、https應用實踐; 防火牆概述、iptables的應用、iptables防火牆結構、iptables基本語法、iptables四表五鏈、企業級防火牆規則設置、firewalld包過濾、firewalld與iptables的區別、firewalld防火牆規則設置、firewall-config圖形模式; VPN任務背景、隧道介紹、net-to-net隧道通訊、VPN介紹、IPSec協議、libreswan實現net-to-netVPN、三網路VPN互聯、roadwarrior VPN（libreswan實現點對網VPN，openvpn實現點對網vpn，使用pptpd實現VPN），PAM認證，LDAP，開源堡壘機jumpserver，輕量級開源堡壘機teleport(拓展)

學完此階段可掌握的核心能力：

1、 具備Linux伺服器架構設計能力，保證應用架構合理可控；

2、具備監控檢查系統軟硬體運行狀態，保證系統安全穩定運行的能力；

3、具備CI/CD持續集成/持續支付能力；

4、具備配置自動化以及日誌分析能力；

5、具備解決復雜問題和技術難點的能力。

學完此階段可解決的現實問題：

1、掌握Java、PHP伺服器架構能力；

2、能夠獨立搭建企業級高可用伺服器（集群、高可用、負載均衡、緩存、存儲）；

3、掌握阿里雲/華為雲產品實戰；

4、能使用Zabbix/Prometheus搭建企業級監控；

5、能夠熟練掌握CI/CD持續集成/持續支付工具；

6、能夠使用Ansible/SaltStack實現運維自動化；

7、能使用ELK實現企業級日誌分析；

8、能夠掌握常見運維安全防護手段。

學完此階段可擁有的市場價值：熟練掌握和學習後，可滿足Linux運維行業中高級需求。

4、第四階段：Linux雲計算運維

KVM虛擬化：KVM任務背景、計算機工作原理、虛擬化概述與分類、KVM環境准備、KVM安裝、使用KVM安裝虛擬機、KVM基礎管理命令、KVM配置文件、KVM克隆、KVM網路管理、快照、設備管理、存儲池管理、磁碟鏡像管理、虛擬機快速創建腳本

公有雲運維（阿里雲[ECS/RDS/SLB/CDN/OSS/NFS]）：公有雲任務背景、阿里雲概述、VPC專有網路、阿里雲安全組、雲伺服器ECS、自定義鏡像、阿里雲SLB、阿里雲RDS、阿里雲存儲（NAS與OSS）、CDN、域名與域名解析、SSL證書、數據傳輸DTS、雲監控、DDOS高防、容器服務、公有雲企業級案例應用實踐

私有雲運維之OpenStack平台：私有雲任務背景、OpenStack概述、OpenStack組件及其作用（Compute 計算服務、Networking 網路服務、Object Storage 對象存儲、Block Storage 塊存儲服務、Identity 身份認證、Image Service 鏡像服務、Dashboard UI頁面、Metering 測量服務、Orchestration 編排部署、Database Service 雲資料庫）、OpenStack自動部署、OpenStack手工部署、OpenStack雲平台應用實踐

Docker容器技術：Docker容器技術任務背景、PAAS平台介紹、認識容器、Docker介紹、Docker內核技術（NameSpace，Control Group，LXC與docker區別）、Docker環境准備、Docker軟體安裝、Docker Daemon管理、鏡像、容器、倉庫、Docker存儲驅動、Docker應用實踐、Dockerfile概述、使用Dockerfile構建鏡像、單宿主機容器互聯方式、Docker網路、Docker的Web管理平台、Docker三劍客（Docker machine、Docker compose、Docker swarm）、Docker容器應用部署實踐

Kubernetes(K8S)容器編排工具：Kubernetes(K8S)容器編排任務背景、認識容器編排、Kubernetes概述、Kubernetes架構、集群部署方式、Kubeadm部署Kubernetes集群、集群與節點信息、節點標簽、namespace命名空間、工作負載(workloads)、pod概述、pod分類、pod的YAML格式、pod資源限制、pod調度、pod生命周期、pod控制器、service、ingress controller、kubernetes存儲卷、ceph集群部署、ConfigMap、Secret、PV與PVC、API網關 kong、包管理方案 helm2、存儲解決方案 GlusterFS、服務網格 istio、監控解決方案 heapster、應用實踐 gitlab-ce、應用實踐 jenkins、應用實踐 kafka、應用實踐 zookeeper應用實踐 配置中心Apollo

綜合案例：Docker+K8S企業級項目應用實踐

學完此階段可掌握的核心能力：

1、熟練掌握虛擬化技術；

2、掌握公有雲與私有雲架構實戰；

3、熟練使用容器與容器編排工具；

4、熟練掌握企業級雲計算技術應用實踐。

學完此階段可解決的現實問題：

1、能夠使用KVM實現虛擬化；

2、能夠掌握公有雲與私有雲伺服器架構實戰；

3、能夠熟練使用Docker容器；

4、能夠熟練使用Kubernetes（K8S）容器編排工具；

5、能夠熟練掌握Docker+Kubernetes（K8S）項目架構設計

學完此階段可擁有的市場價值：熟練掌握和學習後，可滿足Linux雲計算架構工程師的高級需求。

5、第五階段：Python CMDB運維開發（DevOps）

HTML5：HTML簡介、HTML標簽詳解、字元編碼的奧秘、HTML5新特性與常用標簽

CSS3：CSS簡介、CSS的引入方式、CSS基本選擇器、CSS屬性、盒子模型、CSS浮動、CSS3新特性與常用屬性、CSS應用案例

Bootstrap：Bootstrap環境搭建、全局樣式、網頁排版、表單、圖片及輔助類、網頁布局、Bootstrap組件、CMDB後檯布局實戰

JavaScript/Ajax/jQuery：JavaScript簡介、Javascipt語法基礎、BOM模型、DOM模型、Ajax概述、Ajax中的get與post請求、Ajax案例、jQuery框架概述、jQuery選擇器、jQuery事件、jQuery與Ajax、JavaScript應用實踐

Python基礎：Python概述、Python環境部署、變數、標識符和關鍵字、輸入和輸出、數據類型轉換、條件控制語句和循環語句、容器類型、函數、文件操作

Python高級：面向對象、異常處理、模塊和包、Python與MySQL應用實踐

Django框架：Django框架介紹、Django模型、ORM及資料庫操作、視圖及模板、Django中間件

綜合項目：Python+Django實現CMDB企業自動化運維平台

學完此階段可掌握的核心能力：

1、掌握Web前端開發相關技術如HTML5/CSS3/JavaScript；

2、掌握Python運維相關模塊；

3、掌握Python Django框架；

4、具備一定的Python運維開發能力。

學完此階段可解決的現實問題：

1、具備一定的編程思維，為未來系統架構師鋪路搭橋；

2、能夠熟練掌握Python運維相關模塊實現運維管理；

3、能夠使用Python+Django開發企業自動化運維平台。

學完此階段可擁有的市場價值：熟練掌握和學習後，可滿足Linux運維行業的高級需求。

4. linux運維就業前景怎麼樣

linux運維這個行業是最被應屆大學畢業生誤解的行業之一。
通常是沒有自信學成像Java開發這樣的技術的學生，退而求其次選擇入行運維，好像既簡單容易又能領到高薪 走向人生巔峰。豈不知魚和熊掌不能兼得。
技術含量低的行業註定容易被替代，價值不高，待遇也不可能如培訓機構宣揚的那樣。
就算一定要學，IT培訓學校要找好，不要去一個品牌的子品牌或者外地開的分校。

5. 孤島危機3ceph首腦狂按空格沒用

打主腦我觸發了3次，被扔到天上然後按空格，基本上步驟是：打中間的類似眼睛的地方，觸發他變成轉頭，跑路躲轉頭，主腦會張開三個轉頭出現三個紅色能量炮，這時攻擊主腦中心與這個能量炮中間的位置（共三個），會爆炸打斷，然後觸發主角飛天空格動畫。

6. 求助：哪些公司可以提供大數據處理分析解決方案

上海獻峰網路指出：你要的大數據分析解決方案大全都在這

從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？

一、大數據分析的五個基本方面

1. Analytic Visualizations（可視化分析）
不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。

2. Data Mining Algorithms（數據挖掘演算法）
可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。這些演算法不僅要處理大數據的量，也要處理大數據的速度。

3. Predictive Analytic Capabilities（預測性分析能力）
數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

4. Semantic Engines（語義引擎）
我們知道由於非結構化數據的多樣性帶來了數據分析的新的挑戰，我們需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。

5. Data Quality and Master Data Management（數據質量和數據管理）

數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

假如大數據真的是下一個重要的技術革新的話，我們最好把精力關注在大數據能給我們帶來的好處，而不僅僅是挑戰。

二、大數據處理

周濤博士說：大數據處理數據時代理念的三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。

具體的大數據處理方法其實有很多，但是根據長時間的實踐，筆者總結了一個基本的大數據處理流程，並且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步，分別是採集、導入和預處理、統計和分析，以及挖掘。

採集

大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。

導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。

導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC 的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。

統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

挖掘

與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的K-Means、用於統計學習的SVM和用於分類的Naive Bayes，主要使用的工具有Hadoop的Mahout等。

該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，還有，常用數據挖掘演算法都以單線程為主。

7. 學習Linux能做什麼

linux命令是對Linux系統進行管理的命令。對於Linux系統來說，無論是中央處理器、內存、磁碟驅動器、鍵盤、滑鼠，還是用戶等都是文件，Linux系統管理的命令是它正常運行的核心，與之前的DOS命令類似。linux命令在系統中有兩種類型：內置Shell命令和Linux命令。

模式切換

1、由圖形到字元＃logout或init 3。

2、由字元到圖形界面init 5。

3、退出consolelogout或exit或ctrl+d。

4、注銷Ctrl + Alt + Backspace。

5、關機＃poweroff或init 0或shutdown -h now或halt -p。

6、重啟＃reboot或init 6或shutdown -r now。

8. 如何配置Ceph對象存儲作為KVM虛擬機外部存儲

Ceph對象存儲只有在特定環境中才能夠發揮最佳性能表現。這款產品在研發過程中考慮到雲環境相關需求，且價格適中，能夠輕松擴展成PB級存儲。
但是部署Ceph並不簡單，IT員工必須對產品進行充分了解。
相比於現在大部分數據中心使用的傳統SAN產品，Ceph能夠大幅度降低存儲成本。這使得Ceph成為一種適用於大規模環境的理想存儲產品，但是並不適用於只需要幾台虛擬機的小型企業。

9. 可以把ceph作為對象存儲，用於生產環境嗎

Swift在小文件對象（如圖像）存儲上，性能很好。Ceph目前坑還是比較多，不是很穩定，如果沒有研發能力，只是做對象存儲，不建議在生產環境中用。

10. ceph 對於伺服器配置有要求嗎

那麼雲計算有哪些特點呢？

1、超大規模 「雲」具有相當的規模，Google雲計算已經擁有100多萬台伺服器，亞馬遜、IBM、微軟和Yahoo等公司的「雲」均擁有幾十萬台伺服器。「雲」能賦予用戶前所未有的計算能力。

2、虛擬化 雲計算支持用戶在任意位置使用各種終端獲取服務。所請求的資源來自「雲」，而不是固定的有形的實體。應用在「雲」中某處運行，但實際上用戶無需了解應用運行的具體位置，只需要一台筆記本或一個PDA，就可以通過網路服務來獲取各種能力超強的服務。

3、高可靠性 「雲」使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性，使用雲計算比使用本地計算機更加可靠。

4、通用性 雲計算不針對特定的應用，在「雲」的支撐下可以構造出於變萬化的應用，同一片「雲」可以同時支撐不同的應用運行。

5、高可伸縮性 「雲」的規模可以動態伸縮，滿足應用和用戶規模增長的需要。

6、按需服務 「雲」是一個龐大的資源池，用戶按需購買，像自來水、電和煤氣那樣計費。

7、極其廉價 「雲」的特殊容錯措施使得可以採用極其廉價的節點來構成雲;「雲」的自動化管理使數據中心管理成本大幅降低;「雲」的公用性和通用性使資源的利用率大幅提升;「雲」設施可以建在電力資源豐富的地區，從而大幅降低能源成本。

雲計算對伺服器的要求

在了解了雲計算之後，我們再說回雲計算伺服器，現在對於雲計算伺服器沒有一個明確的定義，也沒有一個統一的標准。與傳統伺服器相比，傳統伺服器中，包含處理器摸塊、存儲模塊、網路模塊、電源、風扇等設備。

雲伺服器關注的是高性能吞吐量計算能力，關注的是在一段時間內的工作最總和。因此，雲伺服器在架構上和傳統的伺服器有著很大的區別。

架構上，雲伺服器體系架構包含雲處理器模塊、網路處理模塊、存儲處理模塊與系統件理模塊等。這種架構的優勢使得雲伺服器可以大大提高了利用率，採用多個雲處理器完成系統設計，引入低功耗管理理念完成對系統的集中冗餘管理，同時在系統中省去了很多重復的硬體。

雲伺服器一般包括線程、核、處理器、網路、加速器等功能單元全部計算的總和。因此，雲計算一般都有著龐大的數據輸入量或海量的工作集。那麼伺服器應該具備哪些能力呢，我們詳細的來說一說。

高密度

高密度低成本基本上已經是雲伺服器的基本要求了，按照雲計算中心本身的特點，雲伺服器應該和雲計算中心高密度、低功耗、低成本的特點相符，即主要面向大規模部署的雲應用。高密度伺服器能夠減少延遲、提高反應速度。目前高密度伺服器主要分為多路機架和刀片伺服器。

虛擬化

伺服器虛擬化的能力，可以說直接影響雲計算的效果。由於伺服器虛擬化技術實現了將高負載節點中的某些虛擬機實時遷移到低負載的節點，把多個低負載的虛擬機合並到一個物理節點，並將多餘的空閑物理節點關閉，以提高資源的使用效率，使負載達到均衡，從而使上層應用的性能得到了保障，同時還達到了減少能耗的目的。

因此雲計算利用伺服器虛擬化技術可實現對虛擬機的部署和配置，通過對虛擬機的快速部署和實時遷移能大大提高系統的效能，還可通過對虛擬機資源的調整來實現軟體系統的可伸縮性，確保系統能迅速從故障中恢復並繼續提供服務，提高了系統的可靠性與穩定性。所以在購買雲伺服器的時候，伺服器硬體虛擬化的支持程度是考量伺服器的一個重要因素。

橫向擴展

根據雲計算的第一個特點「超大規模」來說，雲計算伺服器的橫向擴展能力就變得至關重要，目前英特爾已經推出了橫向擴展的存儲解決方案，結合英特爾的硬體，可以對這種大量的文件訪問提供更高資料庫和更好的可擴展性，而英特爾萬兆網卡可以結合英特爾虛擬化技術，為整個雲計算的中心提供更高效、更安全以及更簡化的方式，保證了雲數據中心的靈活性。

並行計算

雲計算在某種形式上來說就是分布式計算、並行計算、網格計算等一脈相傳的技術路線，從概念上來說，可以把雲計算看成是「存儲雲」+「計算雲」的有機結合，而計算雲就是指並行計算，因此，雲計算的基礎架構首先是要確保能實現並行計算。

總結：

綜上所述雲計算對於伺服器本身的性能要求不是很高，但對於伺服器的結構靈活性上來說有一定的要求，另一方面就是對於伺服器的計算密度、虛擬化能力、以及是否能夠實現並行計算的能力這幾方面要注重的去考慮，所以我們再去挑選伺服器的時候，結合上述的四點要求去做，以做到事半功倍的效果。