區塊鏈高並發數據一致性

Ⅰ 區塊鏈是什麼：這樣解釋區塊鏈更加通俗易懂

區塊鏈是比特幣的一個重要概念，它本質上是一個去中介化的資料庫，同時作為比特幣的底層技術，是一串使用密碼學方法相關聯產生的數據塊，每一個數據塊中包含了一次比特幣網路交易的信息，用於驗證其信息的有效性（防偽）和生成下一個區塊。

區塊鏈是分布式數據存儲、點對點傳輸、共識機制、加密演算法等計算機技術的新型應用模式。

狹義來講，區塊鏈是一種按照時間順序將數據區塊以順序相連的方式組合成的一種鏈式數據結構， 並以密碼學方式保證的不可篡改和不可偽造的分布式賬本。

廣義來講，區塊鏈技術是利用塊鏈式數據結構來驗證與存儲數據、利用分布式節點共識演算法來生成和更新數據、利用密碼學的方式保證數據傳輸和訪問的安全、利用由自動化腳本代碼組成的智能合約來編程和操作數據的一種全新的分布式基礎架構與計算方式 。

(1)區塊鏈高並發數據一致性擴展閱讀：

區塊鏈的進化方式是：

▪ 區塊鏈1.0——數字貨幣；

▪ 區塊鏈2.0——數字資產與智能合約；

▪ 區塊鏈3.0——各種行業分布式應用落地。

區塊鏈特徵：

1.去中介化。由於使用分布式核算和存儲，體系不存在中心化的硬體或管理機構，任意節點的權利和義務都是均等的，系統中的數據塊由整個系統中具有維護功能的節點來共同維護。

2.開放性。系統是開放的，除了交易各方的私有信息被加密外，區塊鏈的數據對所有人公開，任何人都可以通過公開的介面查詢區塊鏈數據和開發相關應用，因此整個系統信息高度透明。

3.自治性。區塊鏈採用基於協商一致的規范和協議（比如一套公開透明的演算法）使得整個系統中的所有節點能夠在去信任的環境自由安全的交換數據，使得對「人」的信任改成了對機器的信任，任何人為的干預不起作用。

4.信息不可篡改。一旦信息經過驗證並添加至區塊鏈，就會永久的存儲起來，除非能夠同時控制住系統中超過51%的節點，否則單個節點上對資料庫的修改是無效的，因此區塊鏈的數據穩定性和可靠性極高。

5.匿名性。由於節點之間的交換遵循固定的演算法，其數據交互是無需信任的（區塊鏈中的程序規則會自行判斷活動是否有效），因此交易對手無須通過公開身份的方式讓對方對自己產生信任，對信用的累積非常有幫助。

Ⅱ 區塊鏈發展趨勢如何，區塊鏈未來發展趨勢

政策與市場雙層驅動 區塊鏈行業發展前景廣闊
政策與市場雙層驅動，中國區塊鏈相關產業有望脫虛入實
在區塊鏈迅速發展的背景下，中國順應全球化需求，緊跟國際步伐，積極推動國內區塊鏈的相關領域研究、標准化制定以及產業化發展。與對比特幣等數字貨幣監管日益趨嚴的背景相比，針對區塊鏈技術的支持與鼓勵已在全球范圍內達成共識，國內區塊鏈技術也將在未來數年內得到國家與地方的政策支持。在政策與市場的雙層驅動下，區塊鏈相關產業有望脫虛入實，區塊鏈技術加速探索可能的應用場景。
全球區塊鏈市場規模預測
據前瞻產業研究院發布的《區塊鏈行業商業模式創新與投資機會深度分析報告》數據顯示，全球區塊鏈市場規模料將從2017年的4.115億美元增至2022年的76.837億美元，摺合成復合年均增長率高達79.6%。鑒於分布式賬本可應用的范圍很廣，再加上加密貨幣市值不斷上升，提高透明度、安全性、效率以及簡化流程的需求旺盛，還有區塊鏈即服務(
簡稱BaaS)也是發展的熱門，區塊鏈市場將急速擴張。此外，通訊服務、國際貿易、供應鏈管理、程式平台、支付、智能合約、數字身份驗證等等也急需區塊鏈技術，將創造大量的增長機會。
區塊鏈作為分布式數據存儲、點對點傳輸、共識機制、加密演算法等技術的集成應用，近年來已成為聯合國、國際貨幣基金組織等國際組織以及許多國家政府研究討論的熱點，產業界也紛紛加大投入力度。目前，區塊鏈的應用已延伸到物聯網、智能製造、供應鏈管理、數字資產交易等多個領域，將為雲計算、大數據、移動互聯網等新一代信息技術的發展帶來新的機遇，有能力引發新一輪的技術創新和產業變革。
到2022年，支付板塊或占據區塊鏈市場的最大份額
依託區塊鏈技術可以實現資產的即時支付，不僅具有不可篡改、數字身份驗證的特點，而且還能為金融機構、銀行大幅節省結算的成本。此外，區塊鏈讓支付的自動化成為可能，消除中間商存在的必要性，並節約人力成本、節省買賣雙方的時間。得益於以上諸多優點，預計支付板塊將是整個區塊鏈市場上分量最重的一塊。
增速最快的地區將是亞太
亞太地區的區塊鏈服務提供商善於設計、開發界面友好、節省成本、速度快的加密貨幣平台，延伸區塊鏈在多個行業的應用觸角。無論是大企業還是中小企業，都在積極尋求風險融資，投資研發最前沿的區塊鏈技術。此外，亞太地區一些國家的房地產業有望從半透明快速轉型至全透明，也有助於提升區塊鏈在亞太地區的發展前景。

Ⅲ 區塊鏈的TPS是什麼

TPS英文全稱是Transaction PerSecond，應用在數字貨幣，TPS指的是系統吞度量，也是每秒系統處理的數量。假如TPS每秒並發太低，很容易造成網路擁堵嚴重，從而使得區塊鏈在高價值的高並發業務領域無法落地。比如，由於TPS每秒並發太低，比特幣和以太坊都存在交易費用高、確認時間長、擴展性差的問題，比特幣社區因此產生分裂，硬分叉成為常態。

目前很多幣在TPS上做文章，希望能避開比特幣的劣勢。比如說ULAM、USDT、USC、幾種貨幣，他們的吞吐量分別是最低1萬TPS確認、7TPS確認、100TPS確認，我們可以對比他們TPS的高低來辨別他們的速度。

眾所周知，比特幣每秒只能進行大約7筆交易

以太坊稍微好一些，也就10-20筆。

作為一個支付系統，這是遠遠遠遠不夠的，經常也有人拿這點來說事，認為區塊鏈效率低雲雲。

最近發現了一個非常不錯，並且高TPS的公鏈：ULAM公鏈。

ULAM是繼POW、POS、DPOS、PBFT類共識演算法之後的第五個在共識演算法上有重大創新的區塊鏈項目。

ULAM共識演算法其利用哈希函數的特性創造出超低能耗、完全去中心化、高度穩定的區塊鏈系統；是目前唯一一個成功打破區塊鏈「不可能三角」的全新共識演算法。ULAM不需要進行哈希計算競賽，可以允許低功耗的手機、智能手錶、路由器等參與「挖礦」。ULAM設計的全新非互動式交易驗證演算法（NITCV），可以使TPS最低達到1萬。ULAM使用知識證明的方法構造出非互動式交易驗證演算法。ULAM具有超級碎片化節點；完全去中心化；抗算力集中；49%容錯率；抗量子攻擊；

Ⅳ 並發不是區塊鏈的基礎嗎

並發是區塊鏈的基礎。
區塊鏈的定義：區塊鏈是分布式數據存儲、點對點傳輸、共識機制、加密演算法等計算機技術的新型應用模式。所謂共識機制是區塊鏈系統中實現不同節點之間建立信任、獲取權益的數學演算法。我們可以把區塊鏈理解為一個公有賬本，每個人都可以進行記賬，同時系統會將寫好的內容記錄並發給所有人進行備份。區塊鏈優點有去中心化、開放性、自治性、信息不可篡改、匿名性。
區塊鏈必須是高並發的，提高並發性是解決人類計算能力的主要方向。但是並發的編程模型一直受到來自上下兩方的壓力。因為處理器性能的提升主要是通過堆積更多的core來完成。所以為了編寫更快的代碼，你要做的是編寫並發式的程序，同時使用更多的核、更多的CPU、更多的機器。對於並發式的編程模型這就是來自於下方的壓力。當今的主流商業應用軟體都是應用在web端的，7乘24小時百萬級以上的並發訪問。對於編程模型來說，這是來自於上方的壓力。所以當我們談論區塊鏈時，我們需要明白支持並發性才能滿足市場的需求。

Ⅳ 區塊鏈 --- 共識演算法

PoW演算法是一種防止分布式服務資源被濫用、拒絕服務攻擊的機制。它要求節點進行適量消耗時間和資源的復雜運算，並且其運算結果能被其他節點快速驗算，以耗用時間、能源做擔保，以確保服務與資源被真正的需求所使用。

PoW演算法中最基本的技術原理是使用哈希演算法。假設求哈希值Hash(r)，若原始數據為r（raw），則運算結果為R（Result）。

R = Hash(r)

哈希函數Hash()的特性是，對於任意輸入值r，得出結果R，並且無法從R反推回r。當輸入的原始數據r變動1比特時，其結果R值完全改變。在比特幣的PoW演算法中，引入演算法難度d和隨機值n，得到以下公式：

Rd = Hash(r+n)

該公式要求在填入隨機值n的情況下，計算結果Rd的前d位元組必須為0。由於哈希函數結果的未知性，每個礦工都要做大量運算之後，才能得出正確結果，而算出結果廣播給全網之後，其他節點只需要進行一次哈希運算即可校驗。PoW演算法就是採用這種方式讓計算消耗資源，而校驗僅需一次。

 

PoS演算法要求節點驗證者必須質押一定的資金才有挖礦打包資格，並且區域鏈系統在選定打包節點時使用隨機的方式，當節點質押的資金越多時，其被選定打包區塊的概率越大。

POS模式下，每個幣每天產生1幣齡，比如你持有100個幣，總共持有了30天，那麼，此時你的幣齡就為3000。這個時候，如果你驗證了一個POS區塊，你的幣齡就會被清空為0，同時從區塊中獲得相對應的數字貨幣利息。

節點通過PoS演算法出塊的過程如下：普通的節點要成為出塊節點，首先要進行資產的質押，當輪到自己出塊時，打包區塊，然後向全網廣播，其他驗證節點將會校驗區塊的合法性。

 

DPoS演算法和PoS演算法相似，也採用股份和權益質押。

但不同的是，DPoS演算法採用委託質押的方式，類似於用全民選舉代表的方式選出N個超級節點記賬出塊。

選民把自己的選票投給某個節點，如果某個節點當選記賬節點，那麼該記賬節點往往在獲取出塊獎勵後，可以採用任意方式來回報自己的選民。

這N個記賬節點將輪流出塊，並且節點之間相互監督，如果其作惡，那麼會被扣除質押金。

通過信任少量的誠信節點，可以去除區塊簽名過程中不必要的步驟，提高了交易的速度。
 

拜占庭問題：

拜占庭是古代東羅馬帝國的首都，為了防禦在每塊封地都駐扎一支由單個將軍帶領的軍隊，將軍之間只能靠信差傳遞消息。在戰爭時，所有將軍必須達成共識，決定是否共同開戰。

但是，在軍隊內可能有叛徒，這些人將影響將軍們達成共識。拜占庭將軍問題是指在已知有將軍是叛徒的情況下，剩餘的將軍如何達成一致決策的問題。

BFT：

BFT即拜占庭容錯，拜占庭容錯技術是一類分布式計算領域的容錯技術。拜占庭假設是對現實世界的模型化，由於硬體錯誤、網路擁塞或中斷以及遭到惡意攻擊等原因，計算機和網路可能出現不可預料的行為。拜占庭容錯技術被設計用來處理這些異常行為，並滿足所要解決的問題的規范要求。

拜占庭容錯系統 ：

發生故障的節點被稱為 拜占庭節點 ，而正常的節點即為 非拜占庭節點 。

假設分布式系統擁有n台節點，並假設整個系統拜占庭節點不超過m台（n ≥ 3m + 1），拜占庭容錯系統需要滿足如下兩個條件：

另外，拜占庭容錯系統需要達成如下兩個指標：

PBFT即實用拜占庭容錯演算法，解決了原始拜占庭容錯演算法效率不高的問題，演算法的時間復雜度是O(n^2)，使得在實際系統應用中可以解決拜占庭容錯問題
 

PBFT是一種狀態機副本復制演算法，所有的副本在一個視圖（view）輪換的過程中操作，主節點通過視圖編號以及節點數集合來確定，即：主節點 p = v mod |R|。v：視圖編號，|R|節點個數，p：主節點編號。

PBFT演算法的共識過程如下：客戶端（Client）發起消息請求（request），並廣播轉發至每一個副本節點（Replica），由其中一個主節點（Leader）發起提案消息pre-prepare，並廣播。其他節點獲取原始消息，在校驗完成後發送prepare消息。每個節點收到2f+1個prepare消息，即認為已經准備完畢，並發送commit消息。當節點收到2f+1個commit消息，客戶端收到f+1個相同的reply消息時，說明客戶端發起的請求已經達成全網共識。

具體流程如下 ：

客戶端c向主節點p發送<REQUEST, o, t, c>請求。o: 請求的具體操作，t: 請求時客戶端追加的時間戳，c：客戶端標識。REQUEST: 包含消息內容m，以及消息摘要d(m)。客戶端對請求進行簽名。

主節點收到客戶端的請求，需要進行以下交驗：

a. 客戶端請求消息簽名是否正確。

非法請求丟棄。正確請求，分配一個編號n，編號n主要用於對客戶端的請求進行排序。然後廣播一條<<PRE-PREPARE, v, n, d>, m>消息給其他副本節點。v：視圖編號，d客戶端消息摘要，m消息內容。<PRE-PREPARE, v, n, d>進行主節點簽名。n是要在某一個范圍區間內的[h, H]，具體原因參見 垃圾回收 章節。

副本節點i收到主節點的PRE-PREPARE消息，需要進行以下交驗：

a. 主節點PRE-PREPARE消息簽名是否正確。

b. 當前副本節點是否已經收到了一條在同一v下並且編號也是n，但是簽名不同的PRE-PREPARE信息。

c. d與m的摘要是否一致。

d. n是否在區間[h, H]內。

非法請求丟棄。正確請求，副本節點i向其他節點包括主節點發送一條<PREPARE, v, n, d, i>消息, v, n, d, m與上述PRE-PREPARE消息內容相同，i是當前副本節點編號。<PREPARE, v, n, d, i>進行副本節點i的簽名。記錄PRE-PREPARE和PREPARE消息到log中，用於View Change過程中恢復未完成的請求操作。

主節點和副本節點收到PREPARE消息，需要進行以下交驗：

a. 副本節點PREPARE消息簽名是否正確。

b. 當前副本節點是否已經收到了同一視圖v下的n。

c. n是否在區間[h, H]內。

d. d是否和當前已收到PRE-PPREPARE中的d相同

非法請求丟棄。如果副本節點i收到了2f+1個驗證通過的PREPARE消息，則向其他節點包括主節點發送一條<COMMIT, v, n, d, i>消息，v, n, d, i與上述PREPARE消息內容相同。<COMMIT, v, n, d, i>進行副本節點i的簽名。記錄COMMIT消息到日誌中，用於View Change過程中恢復未完成的請求操作。記錄其他副本節點發送的PREPARE消息到log中。

主節點和副本節點收到COMMIT消息，需要進行以下交驗：

a. 副本節點COMMIT消息簽名是否正確。

b. 當前副本節點是否已經收到了同一視圖v下的n。

c. d與m的摘要是否一致。

d. n是否在區間[h, H]內。

非法請求丟棄。如果副本節點i收到了2f+1個驗證通過的COMMIT消息，說明當前網路中的大部分節點已經達成共識，運行客戶端的請求操作o，並返回<REPLY, v, t, c, i, r>給客戶端，r：是請求操作結果，客戶端如果收到f+1個相同的REPLY消息，說明客戶端發起的請求已經達成全網共識，否則客戶端需要判斷是否重新發送請求給主節點。記錄其他副本節點發送的COMMIT消息到log中。
 

如果主節點作惡，它可能會給不同的請求編上相同的序號，或者不去分配序號，或者讓相鄰的序號不連續。備份節點應當有職責來主動檢查這些序號的合法性。

如果主節點掉線或者作惡不廣播客戶端的請求，客戶端設置超時機制，超時的話，向所有副本節點廣播請求消息。副本節點檢測出主節點作惡或者下線，發起View Change協議。

View Change協議 ：

副本節點向其他節點廣播<VIEW-CHANGE, v+1, n, C , P , i>消息。n是最新的stable checkpoint的編號， C 是 2f+1驗證過的CheckPoint消息集合， P 是當前副本節點未完成的請求的PRE-PREPARE和PREPARE消息集合。

當主節點p = v + 1 mod |R|收到 2f 個有效的VIEW-CHANGE消息後，向其他節點廣播<NEW-VIEW, v+1, V , O >消息。 V 是有效的VIEW-CHANGE消息集合。 O 是主節點重新發起的未經完成的PRE-PREPARE消息集合。PRE-PREPARE消息集合的選取規則：

副本節點收到主節點的NEW-VIEW消息，驗證有效性，有效的話，進入v+1狀態，並且開始 O 中的PRE-PREPARE消息處理流程。
 

在上述演算法流程中，為了確保在View Change的過程中，能夠恢復先前的請求，每一個副本節點都記錄一些消息到本地的log中，當執行請求後副本節點需要把之前該請求的記錄消息清除掉。

最簡單的做法是在Reply消息後，再執行一次當前狀態的共識同步，這樣做的成本比較高，因此可以在執行完多條請求K（例如：100條）後執行一次狀態同步。這個狀態同步消息就是CheckPoint消息。

副本節點i發送<CheckPoint, n, d, i>給其他節點，n是當前節點所保留的最後一個視圖請求編號，d是對當前狀態的一個摘要，該CheckPoint消息記錄到log中。如果副本節點i收到了2f+1個驗證過的CheckPoint消息，則清除先前日誌中的消息，並以n作為當前一個stable checkpoint。

這是理想情況，實際上當副本節點i向其他節點發出CheckPoint消息後，其他節點還沒有完成K條請求，所以不會立即對i的請求作出響應，它還會按照自己的節奏，向前行進，但此時發出的CheckPoint並未形成stable。

為了防止i的處理請求過快，設置一個上文提到的 高低水位區間[h, H] 來解決這個問題。低水位h等於上一個stable checkpoint的編號，高水位H = h + L，其中L是我們指定的數值，等於checkpoint周期處理請求數K的整數倍，可以設置為L = 2K。當副本節點i處理請求超過高水位H時，此時就會停止腳步，等待stable checkpoint發生變化，再繼續前進。
 

在區塊鏈場景中，一般適合於對強一致性有要求的私有鏈和聯盟鏈場景。例如，在IBM主導的區塊鏈超級賬本項目中，PBFT是一個可選的共識協議。在Hyperledger的Fabric項目中，共識模塊被設計成可插拔的模塊，支持像PBFT、Raft等共識演算法。
 

 

Raft基於領導者驅動的共識模型，其中將選舉一位傑出的領導者(Leader)，而該Leader將完全負責管理集群，Leader負責管理Raft集群的所有節點之間的復制日誌。
 

下圖中，將在啟動過程中選擇集群的Leader（S1），並為來自客戶端的所有命令/請求提供服務。 Raft集群中的所有節點都維護一個分布式日誌（復制日誌）以存儲和提交由客戶端發出的命令（日誌條目）。 Leader接受來自客戶端的日誌條目，並在Raft集群中的所有關注者（S2，S3，S4，S5）之間復制它們。

在Raft集群中，需要滿足最少數量的節點才能提供預期的級別共識保證， 這也稱為法定人數。 在Raft集群中執行操作所需的最少投票數為 (N / 2 +1) ，其中N是組中成員總數，即 投票至少超過一半 ，這也就是為什麼集群節點通常為奇數的原因。 因此，在上面的示例中，我們至少需要3個節點才能具有共識保證。

如果法定仲裁節點由於任何原因不可用，也就是投票沒有超過半數，則此次協商沒有達成一致，並且無法提交新日誌。

 

數據存儲：Tidb/TiKV

日誌：阿里巴巴的 DLedger

服務發現：Consul& etcd

集群調度：HashiCorp Nomad
 

只能容納故障節點(CFT)，不容納作惡節點

順序投票，只能串列apply，因此高並發場景下性能差
 

Raft通過解決圍繞Leader選舉的三個主要子問題，管理分布式日誌和演算法的安全性功能來解決分布式共識問題。

當我們啟動一個新的Raft集群或某個領導者不可用時，將通過集群中所有成員節點之間協商來選舉一個新的領導者。 因此，在給定的實例中，Raft集群的節點可以處於以下任何狀態: 追隨者(Follower)，候選人(Candidate)或領導者(Leader)。

系統剛開始啟動的時候，所有節點都是follower，在一段時間內如果它們沒有收到Leader的心跳信號，follower就會轉化為Candidate；

如果某個Candidate節點收到大多數節點的票，則這個Candidate就可以轉化為Leader，其餘的Candidate節點都會回到Follower狀態；

一旦一個Leader發現系統中存在一個Leader節點比自己擁有更高的任期(Term)，它就會轉換為Follower。

Raft使用基於心跳的RPC機制來檢測何時開始新的選舉。 在正常期間， Leader 會定期向所有可用的 Follower 發送心跳消息（實際中可能把日誌和心跳一起發過去）。 因此，其他節點以 Follower 狀態啟動，只要它從當前 Leader 那裡收到周期性的心跳，就一直保持在 Follower 狀態。

當 Follower 達到其超時時間時，它將通過以下方式啟動選舉程序：

根據 Candidate 從集群中其他節點收到的響應，可以得出選舉的三個結果。

共識演算法的實現一般是基於復制狀態機（Replicated state machines），何為 復制狀態機 ：

簡單來說： 相同的初識狀態 + 相同的輸入 = 相同的結束狀態 。不同節點要以相同且確定性的函數來處理輸入，而不要引入一下不確定的值，比如本地時間等。使用replicated log是一個很不錯的注意，log具有持久化、保序的特點，是大多數分布式系統的基石。

有了Leader之後，客戶端所有並發的請求可以在Leader這邊形成一個有序的日誌（狀態）序列，以此來表示這些請求的先後處理順序。Leader然後將自己的日誌序列發送Follower，保持整個系統的全局一致性。注意並不是強一致性，而是 最終一致性 。

日誌由有序編號（log index）的日誌條目組成。每個日誌條目包含它被創建時的任期號（term），和日誌中包含的數據組成，日誌包含的數據可以為任何類型，從簡單類型到區塊鏈的區塊。每個日誌條目可以用[ term, index, data]序列對表示，其中term表示任期， index表示索引號，data表示日誌數據。

Leader 嘗試在集群中的大多數節點上執行復制命令。 如果復製成功，則將命令提交給集群，並將響應發送回客戶端。類似兩階段提交(2PC)，不過與2PC的區別在於，leader只需要超過一半節點同意（處於工作狀態）即可。

leader 、 follower 都可能crash，那麼 follower 維護的日誌與 leader 相比可能出現以下情況

當出現了leader與follower不一致的情況，leader強制follower復制自己的log， Leader會從後往前試 ，每次AppendEntries失敗後嘗試前一個日誌條目（遞減nextIndex值）， 直到成功找到每個Follower的日誌一致位置點（基於上述的兩條保證），然後向後逐條覆蓋Followers在該位置之後的條目 。所以丟失的或者多出來的條目可能會持續多個任期。
 

要求候選人的日誌至少與其他節點一樣最新。如果不是，則跟隨者節點將不投票給候選者。

意味著每個提交的條目都必須存在於這些伺服器中的至少一個中。如果候選人的日誌至少與該多數日誌中的其他日誌一樣最新，則它將保存所有已提交的條目，避免了日誌回滾事件的發生。

即任一任期內最多一個leader被選出。這一點非常重要，在一個復制集中任何時刻只能有一個leader。系統中同時有多餘一個leader，被稱之為腦裂（brain split），這是非常嚴重的問題，會導致數據的覆蓋丟失。在raft中，兩點保證了這個屬性：

因此， 某一任期內一定只有一個leader 。
 

當集群中節點的狀態發生變化（集群配置發生變化）時，系統容易受到系統故障。 因此，為防止這種情況，Raft使用了一種稱為兩階段的方法來更改集群成員身份。 因此，在這種方法中，集群在實現新的成員身份配置之前首先更改為中間狀態（稱為聯合共識）。 聯合共識使系統即使在配置之間進行轉換時也可用於響應客戶端請求，它的主要目的是提升分布式系統的可用性。