以太坊批量打包

以太坊區塊鏈大小

與比特幣網路不同，以太坊不會明確地按內存限制每個區塊的大小，而是通過區塊GasLimit強制規定每個區塊的大小。

以太坊的區塊GasLimit設置有效的限制了一個區塊中可以打包的交易量。GasLimit參數由以太坊礦工集體決定，即通過投票的方式來動態地增加或降低GasLimit數值。

最近的一次投票是2019年下半年，礦工們群體投票同意將以太坊的區塊GasLimit由原來的800萬Gas單位提高至1000萬，使每個區塊相比之前區塊的大小增加了25%左右，這從理論上提高了以太坊網路的TPS。

普通用戶能夠運行節點對於區塊鏈的去中心化至關重要

想像一下凌晨兩點多，你接到了一個緊急呼叫，來自世界另一端幫你運行礦池(質押池)的人。從大約14分鍾前開始，你的池子和其他幾個人從鏈中分離了出來，而網路仍然維持著79%的算力。根據你的節點，多數鏈的區塊是無效的。這時出現了余額錯誤：區塊似乎錯誤地將450萬枚額外代幣分配給了一個未知地址。

一小時後，你和其他兩個同樣遭遇意外的小礦池參與者、一些區塊瀏覽器和交易所方在一個聊天室中，看見有人貼出了一條推特的鏈接，開頭寫著「宣布新的鏈上可持續協議開發基金」。

到了早上，相關討論廣泛散布在推特以及一個不審查內容的社區論壇上。但那時450萬枚代幣中的很大一部分已經在鏈上轉換為其他資產，並且進行了數十億美元的defi交易。79％的共識節點，以及所有主要的區塊鏈瀏覽器和輕錢包的端點都遵循了這條新鏈。也許新的開發者基金將為某些開發提供資金，或者也許所有這些都被領先的礦池、交易所及其裙帶所吞並。但是無論結果如何，該基金實際上都成為了既成事實，普通用戶無法反抗。

或許還有這么一部主題電影。或許會由MolochDAO或其他組織進行資助。

這種情形會發生在你的區塊鏈中嗎？你所在區塊鏈社區的精英，包括礦池、區塊瀏覽器和託管節點，可能協調得很好，他們很可能都在同一個telegram頻道和微信群中。如果他們真的想出於利益突然對協議規則進行修改，那麼他們可能具備這種能力。以太坊區塊鏈在十小時內完全解決了共識失敗，如果是只有一個客戶端實現的區塊鏈，並且只需要將代碼更改部署到幾十個節點，那麼可以更快地協調客戶端代碼的更改。能夠抵禦這種社會性協作攻擊的唯一可靠方式是「被動防禦」，而這種力量來自去一個中心化的群體：用戶。

想像一下，如果用戶運行區塊鏈的驗證節點(無論是直接驗證還是其他間接技術)，並自動拒絕違反協議規則的區塊，即使超過90%的礦工或質押者支持這些區塊，故事會如何發展。

如果每個用戶都運行一個驗證節點，那麼攻擊很快就會失敗：有些礦池和交易所會進行分叉，並且在整個過程中看起來很愚蠢。但是即使只有一些用戶運行驗證節點，攻擊者也無法大獲全勝。相反，攻擊會導致混亂，不同用戶會看到不同的區塊鏈版本。最壞情況下，隨之而來的市場恐慌和可能持續的鏈分叉將大幅減少攻擊者的利潤。對如此曠日持久的沖突進行應對的想法本身就可以阻止大多數攻擊。

Hasu關於這一點的看法：

「我們要明確一件事，我們之所以能夠抵禦惡意的協議更改，是因為擁有用戶驗證區塊鏈的文化，而不是因為PoW或PoS。」

假設你的社區有37個節點運行者，以及80000名被動監聽者，對簽名和區塊頭進行檢查，那麼攻擊者就獲勝了。如果每個人都運行節點的話，攻擊者就會失敗。我們不清楚針對協同攻擊的啟動群體免疫的確切閾值是多少，但有一點是絕對清楚的：好的節點越多，惡意的節點就越少，而且我們所需的數量肯定不止於幾百幾千個。

那麼全節點工作的上限是什麼？

為了使得有盡可能多的用戶能夠運行全節點，我們會將注意力集中在普通消費級硬體上。即使能夠輕松購買到專用硬體，這能夠降低一些全節點的門檻，但事實上對可擴展性的提升並不如我們想像的那般。

全節點處理大量交易的能力主要受限於三個方面：

算力：在保證安全的前提下，我們能劃分多少CPU來運行節點？

帶寬：基於當前的網路連接，一個區塊能包含多少位元組？

存儲：我們能要求用戶使用多大的空間來進行存儲？此外，其讀取速度應該達到多少？(即，HDD足夠嗎？還是說我們需要SSD？)

許多使用「簡單」技術對區塊鏈進行大幅擴容的錯誤看法都源自於對這些數字過於樂觀的估計。我們可以依次來討論這三個因素：

算力

錯誤答案：100%的CPU應該用於區塊驗證

正確答案：約5-10%的CPU可以用於區塊驗證

限制之所以這么低的四個主要原因如下：

我們需要一個安全邊界來覆蓋DoS攻擊的可能性(攻擊者利用代碼弱點製造的交易需要比常規交易更長的處理時間)

節點需要在離線之後能夠與區塊鏈同步。如果我掉線一分鍾，那我應該要能夠在幾秒鍾之內完成同步

運行節點不應該很快地耗盡電池，也不應該拖慢其他應用的運行速度

節點也有其他非區塊生產的工作要進行，大多數是驗證以及對p2p網路中輸入的交易和請求做出響應

請注意，直到最近大多數針對「為什麼只需要5-10%？」這一點的解釋都側重於另一個不同的問題：因為PoW出塊時間不定，驗證區塊需要很長時間，會增加同時創建多個區塊的風險。這個問題有很多修復方法，例如BitcoinNG，或使用PoS權益證明。但這些並沒有解決其他四個問題，因此它們並沒有如許多人所料在可擴展性方面獲得巨大進展。

並行性也不是靈丹妙葯。通常，即使是看似單線程區塊鏈的客戶端也已經並行化了：簽名可以由一個線程驗證，而執行由其他線程完成，並且有一個單獨的線程在後台處理交易池邏輯。而且所有線程的使用率越接近100%，運行節點的能源消耗就越多，針對DoS的安全系數就越低。

帶寬

錯誤答案：如果沒2-3秒都產生10MB的區塊，那麼大多數用戶的網路都大於10MB/秒，他們當然都能處理這些區塊

正確答案：或許我們能在每12秒處理1-5MB的區塊，但這依然很難

如今，我們經常聽到關於互聯網連接可以提供多少帶寬的廣為傳播的統計數據：100Mbps甚至1Gbps的數字很常見。但是由於以下幾個原因，宣稱的帶寬與預期實際帶寬之間存在很大差異：

「Mbps」是指「每秒數百萬bits」；一個bit是一個位元組的1/8，因此我們需要將宣稱的bit數除以8以獲得位元組數。

網路運營商，就像其他公司一樣，經常編造謊言。

總是有多個應用使用同一個網路連接，所以節點無法獨占整個帶寬。

P2P網路不可避免地會引入開銷：節點通常最終會多次下載和重新上傳同一個塊(更不用說交易在被打包進區塊之前還要通過mempool進行廣播)。

當Starkware在2019年進行一項實驗時，他們在交易數據gas成本降低後首次發布了500kB的區塊，一些節點實際上無法處理這種大小的區塊。處理大區塊的能力已經並將持續得到改善。但是無論我們做什麼，我們仍然無法獲取以MB/秒為單位的平均帶寬，說服自己我們可以接受1秒的延遲，並且有能力處理那種大小的區塊。

存儲

錯誤答案：10TB

正確答案：512GB

正如大家可能猜到的，這里的主要論點與其他地方相同：理論與實踐之間的差異。理論上，我們可以在亞馬遜上購買8TB固態驅動(確實需要SSD或NVME；HDD對於區塊鏈狀態存儲來說太慢了)。實際上，我用來寫這篇博文的筆記本電腦有512GB，如果你讓人們去購買硬體，許多人就會變得懶惰(或者他們無法負擔800美元的8TBSSD)並使用中心化服務。即使可以將區塊鏈裝到某個存儲設備上，大量活動也可以快速地耗盡磁碟並迫使你購入新磁碟。

一群區塊鏈協議研究員對每個人的磁碟空間進行了調查。我知道樣本量很小，但仍然...

請點擊輸入圖片描述

此外，存儲大小決定了新節點能夠上線並開始參與網路所需的時間。現有節點必須存儲的任何數據都是新節點必須下載的數據。這個初始同步時間(和帶寬)也是用戶能夠運行節點的主要障礙。在寫這篇博文時，同步一個新的geth節點花了我大約15個小時。如果以太坊的使用量增加10倍，那麼同步一個新的geth節點將至少需要一周時間，而且更有可能導致節點的互聯網連接受到限制。這在攻擊期間更為重要，當用戶之前未運行節點時對攻擊做出成功響應需要用戶啟用新節點。

交互效應

此外，這三類成本之間存在交互效應。由於資料庫在內部使用樹結構來存儲和檢索數據，因此從資料庫中獲取數據的成本隨著資料庫大小的對數而增加。事實上，因為頂級(或前幾級)可以緩存在RAM中，所以磁碟訪問成本與資料庫大小成正比，是RAM中緩存數據大小的倍數。

不要從字面上理解這個圖，不同的資料庫以不同的方式工作，通常內存中的部分只是一個單獨(但很大)的層(參見leveldb中使用的LSM樹)。但基本原理是一樣的。

例如，如果緩存為4GB，並且我們假設資料庫的每一層比上一層大4倍，那麼以太坊當前的~64GB狀態將需要~2次訪問。但是如果狀態大小增加4倍到~256GB，那麼這將增加到~3次訪問。因此，gas上限增加4倍實際上可以轉化為區塊驗證時間增加約6倍。這種影響可能會更大：硬碟在已滿狀態下比空閑時需要花更長時間來讀寫。

這對以太坊來說意味著什麼？

現在在以太坊區塊鏈中，運行一個節點對許多用戶來說已經是一項挑戰，盡管至少使用常規硬體仍然是可能的(我寫這篇文章時剛剛在我的筆記本電腦上同步了一個節點！)。因此，我們即將遭遇瓶頸。核心開發者最關心的問題是存儲大小。因此，目前在解決計算和數據瓶頸方面的巨大努力，甚至對共識演算法的改變，都不太可能帶來gaslimit的大幅提升。即使解決了以太坊最大的DoS弱點，也只能將gaslimit提高20%。

對於存儲大小的問題，唯一解決方案是無狀態和狀態逾期。無狀態使得節點群能夠在不維護永久存儲的情況下進行驗證。狀態逾期會使最近未訪問過的狀態失活，用戶需要手動提供證明來更新。這兩條路徑已經研究了很長時間，並且已經開始了關於無狀態的概念驗證實現。這兩項改進相結合可以大大緩解這些擔憂，並為顯著提升gaslimit開辟空間。但即使在實施無狀態和狀態逾期之後，gaslimit也可能只會安全地提升約3倍，直到其他限制開始發揮作用。

另一個可能的中期解決方案使使用ZK-SNARKs來驗證交易。ZK-SNARKs能夠保證普通用戶無需個人存儲狀態或是驗證區塊，即使他們仍然需要下載區塊中的所有數據來抵禦數據不可用攻擊。另外，即使攻擊者不能強行提交無效區塊，但是如果運行一個共識節點的難度過高，依然會有協調審查攻擊的風險。因此，ZK-SNARKs不能無限地提升節點能力，但是仍然能夠對其進行大幅提升(或許是1-2個數量級)。一些區塊鏈在layer1上探索該形式，以太坊則通過layer2協議(也叫ZKrollups)來獲益，例如zksync,Loopring和Starknet。

分片之後又會如何？

分片從根本上解決了上述限制，因為它將區塊鏈上包含的數據與單個節點需要處理和存儲的數據解耦了。節點驗證區塊不是通過親自下載和執行，而是使用先進的數學和密碼學技術來間接驗證區塊。

因此，分片區塊鏈可以安全地擁有非分片區塊鏈無法實現的非常高水平的吞吐量。這確實需要大量的密碼學技術來有效替代樸素完整驗證，以拒絕無效區塊，但這是可以做到的：該理論已經具備了基礎，並且基於草案規范的概念驗證已經在進行中。

以太坊計劃採用二次方分片(quadraticsharding)，其中總可擴展性受到以下事實的限制：節點必須能夠同時處理單個分片和信標鏈，而信標鏈必須為每個分片執行一些固定的管理工作。如果分片太大，節點就不能再處理單個分片，如果分片太多，節點就不能再處理信標鏈。這兩個約束的乘積構成了上限。

可以想像，通過三次方分片甚至指數分片，我們可以走得更遠。在這樣的設計中，數據可用性采樣肯定會變得更加復雜，但這是可以實現的。但以太坊並沒有超越二次方，原因在於，從交易分片到交易分片的分片所獲得的額外可擴展性收益實際上無法在其他風險程度可接受的前提下實現。

那麼這些風險是什麼呢？

最低用戶數量

可以想像，只要有一個用戶願意參與，非分片區塊鏈就可以運行。但分片區塊鏈並非如此：單個節點無法處理整條鏈，因此需要足夠的節點以共同處理區塊鏈。如果每個節點可以處理50TPS，而鏈可以處理10000TPS，那麼鏈至少需要200個節點才能存續。如果鏈在任何時候都少於200個節點，那可能會出現節點無法再保持同步，或者節點停止檢測無效區塊，或者還可能會發生許多其他壞事，具體取決於節點軟體的設置。

在實踐中，由於需要冗餘(包括數據可用性采樣)，安全的最低數量比簡單的「鏈TPS除以節點TPS」高幾倍，對於上面的例子，我們將其設置位1000個節點。

如果分片區塊鏈的容量增加10倍，則最低用戶數也增加10倍。現在大家可能會問：為什麼我們不從較低的容量開始，當用戶很多時再增加，因為這是我們的實際需要，用戶數量回落再降低容量？

這里有幾個問題：

區塊鏈本身無法可靠地檢測到其上有多少唯一用戶，因此需要某種治理來檢測和設置分片數量。對容量限制的治理很容易成為分裂和沖突的根源。

如果許多用戶突然同時意外掉線怎麼辦？

增加啟動分叉所需的最低用戶數量，使得防禦惡意控制更加艱難。

最低用戶數為1,000，這幾乎可以說是沒問題的。另一方面，最低用戶數設為100萬，這肯定是不行。即使最低用戶數為10,000也可以說開始變得有風險。因此，似乎很難證明超過幾百個分片的分片區塊鏈是合理的。

歷史可檢索性

用戶真正珍視的區塊鏈重要屬性是永久性。當公司破產或是維護該生態系統不再產生利益時，存儲在伺服器上的數字資產將在10年內不再存在。而以太坊上的NFT是永久的。

是的，到2372年人們仍能夠下載並查閱你的加密貓。

但是一旦區塊鏈的容量過高，存儲所有這些數據就會變得更加困難，直到某時出現巨大風險，某些歷史數據最終將……沒人存儲。

要量化這種風險很容易。以區塊鏈的數據容量(MB/sec)為單位，乘以~30得到每年存儲的數據量(TB)。當前的分片計劃的數據容量約為1.3MB/秒，因此約為40TB/年。如果增加10倍，則為400TB/年。如果我們不僅希望可以訪問數據，而且是以一種便捷的方式，我們還需要元數據(例如解壓縮匯總交易)，因此每年達到4PB，或十年後達到40PB。InternetArchive(互聯網檔案館)使用50PB。所以這可以說是分片區塊鏈的安全大小上限。

因此，看起來在這兩個維度上，以太坊分片設計實際上已經非常接近合理的最大安全值。常數可以增加一點，但不能增加太多。

結語

嘗試擴容區塊鏈的方法有兩種：基礎的技術改進和簡單地提升參數。首先，提升參數聽起來很有吸引力：如果您是在餐紙上進行數學運算，這就很容易讓自己相信消費級筆記本電腦每秒可以處理數千筆交易，不需要ZK-SNARK、rollups或分片。不幸的是，有很多微妙的理由可以解釋為什麼這種方法是有根本缺陷的。

運行區塊鏈節點的計算機無法使用100％的CPU來驗證區塊鏈；他們需要很大的安全邊際來抵抗意外的DoS攻擊，他們需要備用容量來執行諸如在內存池中處理交易之類的任務，並且用戶不希望在計算機上運行節點的時候無法同時用於任何其他應用。帶寬也會受限：10MB/s的連接並不意味著每秒可以處理10MB的區塊！也許每12秒才能處理1-5MB的塊。存儲也是一樣，提高運行節點的硬體要求並且限制專門的節點運行者並不是解決方案。對於去中心化的區塊鏈而言，普通用戶能夠運行節點並形成一種文化，即運行節點是一種普遍行為，這一點至關重要。

1

什麼是網路擁堵

通常指的是一種網路故障現象：某辦公區域網計算機使用一個帶路由功能的ADSLModem+HUB共享上網。當同一時間上網人數較少的時候網路比較通暢，上網人數多了以後網路會時斷時通，並且HUB的Collision指示燈會閃爍不停。

而在區塊鏈的應用程序中，無論是數字貨幣、智能合約、去中心的交易系統等，它們的網路都是由一個個獨立的節點組成的，發生在節點中的各種操作，比如轉賬交易、合約狀態的變更等，都會以交易事務的數據形式廣播到網路中，通過礦工打包到新的區塊，作為主鏈的一部分而最終確認所有的這些操作。

當節點很多，使用量很多的時候，大量發生的交易就會來不及在正常期望的時間內被打包，因為它們都擁堵在網路中，這些等待的被確認的交易數據通常會維持在節點的內存池中。這個就是區塊鏈的擁堵。

2

網路擁堵是怎麼發生的

目前比特幣區塊大小為1M，每秒大約只能處理7個交易。隨著交易量不斷增長，比特幣網路已經難以迅速地進行轉賬交易確認，區塊鏈網路時常出現擁堵。

區塊鏈網路上最高時有上萬筆交易積壓，某些轉賬交易手續費高達幾十美元，網路擁堵時，交易甚至需要花費好幾天才能被打包。

實際上對於每一類區塊鏈應用來說，這個問題都是存在的，造成不斷有用戶抱怨交易延遲的問題，但也側面證明了應用的廣泛，以及用戶體量的增加。

那麼發生這些問題，我們應該怎麼辦呢？

3

網路擁堵怎麼解決

解決的方法，無非有如下幾種。

第一種擴容，提高處理能力。

第二種截流，限制區塊鏈包的數量。

通過將上述兩種方法進行綜合。

悉尼大學研究者研發了一種新型的區塊鏈系統，在100台機器中能夠實現每秒44萬筆交易的吞吐量，而Visa每秒的交易處理器是5.6萬筆。相比之下，比特幣每秒的交易限制在7筆，以太坊區塊鏈則為20筆。

JadeChain公鏈系統上線後，將徹底解決JADE生態應用中的網路擁堵問題。

㈤ Gas 機制是如何運作的

以太坊是目前第二大公鏈，它和比特幣不一樣，以太坊上的可以實現的功能更多，如果比特幣是一個可以進行加減乘除的計算器，那麼以太坊就是一台功能完備的計算機。以太坊系統的復雜度超過比特幣好幾個數量級。

在以太坊中，用戶可以自己寫一個智能合約，然後把智能合約放到以太坊中執行。智能合約的執行需要消耗資源，而以太坊上的資源是有限的。

在計算機系統中，停機問題（https://zh.wikipedia.org/wiki/停機問題）目前還沒有辦法完全證明。這個問題簡單來說就是沒辦法判斷一個程序是否能夠在有限的時間內結束運行。

如果一個用戶提交了一個死循環程序到以太坊中，那麼就會無限的執行下去，從而將以太坊網路擊垮。而使用 gas 機制則可以解決這個問題，智能合約中，每段代碼的執行都會消耗一定量的 gas，在用戶提交交易的時候需要指定好。如果 gas 消耗完了，那麼智能合約就必須停止，交易也會被撤銷，如果智能合約執行完成， gas 還有剩餘，就會退還給用戶。

需要特別說明的是，即使交易失敗，用戶也需要支付 gas 費用，因為以太坊為這些錯誤的交易也付出了計算資源。

除了這點之外，gas 還可以用來激勵礦工，用戶提交交易所消耗的 gas 費用最後都會給到礦工，礦工會優先去打包那些提供了更高 gas 價格的交易，在以太坊中，如果希望自己的交易早點被打包，可以設置更高的 gas 價格。

g as 機制是以太坊系統的命脈。

gas 本質就是維護以太坊網路安全，這是從兩個方面來做到的，一方面通過 gas 來衡量計算量，一方面使用 gas 來吸引更多的礦工，礦工的數量越多，以太坊網路就越安全。

gas 只能用於交易中，用戶不會接觸到 gas，gas 會在交易的提交的時候直接通過以太幣來兌換。

智能合約中，每個操作都會消耗一定的 gas 。每個操作都對應一個 Opcode，下面是一些常見的 gas 消耗，完整的 gas 消耗說明看這里：https://github.com/crytic/evm-opcodes

以太坊中的交易最後會被確認，打包成區塊，這樣交易才算是完成，但是在一個區塊中，可以打包的交易是有限的，以太坊通過 gas 來限制可以打包的交易數。這樣就讓被打包的機會成為了一個稀缺的資源。

用戶提交一個交易後，gas 量可以看做是一個固定的值，礦工為了做到最大收益，就會選擇那些 gas 價格更高的交易。

很多以太坊的用戶經常吐槽 gas 費過高，其實這里的過高不是指 gas 本身過高，而是指 gas 對應的以太坊價格過高。

因為 Gas 的價格不是固定的，而是波動的，簡單來說就是根據供需關系來決定的，如果同時需要用以太坊的用戶多，那麼Gas 的價格就貴，如果用戶的人少，那麼 Gas 的費用就會少。

以太幣的最基本單位是 wei，1 ETH = 10 ^18 wei，而衡量 gas 價格的單位則是 gwei，1 ETH = 10 ^ 9 gwei。

在提交交易的時候，需要設定兩個參數，一個是 gas 的最大消耗量（gas limited）和 gas 的價格，gas 的消耗量通常情況下會比較固定，不會有太大的變化，主要是 gas 的價格會波動很大。

在上面我們說到礦工會挑選那些 gas 費用比較高的交易進行打包。所以 gas 的價格設置得越高，那麼總的 gas 費用就會越高。如果想讓當前的交易盡快被確認，那麼就需要設置一個當前相對來說比較高的 gas 價格。

其實對當前 gas 價格最清楚的就是那些礦工，所以礦工們也提供了一些服務，讓用戶可以實時地了解到當前 gas 價格的分布。比如 GasNow 就是一個比較常用的服務，現在很多錢包中都在使用這個來為錢包的用戶提供 gas 價格建議。

如果你提交的交易不緊急，那麼使用當前的平均 gas 價格就可以，如果需要提交緊急的交易，那麼就需要設置更高的 gas 價格。

文 / Rayjun