比特幣實現日誌

我八月的技術學習項目是用C語言從頭寫一個比特幣節點。在這裡記錄一下過程。

Repo：https://github.com/blaesus/ctbc

1. 日程規劃

計劃是用八月的4個週末和一些閒暇時間，寫一個比特幣節點出來，最高目標是功能完備，最低目標是比特幣核心機制（區塊驗證）。

我其實沒寫過C，K&R看到一半，連指針都沒用過。這次選C來寫有強迫自己學習的意思。

底層網絡編程（比如拼TCP包）其實我也沒做過，所以也要學。

所以要做得事情還挺多的。

爲什麼覺得一個月業餘真的能寫出點東西了？

第一，我很熟悉JavaScript和TypeScript，畢竟語法都是C系的，C語言只要學特性就好了。

第二，我對比特幣的白皮書讀得比較認真（見本文上游）， 概念理解不會又大問題，只需要把實現細節補全就好了。

第三，我統計了中本聰第一版的比特幣代碼，不少，有兩萬行，但是去掉次要的功能（UI、數據庫）和工具庫（運算工具等），其實核心就6000行左右。如果把邊界檢查、錯誤處理、註釋等等去掉，估計真正要寫的就3000行，一個月寫3000行是完全可能的。

第四，無聊和無關原理的事情就用現成的庫，比如SHA256計算等。

2. 開發進程

比特幣協議文檔看這裏：https://en.bitcoin.it/wiki/Protocol_documentation

一開始我用高級語言的思路，先定義transaction、block的數據結構，然後考慮怎麼組合。

不久之後發現，Bitcoin的通訊協議非常底層，C語言也很底層，根本不是瀏覽器裏一句JSON.parse(await fetch(URL))，數據就來了。

所以改變了策略，從節點功能的角度開始實現。

一、找節點

第一步是找其他節點，不然自己跟自己玩，也不知道做對沒有。

要找節點，概念上其實很簡單，先用DNS解析幾個寫死的域名，獲取第一批節點，然後問這些節點，要他們知道的節點。

只是，這個DNS，Node.js就是一句話的事，我寫了一整天，因爲真是非常麻煩。

首先IPv4和IPv6各有一套API（我決定這次只處理IPv4）。

第二，光是IP地址就有幾種形態（系統給你的是二進制uint16，比特幣協議裏用uint8[16]表示，還要寫成可讀形式(1:2:3:4)，不然自己都不知道算對了沒有）。IP地址還有endian問題，網絡通訊一般用大頭，Intel和AMD的CPU都是小頭，比特幣傳輸一般是小頭，IP地址和端口又用大頭……方向弄錯了，出來的結果看上去都是對的，就是連不上去，還要自己一個個字節比較。

反正一番折騰，總算找到了另外一百多個節點。

二、通信

找到其他節點，就是要跟他們說話了。

一開始，網絡通訊用的是Unix原生的那一套，socket、connect、listen、bind、accept什麼的，好鬼麻煩。而且，默認是阻塞的。想要異步？自己開進程加鎖吧。

掙扎了一天，決定放棄，網絡編程不作重點研究了，跳過select、epoll什麼的，直接上Node.js的基礎庫libuv。

啊，還是熟悉的配方，還是熟悉的味道，還是熟悉的callback hell。還附帶各種小工具，要是早上libuv，DNS也不用寫一天了。

三、握手

好，能跟節點說話，也能聽到他們說話了，下一步是協議握手（陌生人見面要打招呼，陌生節點見面要握手，才能談正事）。

首先，我要發一個叫version的消息包過去，告訴它我是誰，我玩哪一套規則，然後對面如果覺得大家能玩到一起，就發一個verack包回來。

這個過程，又花了兩個晚上……

爲什麼呢？

要感謝Amir Taaki和Patrick Strateman兩位仁兄。

中本聰設計的version是很簡單的，46個字節，講清楚四件事情：1. 我的版本，2. 我能幹什麼， 3. 幾點發的，4. 消息發給誰。就可以了。

定長的消息最好處理了，struct一定義，memcpy出來，直接發過去，就可以等回信了。

但是這兩位仁兄偏說，version消息要加一個user-agent的數據，節點不止要說自己的版本，還要說清楚自己具體是哪個客戶端和小版本，比如/Satoshi:5.64/bitcoin-qt:0.4/。

這兩個人是做前端出身的吧。

加這個數據就算了，這個數據還要設成不定長字符串。換句話說，整個version消息就是不定長的了，那就要另外找個地方存它的長度。

這還沒完。

這個「不定長字符串」，它的的「長度本身」的長度，也是會變的，可能是1、3、5、9字節。

這是個「不定不定長字符串」。

就爲了這個破user-agent。

反正各種折騰，各種指針倒來倒去，與errno 11鬥志鬥勇。

總算，剛纔，收到其他節點的回信了（就是我發了個version，它們發來verack和version）。

真的很高興（所以纔有這篇文章）。

在地球不知道什麼地方，有一羣機器，對我的機器說：我們聽得懂你的語言。

在互聯網普及、協議成熟的今天，握手成功，太正常了。

可是，用Unix的創始語言，實現一個小衆的協議，然後在茫茫機海之中，找到語言共通的機器，然後確認雙方的對話意願。

感覺回到了80年代。

那個互聯網還是小衆玩意的年代，那個要努力才能連上線的年代，那個經常有人發明通訊協議的年代。

比特幣果然挺好玩的。

之後的有新的進展會再跟大家報告。

8月12日更新

對面發message，有時候會整個發過來，有時候會只發一個頭，再發個payload過來，所以代碼也要分開處理，不能假設對方一定會全部發過來。

8月19日更新

tx和block是message裏面的大頭，比較複雜，變化也相對多一點，文檔也略差。要自己鑽研一下。

8月29日更新

一個月過去了，實現的經驗已經寫到了：https://github.com/blaesus/ctbc/wiki/Bitcoin-from-Scratch

完成功能：找節點、連接節點、 握手、收區塊鏈（header）、驗證「工作證明」（Proof-of-work）。

部分完成：挖礦（只實現了給定header找nonce）

未完成：交易驗證（尤其是Script實現）、分叉處理、錢包（生成私鑰、公鑰）、JSON-RPC、UI

這個進度我是非常滿意的。

中間卡殼兩次，一次是getheaders請求發出去，怎麼都收不到headers的回覆。後來發現是payload的checksum算錯了（因爲輸入數組的長度算錯了）。第二次是PoW的target跟官方數據有千分之幾的誤差，到三萬多的區塊之後，誤差就大到無法兼容了。後來發現問題是過度矯正了中本聰的2015 off-by-one bug。本來應該是矯正到2015，我矯正多了一位到2014。最後直接看中本聰的實現，一行一行翻譯過來，終於對上了。（中間還犯了另一個錯，把目標設高了8倍，導致本來不應該接受的區塊也接受了，這是測試挖礦功能的時候發現的。）

9月我計劃繼續實現比特幣協議，把主要功能都實現一次。

這個月用C寫比特幣，感覺自己的工程能力又上了一個檔次，真是受益匪淺。

用C寫，就要建立內存模型，處理segment fault什麼的，記住每個變量在棧上還是在堆上，對於我這個寫JS出身的程序員是非常有益的。比特幣使用大量網絡編程技術：TCP連接，發包收包，序列化反序列化。甚至還有二叉樹（算merkle root時有用）。共時庫上了libuv，對Node.js的底層也有了一點接觸。