以etcd源碼中的一個kvstore的例子來分析基于raft算法的kvstore的實現，在etcd/contrib/raftexample目錄下，啟動代碼main.go如下：
func main() {
cluster := flag.String("cluster", "http://127.0.0.1:9021", "comma separated cluster peers")
id := flag.Int("id", 1, "node ID")
kvport := flag.Int("port", 9121, "key-value server port")
join := flag.Bool("join", false, "join an existing cluster")
flag.Parse()
//當kvstore中收到配置添加請求時會向proposeC通道發送kv數據，在raft中會得到proposeC通道的事件進行處理
proposeC := make(chan string)
defer close(proposeC)
//當kvstore中收到集群節點變更請求時會向confChangeC通道發送集群變更數據，在raft中會得到confChangeC通道的事件進行處理
confChangeC := make(chan raftpb.ConfChange)
defer close(confChangeC)
// raft provides a commit stream for the proposals from the http api
var kvs *kvstore
getSnapshot := func() ([]byte, error) { return kvs.getSnapshot() }
//當raft中數據可以提交時會向commitC通道發送消息，這樣kvstore就可以監聽該通道消息，當收到提交消息時會修改kvstore內存中的值
commitC, errorC, snapshotterReady := newRaftNode(*id, strings.Split(*cluster, ","), *join, getSnapshot, proposeC, confChangeC)
//直到snapshotterReady通道有數據了，即snapshot可用了，才可以創建kvstore實例
kvs = newKVStore(<-snapshotterReady, proposeC, commitC, errorC)
// the key-value http handler will propose updates to raft
serveHttpKVAPI(kvs, *kvport, confChangeC, errorC)
}
啟動流程如下圖：
raftNode的啟動方法如下：
func (rc *raftNode) startRaft() {
//如果snapshot目錄不存在，則創建snapshot目錄，目錄命名規則:raftexample-id-snap
if !fileutil.Exist(rc.snapdir) {
if err := os.Mkdir(rc.snapdir, 0750); err != nil {
log.Fatalf("raftexample: cannot create dir for snapshot (%v)", err)
}
}
rc.snapshotter = snap.New(rc.snapdir)
rc.snapshotterReady <- rc.snapshotter
oldwal := wal.Exist(rc.waldir)
//重放wal日志，
rc.wal = rc.replayWAL()
rpeers := make([]raft.Peer, len(rc.peers))
for i := range rpeers {
rpeers[i] = raft.Peer{ID: uint64(i + 1)}
}
//raft的Storage為MemoryStorage
c := &raft.Config{
ID: uint64(rc.id),
ElectionTick: 10,
HeartbeatTick: 1,
Storage: rc.raftStorage,
MaxSizePerMsg: 1024 * 1024,
MaxInflightMsgs: 256,
}
if oldwal {
rc.node = raft.RestartNode(c)
} else {
startPeers := rpeers
if rc.join {
startPeers = nil
}
rc.node = raft.StartNode(c, startPeers)
}
ss := &stats.ServerStats{}
ss.Initialize()
rc.transport = &rafthttp.Transport{
ID: types.ID(rc.id),
ClusterID: 0x1000,
Raft: rc,
ServerStats: ss,
LeaderStats: stats.NewLeaderStats(strconv.Itoa(rc.id)),
ErrorC: make(chan error),
}
rc.transport.Start()
for i := range rc.peers {
if i+1 != rc.id {
rc.transport.AddPeer(types.ID(i+1), []string{rc.peers[i]})
}
}
//監聽并處理raft停止命令
go rc.serveRaft()
//監聽配置添加等命令
go rc.serveChannels()
}
在server啟動過程中主要有4個處理模塊，每個模塊都有對應的routine處理事件：
- node:用于處理raft算法相關邏輯。
- raftNode:用于調度node產生的消息，node模塊的執行是通過消息機制，將產生的消息交給raftNode進行調度。
- raftNode.transport:主要處理其他server的連接。
- kvstore:用于監聽kvstore的配置添加和集群變更請求，會將請求轉換為消息交給raftNode來調度處理。
在創建各個模塊的routine處理各個模塊的事件之前，需要把server的狀態恢復到上次停止時的狀態。恢復到之前的狀態需要兩種文件，即wal日志和snapshot文件，wal日志是預寫日志，在生成日志條目運用到raft算法前，需要先寫入到wal文件，避免server突然宕機丟失raft相關數據，而snapshot用于保存server的狀態和數據快照。wal文件默認每存儲10000條日志進行一次切分，即生成一個新的wal文件，然后執行snapshot操作，執行完之前的wal文件便沒有用處了。wal文件與snapshot文件的區別是wal文件保存日志的追加記錄，記錄著數據和狀態的變化過程，而snapshot保存日志變化后產生的狀態或結果(即對于kvstore的配置數據，保存快照時的各個配置的值，對于之前該配置值的變化過程不保存，對于server的狀態，保存snapshot時的狀態，不保存之前狀態變化的過程)，所以wal文件會比較大，而snapshot文件相對較小。
那如何恢復到之前server關閉時的狀態呢？要結合wal和snapshot來做，首先通過snapshot文件恢復到server關閉前上一次snapshot時的數據和狀態，然后根據snapshot的最后一條日志索引，找到wal文件中snaoshot時的日志位置，再把該位置之后的wal文件里的日志重放，因為wal文件記錄著server數據和狀態的變化過程，通過重放這個過程，可以恢復到之前server關閉時的數據和狀態。
