在討論Go編程語言時，經(jīng)常被提起的一個特點是使用goroutines；這是一種輕量級進(jìn)程，可以并發(fā)運(yùn)行成千上萬的goroutines。許多其它編程語言使用操作系統(tǒng)提供的線程來支持并發(fā)任務(wù)。線程的缺點是它們是比較重的，因此只能運(yùn)行數(shù)百個線程，然后才會遇到可擴(kuò)展性問題。這些問題在實時更新與大量客戶端場景下尤為明顯。
通常，我們可以人云亦云地說：goroutine是線程的"輕量級"的版本。但如何才能在功能不變的情況下，做到輕量級呢。我最終深入到Go的runtime源代碼中去尋找答案。在這篇文章中，我將通過實現(xiàn)一個簡單的Go程序來展示Go的調(diào)度機(jī)制是如何工作的。
任務(wù)調(diào)度
Goroutines是建立在事件驅(qū)動的架構(gòu)上。當(dāng)一個事件發(fā)生時，與該事件相關(guān)的任務(wù)會被放在一個隊列中。事件循環(huán)通過隊列，逐一執(zhí)行任務(wù)。如果觸發(fā)的任務(wù)需要很長時間才能執(zhí)行，會怎么樣呢？那么隊列上的其他事件都會被阻塞。這不正是我們要使用多線程的原因，這樣才能保證及時響應(yīng)嗎？如果某個任務(wù)占用處理器的時間過長，這個線程就會被調(diào)度器打斷，進(jìn)而讓其他線程去做他們的任務(wù)。問題是，我們得到的吞吐量比較低，因為我們在切換任務(wù)的時候，必須花時間把半成品收起來。舉例來說，保存半成品的工作可以是例如我們想要一起做乘法的變量，并且是占用幾個CPU寄存器。在這種情況下，我們將不得不來回交換所有這些寄存器。
Goroutines試圖通過讓任務(wù)在適當(dāng)?shù)臅r候調(diào)用調(diào)度器本身來解決事件驅(qū)動方式的阻塞問題。這通常發(fā)生在任務(wù)必須等待一些輸入或輸出而又無事可做的時候。在Go 1.2中，函數(shù)調(diào)用也會觸發(fā)調(diào)度器，因為無論如何都要把CPU寄存器交給調(diào)用方。Go還通過在不同的CPU核上運(yùn)行并行事件循環(huán)來降低阻塞的風(fēng)險，但我們在這里就不提了。
Echoserver示例
讓我們從一個簡單的服務(wù)器開始，為每個新的TCP連接啟動一個goroutine。為了簡潔起見，這里省略了錯誤處理，但你可以在我的Github repo上找到完整的代碼。
func main() {
addr, _ := net.ResolveTCPAddr("tcp", ":7777")
listener, _ := net.ListenTCP("tcp", addr)
replyGoroutine(listener)
}
func replyGoroutine(listener net.Listener) {
for {
conn, _ := listener.Accept()
go func() {
buf := make([]byte, 16)
conn.Read(buf)
log.Printf("received: %s", buf)
conn.Write(bytes.ToUpper(buf))
conn.Close()
}()
}
}
所有的Accept()、Read()和Write()調(diào)用都是在等待一些外部操作的完成，等待時恰好是切換到另一個任務(wù)的最佳時機(jī)。在等待點調(diào)用調(diào)度器runtime.Gosched()，這樣進(jìn)程就可以切換到另一個有工作要做的goroutine。
我們可以在Bash中使用Netcat來測試這段代碼。
$ echo "Hello World" | nc localhost 7777
HELLO WORLD
不用goroutine
上面，我們已經(jīng)滿足于 "等待某個外部操作完成 "時做其他事情的解釋。但這究竟是如何工作的呢？為了充分理解這一點，我們必須深入研究UNIX的polling和文件描述符的工作原理。我們通過在上面的同一個例子中使用它們，并自己實現(xiàn)我們自己的偽goroutine的調(diào)度邏輯。
文件描述符是一種可以處理外部資源的輸入、輸出和其他相關(guān)操作的資源。它們在讀/寫文件時使用，也可以用于在TCP端口上監(jiān)聽新的客戶端和處理一個開放的TCP連接。我們可以通過UNIX中的accept()、read()和write()等函數(shù)來訪問這些資源。問題是這些函數(shù)一次只能處理一個資源。幸運(yùn)的是，我們可以使用UNIX的polling來同時觀察多個資源上的事件。
在我們的例子中，我們使用的是epoll系統(tǒng)調(diào)用，它只支持Linux。Go運(yùn)行時以類似的方式使用相同的系統(tǒng)調(diào)用。在Go中，你可以通過golang.org/x/sys/unix包來訪問系統(tǒng)調(diào)用。
type GoroutineState struct {
connFile *os.File
buffer []byte
}
與每個goroutine相關(guān)的變量是用我們的GoroutineState來模擬的，它以TCP連接的文件描述符為鍵存儲在一個map中。
接下來，我們用EpollWait()實現(xiàn)事件循環(huán)，在這里，它監(jiān)視來自TCP監(jiān)聽器和TCP連接的文件描述符事件。EpollCtl()用于改變監(jiān)視事件的資源集。可以在Github repo查看完整的代碼，了解完整的錯誤處理。
func replierPoll(listener *net.TCPListener) {
epollFd, _ := unix.EpollCreate(8)
// UNIX represents a TCP listener socket as a file
listenerFile, _ := listener.File()
// Add the TCP listener to the set of file descriptors being polled
listenerPoll := unix.EpollEvent{
Fd: int32(listenerFile.Fd()),
Events: unix.POLLIN, // POLLIN triggers on accept()
Pad: 0, // Arbitary data
}
unix.EpollCtl(epollFd, unix.EPOLL_CTL_ADD, int(listenerPoll.Fd), &listenerPoll)
// Map EpollEvent.Pad to the connection state
states := map[int]*GoroutineState{}
for {
// Wait infinitely until at least one new event is happening
var eventsBuf [10]unix.EpollEvent
unix.EpollWait(epollFd, eventsBuf[:], -1)
// Go though every event occured; most often len(eventsBuf) == 1
for _, event := range eventsBuf {
if event.Fd == listenerPoll.Fd {
// Handle new connection
// AcceptTCP() will now return immediately
conn, _ := listener.AcceptTCP()
// Equal to creating a new goroutine
newState := addNewClientPoll(epollFd, conn)
fd := int(newState.connFile.Fd())
states[fd] = newState
continue
}
// Handle existing connection
fd := int(event.Pad)
state := states[fd]
if event.Events == unix.POLLIN {
state.connFile.Read(state.buffer)
log.Printf("received: %s", state.buffer)
// Equal to switching away the goroutine
newPoll := event
newPoll.Events = unix.POLLOUT
unix.EpollCtl(epollFd, unix.EPOLL_CTL_MOD, fd, &newPoll)
} else if event.Events == unix.POLLOUT {
state.connFile.Write(bytes.ToUpper(state.buffer))
state.connFile.Close()
// Equal to stopping the goroutine
unix.EpollCtl(epollFd, unix.EPOLL_CTL_DEL, fd, nil)
delete(states, fd)
}
}
}
}
我們的事件循環(huán)正在等待三種類型的事件。
- 新的連接: TCP端口監(jiān)聽器觸發(fā)POLLIN事件，
AcceptTCP()則立即返回 - 從TCP客戶端接收數(shù)據(jù): 客戶端套接字觸發(fā)POLLIN事件，
Read()立即返回。 - 緩沖區(qū)中的可用空間要發(fā)送給TCP客戶端: 客戶端套接字觸發(fā)POLLOUT事件，
Write()立即返回。
這里是將GoroutineState添加到新的連接中的代碼：
func addNewClientPoll(epollFd int, conn *net.TCPConn) *GoroutineState {
connFile, _ := conn.File()
conn.Close() // Close this an use the connFile copy instead
newState := GoroutineState{
connFile: connFile,
buffer: make([]byte, 16),
}
fd := int(connFile.Fd())
connPoll := unix.EpollEvent{
Fd: int32(fd),
Events: unix.POLLIN, // POLLIN triggers on accept()
Pad: int32(fd), // So we can find states[fd] when triggered
}
unix.EpollCtl(epollFd, unix.EPOLL_CTL_ADD, fd, &connPoll)
return &newState
}
epoll只支持Linux。但在其他操作系統(tǒng)上也可以找到類似的系統(tǒng)調(diào)用，比如Mac/BSD上的kqueue()和POSIX系統(tǒng)上擴(kuò)展性較差的poll()。
結(jié)論
我們可以看到，Go使用了事件驅(qū)動架構(gòu)的技術(shù)，而程序員不必了解它。JavaScript/Node.js也遵循了類似的做法，但需要程序員為其編寫代碼，并思考潛在的阻塞問題。在Go中，你很少需要思考這個問題。從我們的例子中，我們還可以看到，訪問UNIX系統(tǒng)調(diào)用非常容易，因為unix包提供了一個友好的封閉以供在Go編程中調(diào)用。
(旁注：線程切換是由OS完成，調(diào)度也是OS來做，上下文切換費時費力；go有自己的調(diào)度器，對go來說，goroutine是調(diào)度單元，goroutine切換也是在用戶態(tài)完成，goroutine需要OS線程來最終運(yùn)行，所以可以盡可能利用CPU，從編碼角度講，goroutine當(dāng)然比線程輕量，畢竟同樣功能代碼量更少，go的runtime幫程序員完成了很多事情。作者的切入點很有意思，看起來像是在做一個代碼級別的比較，其實引申出了很多OS底層內(nèi)容，比如事件驅(qū)動)
參考
- How to stop Go’s scheduler loop from working: A pitfall of golang scheduler
- Deeper coverage of the scheduler concepts: Analysis of the Go runtime scheduler
