Go編程技巧--io.Reader/Writer

Go原生的pkg中有一些核心的interface,其中io.Reader/Writer是比較常用的接口。很多原生的結構都圍繞這個系列的接口展開,在實際的開發過程中,你會發現通過這個接口可以在多種不同的io類型之間進行過渡和轉化。本文結合實際場景來總結一番。

總覽

image.png

圍繞io.Reader/Writer,有幾個常用的實現:

  • net.Conn, os.Stdin, os.File: 網絡、標準輸入輸出、文件的流讀取
  • strings.Reader: 把字符串抽象成Reader
  • bytes.Reader: 把[]byte抽象成Reader
  • bytes.Buffer: 把[]byte抽象成Reader和Writer
  • bufio.Reader/Writer: 抽象成帶緩沖的流讀取(比如按行讀寫)

這些實現對于初學者來說其實比較難去記憶,在遇到實際問題的時候更是一臉蒙圈,不知如何是好。下面用實際的場景來舉例

場景舉例

0. base64編碼成字符串

encoding/base64包中:

func NewEncoder(enc *Encoding, w io.Writer) io.WriteCloser

這個用來做base64編碼,但是仔細觀察發現,它需要一個io.Writer作為輸出目標,并用返回的WriteCloser的Write方法將結果寫入目標,下面是Go官方文檔的例子

input := []byte("foo\x00bar")
encoder := base64.NewEncoder(base64.StdEncoding, os.Stdout)
encoder.Write(input)

這個例子是將結果寫入到Stdout,如果我們希望得到一個字符串呢?觀察上面的圖,不然發現可以用bytes.Buffer作為目標io.Writer

input := []byte("foo\x00bar")
buffer := new(bytes.Buffer)
encoder := base64.NewEncoder(base64.StdEncoding, buffer)
encoder.Write(input)
fmt.Println(string(buffer.Bytes())

1. []byte和struct之間正反序列化

這種場景經常用在基于字節的協議上,比如有一個具有固定長度的結構:

type Protocol struct {
    Version     uint8
    BodyLen     uint16
    Reserved    [2]byte
    Unit        uint8
    Value       uint32
}

通過一個[]byte來反序列化得到這個Protocol,一種思路是遍歷這個[]byte,然后逐一賦值。其實在encoding/binary包中有個方便的方法:

func Read(r io.Reader, order ByteOrder, data interface{}) error

這個方法從一個io.Reader中讀取字節,并已order指定的端模式,來給填充data(data需要是fixed-sized的結構或者類型)。要用到這個方法首先要有一個io.Reader,從上面的圖中不難發現,我們可以這么寫:

var p Protocol
var bin []byte
//...
binary.Read(bytes.NewReader(bin), binary.LittleEndian, &p)

換句話說,我們將一個[]byte轉成了一個io.Reader

反過來,我們需要將Protocol序列化得到[]byte,使用encoding/binary包中有個對應的Write方法:

func Write(w io.Writer, order ByteOrder, data interface{}) error

通過將[]byte轉成一個io.Writer即可:

var p Protocol
buffer := new(bytes.Buffer)
//...
binary.Writer(buffer, binary.LittleEndian, p)
bin := buffer.Bytes()

2. 從流中按行讀取

比如對于常見的基于文本行的HTTP協議的讀取,我們需要將一個流按照行來讀取。本質上,我們需要一個基于緩沖的讀寫機制(讀一些到緩沖,然后遍歷緩沖中我們關心的字節或字符)。在Go中有一個bufio的包可以實現帶緩沖的讀寫:

func NewReader(rd io.Reader) *Reader
func (b *Reader) ReadString(delim byte) (string, error)

這個ReadString方法從io.Reader中讀取字符串,直到delim,就返回delim和之前的字符串。如果將delim設置為\n,相當于按行來讀取了:

var conn net.Conn
//...
reader := NewReader(conn)
for {
    line, err := reader.ReadString([]byte('\n'))
    //...
}

花式技(zuo)巧(si)

string轉[]byte

a := "Hello, playground"
fmt.Println([]byte(a))

等價于

a := "Hello, playground"
buf := new(bytes.Buffer)
buf.ReadFrom(strings.NewReader(a))
fmt.Println(buf.Bytes())
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • tags:io categories:總結 date: 2017-03-28 22:49:50 不僅僅在JAVA領...
    行徑行閱讀 2,217評論 0 3
  • io包中最重要的是兩個接口:Reader和Writer Reader接口##### type Writer int...
    勿以浮沙筑高臺閱讀 16,332評論 0 5
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,948評論 18 139
  • 周佳琦
    周伙英閱讀 298評論 0 0
  • 高考的大軍已然過境,我們這群考生站在兩道緊閉的中間不知所措,我們面前是大學的門,我們身后是高考的門。在這個尷尬的地...
    QueenieZz閱讀 351評論 3 3