實現簡易的C語言編譯器(part 3)

? ? ? ? 在前幾部分中,我們重點分析了前處理和詞法分析過程,已經將源代碼拆解成一個個的token了。接下來,我們將分析這些token的邏輯結構是否嚴格按照C語言定義的語法規則來排布,這就是將要介紹的內容:語法分析
? ? ? ? 還是從代碼入手分析,這樣更加生動形象。給定下面這段C代碼:

int a;
int main()
{
    int b;
    b = 1;
    return (a + 2)  - b;
}

數學家對物理學家說:“只要你能將物理問題轉化為數學問題,我就都能解決。”這段話告訴我們要學會抽象。具體而言,

  • 顯然,int aint b是完全類似的,我們可以將其歸為一類。更寬泛的,除了聲明變量,也可以將函數變量的聲明int main也歸類為同一類別,并統之為declaration,因為它們都是一類型符int開始的。
  • b = 1(a + 2) * 2 - b都是操作聲明的變量,統稱為expression
  • expression以分號結尾,表明一個具體的操作,稱為statement
    可能有點繞,歸納起來,采用縮進表示層級關系,上面代碼可以這樣進行描述:
program
    declaration
    declaration  -->  function_definition
        statement  --> compound_statement
            declaration
            statement  --> expression_statement
                expression
            statement  --> return_statement
                expression

箭頭右邊所指對應著該名字的詳細分類,我們會在后面深入研究。
? ? ? ? 通過這種方式,我們就將C語言中看似復雜多變、毫無頭緒的結構變成了一種抽象的、方便處理的形式。值得注意的是,這些劃分和教科書上面的介紹肯定有所出入,只是在參考資料的基礎上,我想按照自己的理解進行介紹,不至于按照條條框框地介紹讓人覺得枯燥無味。
? ? ? ? 其實,無論多復雜的C語言代碼,都可以將其分成三大類:表達式、語句和聲明。如果大家接受這樣一套定義規則,那么我們將依次介紹這些內容,開始語法分析的處理過程。

3.1 表達式(expression)

? ? ? ? 先來研究在上面代碼中出現的這段表達式:

(a + 2) - b  --> a, 2, b

箭頭右邊的變量和具體的值,是我們所能拆分的最小單元了。并且恰好是詞法分析過程中得到的那些token,我們將其記為primary_expression。于是,primary_expression的組成形式為:

primary_expression : ID
                   | INT

其中|表示“或者”,表示可以取任何一個類型的值。ID代表標識符,如abINT是具體的數值所對應的類型,后面還會介紹的CHAR也是這樣的。這些primary_expression通過加減運算符號聯系起來,形成稍微復雜一點的additive_expression。于是,括號內的部分可以表示成:

additive_expression : primary_expression + primary_expression

進一步的,如何表示(a + 2) - b呢?如果能夠將之表示為:

additive_expression : additive_expression - primary_expression

那么,相信你已經對這樣一套流程有了初步的認識了。值得注意的是,上面的表述方法中,我們還沒有將括號納入其中,但由于括號優先級最高,又必須考慮。怎么辦呢?那就將括號內的部分打包當成最小單元,問題也就引刃而解了。從而可以更新primary_expression的組成形式,得到:

primary_expression : ( additive_expression )
                   | ID
                   | INT

再將兩條additive_expression合并起來:

additive_expression : primary_expression + primary_expression
                    | additive_expression - primary_expression

這樣就構成了表達式(a + 2) - b的完整描述。這里面其實暗含著一種遞歸,直到我們能夠返回ID或者INT為止。那么對照著,下面的表達式:

((a + 1) + 2) - b

也能用上面的表示方法描述。于是乎,就達到了我們抽象問題的目的。但是,如果包含乘法,或者更加復雜一些的表達式呢?我先直接寫出完整的四則運算的描述:

primary_expression : ( additive_expression )
                   | CHAR
                   | INT
                   | ID

unary_expression : primary_expression
                 | + unary_expression
                 | - unary_expression

multiple_expression : unary_expression
                    | multiple_expression * unary_expression
                    | multiple_expression / unary_expression

additive_expression : multiple_expression
                    | additive_expression + multiple_expression
                    | additive_expression - multiple_expression

? ? ? ? 怎么來理解這些表達式的描述呢?舉個例子,假設有這樣一個表達式:

(3 - 2 / 2)

我們用下圖來理解這些表達式之間的關系:


圖3-1. 表達式:(3 - 2 / 2)圖示

? ? ? ? 此刻,相信大家一定也看明白了整個的分析過程。接下來,我們開始實現這樣一個過程。首先,定義一個類來描述這種結構。

class Parser(object):
    def __init__(self, lexer):
        self.lexer = lexer
        self.current_token = self.lexer.get_next_token()

    def eat(self, token_type):
        if self.current_token.type == token_type:
            self.current_token = self.lexer.get_next_token()
        else:
            raise Exception()

這里的eat函數其實就是調用詞法分析中的get_next_token(),但是增加了一個判斷,使得我們能夠按照期望的token來進行匹配,否則就會拋出異常。這樣,就形成了按照給定語法結構進行語法分析的基本框架。
? ? ? ? 對照著上文四則運算的描述,具體的實現代碼如下:

    def additive_expression(self):
        node = self.multiple_expression()

        while self.current_token.type in (PLUS, MINUS):
            token = self.current_token
            self.eat(token.type)

            node = BinOp(left=node, op=token.value, \ 
                         right=self.multiple_expression())

        return node

    def multiple_expression(self):
        node = self.unary_expression()

        while self.current_token.type in (MUL, DIVIDE):
            token = self.current_token
            self.eat(token.type)

            node = BinOp(left=node, op=token.value, \ 
                         right=self.unary_expression()))

        return node

    def unary_expression(self):
        token = self.current_token
        if token.type == PLUS:
            self.eat(token.type)
            node = self.unary_expression()
        elif token.type == MINUS:
            self.eat(token.type)
            node = Negative(self.unary_expression())
        else:
            node = self.primary_expression()

        return node

    def primary_expression(self):
        token = self.current_token
        if token.type in (INT, CHAR, ID):
            self.eat(token.type)
            return token.value
        elif token.type == LPAREN:
            self.eat(LPAREN)
            node = self.additive_expression()
            self.eat(RPAREN)
            return node

        return None

這段代碼中,類似于PLUS這種全部由大寫字母組成的名詞就是token。而BinOpNegative則是對處理得到的數據的一種組合,方便后續處理,我們會在后面詳細介紹。
? ? ? ? 有了這些內容,寫個簡單的計算器應用應該會非常簡單了。但對于C語言而言,光有這些這些基本類型還遠遠不夠,我們進一步來研究對數組和結構體等這些稍微復雜的數據類型,所組成的表達式應該如何描述。例如:

str[3]
point->x
person.id
&x 

這里,處理括號的思想將不再適用,數組下標或者結構體成員都是具體的primary_expression,我們只能增加表達式的描述內容。因此,擴展后的表達式描述如下:

unary_expression : postfix_expression
                 | & unary_expression
                 | * unary_expression
                 | + unary_expression
                 | - unary_expression
                
postfix_expression : primary_expression
                   | postfix_expression [ expression ]
                   | postfix_expression . ID
                   | postfix_expression -> ID

那么,對于具體的實現,就只需要依葫蘆畫瓢,這里就不再贅述了。
? ? ? ? 不要忘了,還有函數的使用。C語言中,調用函數的方式如下:

printf("%s", "Hello world!");
add(1, 2);
callBackCb();

于是,根據結構,繼續補充描述:

postfix_expression : primary_expression
                   | postfix_expression [ expression ]
                   | postfix_expression . ID
                   | postfix_expression -> ID
                   | ( )
                   | ( argument_expression_list )

argument_expression_list : primary_expression
                         | argument_expression_list, primary_expression

? ? ? ? 這里留下一個問題,對于C語言定義的其它運算,如邏輯運算符(&&||)、關系運算符(>=)等等又該如何處理呢?可以按照上面給定的這些描述觸類旁通。具體的細節,我們留在下一部分進行詳細介紹。

實現簡易的C語言編譯器(part 0)
實現簡易的C語言編譯器(part 1)
實現簡易的C語言編譯器(part 2)
實現簡易的C語言編譯器(part 4)
實現簡易的C語言編譯器(part 5)
實現簡易的C語言編譯器(part 6)
實現簡易的C語言編譯器(part 7)
實現簡易的C語言編譯器(part 8)
實現簡易的C語言編譯器(part 9)
實現簡易的C語言編譯器(part 10)
實現簡易的C語言編譯器(part 11)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容