python網絡編程

TCP/IP簡介

計算機為了聯網,就必須規定通信協議,早起的計算機網絡。就是由各廠商自己規定一套協議,IBM、Appe和Microsoft都有各自的網絡協議,互不兼容,這就好比一群人有的說英語,有的說中文,有的說德語,說同一種語言的人可以交流,不同語言之間就不行了。

為了把全世界的所有不同類型的計算機都連接起來,就必須規定一套全球通用的協議,為了實現互聯網這個目標,互聯網協議簇就是通過協議標準。internet是由inter和net兩個單詞組合起來的,愿意就是連接“網絡”的網絡,有了internet,任何私有網絡,只要支持這個協議,就可以聯入互聯網。

因為互聯網協議包含了上百種協議標準,但是最重要的兩個協議是TCP和IP協議,所以,大家把互聯網的協議簡稱TCP/IP協議。

通信的時候,雙方必須知道對方的標識,好比發郵件必須知道對象的郵件地址。互聯網上每個計算機的唯一標識就是IP地址,類似 123.123.123.123 。如果一臺計算機同時接入兩個或更多的網絡,比如路由器,它就會有兩個或多個IP地址,所以IP地址對應的實際上是計算機的網絡接口,通常是網卡。

IP協議負責把數據從一臺計算機通過網絡發送到另一臺計算機。數據被分割成一小塊一小塊,然后通過IP包發送出去,由于互聯網鏈路復雜,兩臺計算機之間經常有多條線路,因此,路由器就負責決定如何把一個IP包轉發出去。IP包的特點是按塊發送,途徑多個路由,但不保證能到達,也不保證順序到達。

IP地址實際上是一個32位整數(稱為IPv4),以字符串表示的IP地址

如192.168.0.1實際上是把32位整數按8位分組后的數字表示,目的是便于閱讀。

IPv6地址實際上一個128位整數,它是目前使用的IPv4的升級版,以字符串表示類似于 2001:0db8:85a3:0042:1000:8a2e:0370:7334 。

TCP協議則是建立在IP協議之上的。TCP協議負責在兩臺計算機之間建議可靠連接,保證數據包按順序到達。TCP協議會通過握手建議連接,然后,對每個IP包編號,確保對方按順序收到,如果包丟掉了,就自動重發。

許多常用的更高級的協議都是建立在TCP協議基礎上的,比如用于瀏覽器的HTTP協議、發送郵件的SMTP協議等。

一個TCP報文除了包含要傳輸的數據外,還包含源IP地址和目標IP地址,源端口和目標端口。

端口有什么作用? 在兩臺計算機通信時,只發IP地址是不夠的,因為同一臺計算機上是跑著多個網絡程序。一個TCP報文來了之后,到底是交給瀏覽器還是QQ,就需要端口號來區分。每個網絡程序都向操作系統申請唯一的端口號,這樣,兩個進程在兩臺計算機之間建立的網絡連接就需要各自的IP地址和各自的端口號。

一個進程也可能同時與多個計算機建立鏈接,因此它會申請很多端口。

端口號分類:

計算機中的端口號的范圍是 0~65535 之間

端口號根據其使用場景,一般區分為公用端口、動態端口、保留端口

公用端口:0~1023

動態端口:1024~65535

保留端口:一般是unix系統中超級用戶進程分配保留端口號

常見端口號:

21???? FTP 文件傳輸端口

22???? ssh 服務端口

23???? telnet 服務端口

25 ????smtp 郵件服務端口

80???? http 超文本傳輸協議端口

110???? pop3 郵局協議端口

115? ? sftp安全文件傳輸協議端口

443? ? https安全超文本傳輸協議端口

more:更多端口請參考網絡資料

remark:查看當前主機正在使用端口號:netstat –ano

remark:查看當前主機中某個端口號是否被使用:netstat -ano | findstr port

TCP編程

socket是網絡編程的一個抽象概念。通常我們用一個socket表示 打開了一個網絡鏈接 ,而打開一個scoket需要知道目標計算機的IP地址和端口號,再指定協議類型即可。

客戶端

大多數鏈接都是可靠的TCP鏈接。創建TCP連接時,主動發起連接的叫客戶端,被動響應連接的叫服務器。

舉個例子,當我們在瀏覽器中訪問新浪時,我們自己的計算機就是客戶端,瀏覽器會主動向新浪的服務器發起連接。如果一切順利,新浪的服務器接受了我們的連接,一個TCP連接就建立起來了,后面的通信就是發送網頁內容了。

所以,我們要創建一個基于TCP連接的socket,可以這樣做:

# 導入socket庫

import socket

# 創建一個socket

s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)

# 建立連接

s.connect(('www.sina.com.cn',80))

創建scoket時,AF_INETZ? ?指定使用IPv4協議,如果要用更先進的IPv6,就指定為 AF_INET6。SOCK_STREAM 指定使用面向流的TCP協議,這樣,一個socket對象就創建成功,但是還有建立連接。

客戶端要主動發起TCP連接,必須知道服務器的IP地址和端口號。新浪網站的IP地址可以用域名www.sina.com.cn 自動轉換到IP地址,但是怎么知道新浪服務器的端口號呢?

答案是作為服務器,提供什么樣的服務,端口號就必須固定下來。由于我們想要訪問網頁,因此新浪提供網頁服務的服務器必須要端口號固定在80端口,因為80端口是Web服務的標準端口。其他服務都有對應的標準端口號,例如SMTP服務是25端口,FTP服務是21端口,等等。

端口號小于1024的是internet標準服務的端口,端口號大于1024的可以任意使用。

因此我們連接新浪服務器的代碼如下:

s.connect(('www.sina.com.cn',80))

注意參數是一個tuple,包含地址和端口號。建立TCP連接后,我們就可以向新浪服務器發送請求,要求返回首頁的內容:

# 發送數據

s.send(b'GET/HTTP/1.1\r\nHost: www.sina.com.cn\r\nConnection: close\r\n\r\n')

TCP連接創建時雙向通道,雙方都可以同時給對方發數據。但是誰先發誰后發,怎么協調,要根據具體的協議來決定。例如,HTTP協議規定客戶端必須先發請求給服務器,服務器收到后才發數據給客戶端。

發送的文本格式必須符合HTTP標準,如果格式沒問題,接下來就可以接收新浪服務器返回的數據了:

# 接收數據:

buffer = []

while True:

? ? ? ? # 每次最多接收1K字節

? ? ? ? d = s.recv(1024)

? ? ? ? if d:

? ? ? ? ? ? ? ? buffer.append(d)

? ? ? ? else:

? ? ? ? ? ? ? ? break

data = b''.join(buffer)

接收數據時,調用recv(max)方法,一個最多接收指定的字節數,因此,在一個while循環中反復接收,知道recv()返回空數據,表示接收完畢,退出循環。

當我們接收完數據后,調用close()方法關閉socket,這樣,一次完整的網絡通信就結束了:

# 關閉連接

s.close()

接收到的數據包括HTTP頭和網頁本身,我們只需要把HTTP頭和網頁分離一下,把HTTP頭打印出來,網頁內容保存到文件:

header,html = data.split(b'\r\n\r\n',1)

print(header.decode('utf-8'))

# 把接收的數據寫入文件

with open ('sina.html','wb') as f:

? ? ? ? f.write(html)

現在,只需要在瀏覽器中打開這個sina.html文件,就可以看到新浪的首頁了。

服務器

和客戶端編程相比,服務器編程就要復雜一些。

服務器進程首先要綁定一個端口并監聽來自其他客戶端的連接。如果某個客戶端連接過來了,服務器就與該客戶端建立socket連接,隨后的通信就靠這個socket連接了。

所以,? ? 服務器會打開固定端口(比如80)監聽,每來一個客戶端連接,就創建該socket連接。由于服務器會有大量來自客戶端的連接,所以,服務器要能夠區分一個socket連接是和哪個客戶端綁定的。一個socket依賴4項:服務器地址、服務器端口、客戶端地址、客戶端端口來唯一確定一個socket。

但是服務器還需要同時響應多個客戶端的請求,所以,每個連接都需要一個新的進程或者新的線程來處理,否則,服務器一次就只能服務一個客戶端了。

我們來編寫一個簡單的服務器程序,它接收客戶端連接,把客戶端發來過的字符串加上Hello再發回去

首先,創建一個基于IPv4和TCP協議的socket:

s = socket.socket(scoket.AF_INET,socket.SOCK_STREAM)

然后,我們要綁定監聽的地址和端口。服務器可能 有多塊兒網卡,可以綁定在某一塊網卡的IP地址上,也可以用0.0.0.0 綁定到所有的網絡地址,還可以用127.0.0.1 綁定到本機地址,127.0.0.1 是一個特殊的IP地址,表示本機地址,如果綁定到這個地址,客戶端必須同時在本機運行才能連接,也就是說,外部的計算機無法連接進來。

端口號需要預先指定。因為我們寫的這個服務不是標準服務,所以用9999 這個端口號。請注意,小于1024的端口號必須要有管理員權限才能綁定:

# 監聽端口:

s.bind('127.0.0.1',9999)

緊接著,調用listen()方法開始監聽端口,傳入的參數指定等待連接的最大數量:

s.listen(5)

print("waiting for connetion...")

接下來,服務器程序通過一個永久循環來接受來自客戶端的連接,accept()會等待并返回一個客戶端的連接:

while True:

? ? ? ? # 接受一個新連接

? ? ? ? sock,addr = s.accept()

? ? ? ? # 創建新線程來處理TCP連接

? ? ? ? t = threading.Thread(target = tcplink, args = (sock,addr))

? ? ? ? t.start()

每個連接都必須創建新線程(或進程)來處理,否則,單線程在處理連接的過程中,無法接受其他客戶端的連接

def tcplink(sock,addr):

? ? ? ? print("Accept new connection from %s:%s..." % addr)

? ? ? ? sock.send(b'welcome!')

? ? ? ? while True:

? ? ? ? ? ? ? ? data = sock.recv(1024)

? ? ? ? ? ? ? ? time.sleep(1)

? ? ? ? ? ? ? ? if not data or data.decode('utf-8') == 'exit':

? ? ? ? ? ? ? ? ? ? ? ? break?

? ? ? ? ? ? ? ? sock.send(('hello,%s!' % data.decode('utf-8')).encode('utf-8'))

? ? ? ? sock.close()

? ? ? ? print("Connection from %s:%s closed." % addr)

連接建立后,服務器首先發一條歡迎消息,然后等待客戶端數據,并加上Hello再發送給客戶端。如果客戶端發送了exit字符串,就直接關閉連接。

要測試這個服務器程序,我們還需要編寫一個客戶端程序:

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 建立連接:

s.connect(('127.0.0.1',9999))

# 接收歡迎消息:

print(s.recv(1024).decode('utf-8'))

fordatain[b'Michael',b'Tracy',b'Sarah']:

????????# 發送數據:

????????s.send(data)?

? ? ? ? print(s.recv(1024).decode('utf-8'))

s.send(b'exit')

s.close()

我們需要打開兩個命令行窗口,一個運行服務器程序,另一個運行客戶端程序,就可以看到效果了:


需要注意的是,客戶端程序運行完畢就退出了,而服務器程序會永遠運行下去,必須按Ctrl+C退出程序。

小結

用TCP協議進行Socket編程在Python中十分簡單,對于客戶端,要主動連接服務器的IP和指定端口,對于服務器,要首先監聽指定端口,然后,對每一個新的連接,創建一個線程或進程來處理。通常,服務器程序會無限運行下去。

同一個端口,被一個Socket綁定了以后,就不能被別的Socket綁定了。

udp編程


TCP是建立可靠連接,并且通信雙方都可以以流的形式發送數據。相對TCP,UDP則是面向無連接的協議。

使用UDP協議時,不需要建立連接,只需要知道對方的IP地址和端口號,就可以直接發數據包。但是,能不能到達就不知道了。

雖然用UDP傳輸數據不可靠,但它的優點是和TCP相比,速度快,對于不要求可靠到達的數據,就可以使用UDP協議。

我們來看看如何通過UDP協議傳輸數據。和TCP類似,使用UDP的通信雙方也分為客戶端和服務器,服務器首先需要綁定端口:

s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# 綁定端口:

s.bind(('127.0.0.1',9999))

創建socket時,SOCK_DGRAM指定了這個socket 的類型是UDP。綁定端口和TCP一樣,但是不需要調用listen()方法,而是直接接受來自任何客戶端的數據:

print('Bind UDP on 9999...')

whileTrue:

????????# 接收數據:

????????data, addr = s.recvfrom(1024)

????????print('Received from %s:%s.'% addr)?

?????????s.sendto(b'Hello, %s!'% data, addr)

recvfrom() 方法返回數據和客戶端地址與端口,這樣,服務器受到數據后,直接調用sendto() 就可以把數據用UDP發給客戶端。

注意這里省掉了多線程,因為這個例子很簡單。

客戶端使用UDP時,首先仍然創建基于UDP的socket,然后,不需要調用connnect(), 直接通過sendto() 給服務器發數據:

s = socket.socket(socket.AF_INET,socekt.SOCK_DGRAM)

for data in [b'Micjael' , b'Tracy' , b'Sarah']:

? ? ? ? # 發送數據

? ? ? ? s.sendto(data, ('127.0.0.1',9999))

? ? ? ? # 接收數據

? ? ? ? print(s.recv(1024).decode('utf-8')

s.close()

從服務器接收數據仍然調用recv()方法。

仍然用兩個命令行分別啟動服務器和客戶端測試,結果如下:


小結

UDP的使用與TCP類似,但是不需要建立連接。此外,服務器綁定的UDP端口和TCP端口互不沖突,也就是說,UDP的9999端口與TCP的9999端口可以各自綁定

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,578評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,701評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,691評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,974評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,694評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,026評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,015評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,193評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,719評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,442評論 3 360
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,668評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,151評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,846評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,255評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,592評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,394評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,635評論 2 380

推薦閱讀更多精彩內容