1. 關于select模型:
上一篇文章寫了多線程的echo服務器,使用多線程的好處是同時相應建立連接的客戶端和進行通信的客戶端。當時這樣的缺點是,服務器為每一個連接上來的客戶端都創建了一個線程,進行和客戶端的通信,這樣當客戶端很多的時候,服務器創建大量了線程,線程之間的切換(雖然沒有進程的切換開銷大,當時依然是一個不少的性能損耗)可能會降低服務器的性能。所有更好的方式是 使用select,poll,epoll 模型。
2. 關于select,poll,epoll 的區別,以后再談。今天先寫select的模型。
先占一個坑
3. 關于select的解釋
上一篇文章多線程的echo服務器,是通過多線程來處理多個請求,每個連接過來分配一個線程來處理。
但是select是單進程的,一個進程執行代碼肯定就是串行的,但是現在就要通過一個進程來實現并發的效果,一個進程下只有一個主線程,也就說用一個線程實現并發的效果。
select 是一個典型的異步I/O模型。什么是異步I/O?就是服務器服務器并不是傻等這客戶點的消息,服務器先干別的去了,等客戶端來了消息,通過一種機制,讓服務器直到這個客戶端有消息了。(大概是這個意思)
關于同步,異步,阻塞,非阻塞的具體區別,再占一個坑。
為了避免單進程阻塞式的echo服務器和多線程echo服務器各自的缺點,就出現了異步。
為了實現主進程既能和已連接的客戶端收發消息,又能和新的客戶端建立連接,就把輪詢變的非常快(死循環)去刷客戶端連接進來的文件句柄的列表,只要客戶端發消息了,服務端讀取了消息之后,服務器處理了這個消息(比如接收下來,做一個處理,再返回;可能是只接收下來,保存一下消息和客戶端的地址,以后再處理),然后服務器再進行下一次的輪詢。
說白了,就是原來是服務器傻等一個客戶端,現在是服務器,把想和服務器建立連接,或者是已經建立連接想要給服務器發消息的客戶端加入到一個集合,然后調用select ,拿出一個client。如果這個client是想和服務器建立連接的,那么就建立連接;如果是給服務器發消息的,那么服務器就接收它的消息。這樣就實現了一個單進程(主線程),利用異步IO,實現了并發處理。
<br />
server代碼:
#coding:utf-8
import socket
import queue
from select import select
SERVER_IP = ('127.0.0.1', 9998)
# 保存客戶端發送過來的消息,將消息放入隊列中
message_queue = {}
input_list = []
output_list = []
if __name__ == "__main__":
server = socket.socket()
server.bind(SERVER_IP)
server.listen(10)
# 設置為非阻塞
server.setblocking(False)
# 初始化將服務端加入監聽列表
input_list.append(server)
while True:
# 開始 select 監聽,對input_list中的服務端server進行監聽
stdinput, stdoutput, stderr = select(input_list, output_list, input_list)
# 循環判斷是否有客戶端連接進來,當有客戶端連接進來時select將觸發
for obj in stdinput:
# 判斷當前觸發的是不是服務端對象, 當觸發的對象是服務端對象時,說明有新客戶端連接進來了
if obj == server:
# 接收客戶端的連接, 獲取客戶端對象和客戶端地址信息
conn, addr = server.accept()
print("Client {0} connected! ".format(addr))
# 將客戶端對象也加入到監聽的列表中, 當客戶端發送消息時 select 將觸發
input_list.append(conn)
# 為連接的客戶端單獨創建一個消息隊列,用來保存客戶端發送的消息
message_queue[conn] = queue.Queue()
else:
# 由于客戶端連接進來時服務端接收客戶端連接請求,將客戶端加入到了監聽列表中(input_list),客戶端發送消息將觸發
# 所以判斷是否是客戶端對象觸發
try:
recv_data = obj.recv(1024)
# 客戶端未斷開
if recv_data:
print("received {0} from client {1}".format(recv_data.decode(), addr))
# 將收到的消息放入到各客戶端的消息隊列中
message_queue[obj].put(recv_data)
# 將回復操作放到output列表中,讓select監聽
if obj not in output_list:
output_list.append(obj)
except ConnectionResetError:
# 客戶端斷開連接了,將客戶端的監聽從input列表中移除
input_list.remove(obj)
# 移除客戶端對象的消息隊列
del message_queue[obj]
print("\n[input] Client {0} disconnected".format(addr))
# 如果現在沒有客戶端請求,也沒有客戶端發送消息時,開始對發送消息列表進行處理,是否需要發送消息
for sendobj in output_list:
try:
# 如果消息隊列中有消息,從消息隊列中獲取要發送的消息
if not message_queue[sendobj].empty():
# 從該客戶端對象的消息隊列中獲取要發送的消息
send_data = message_queue[sendobj].get()
sendobj.sendall(send_data)
print ('ehco > 'send_data)
else:
# 將監聽移除等待下一次客戶端發送消息
output_list.remove(sendobj)
except ConnectionResetError:
# 客戶端連接斷開了
del message_queue[sendobj]
output_list.remove(sendobj)
print("\n[output] Client {0} disconnected".format(addr))
<br />
client 代碼
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import socket
HOST='127.0.0.1'
PORT=9998
sockaddr=(HOST,PORT)
ct=socket.socket()
ct.connect(sockaddr)
while True:
inp=input("請輸入要發送的內容: ")
ct.sendall(bytes(inp,encoding='utf-8'))
ret_bytes=ct.recv(1024)
print(str(ret_bytes,encoding='utf-8'))
ct.close()
運行結果:
(其實是啟動了三個客戶端進行通信的)
git:
https://github.com/zhaozhengcoder/Network-Program
相關文章
一個基于python的單線程的echo服務器
http://www.lxweimin.com/p/8f1941c4a549
基于python的一個多線程echo服務器
http://www.lxweimin.com/p/2ffde49b55c3
一個基于select模型的echo服務器
http://www.lxweimin.com/p/8a360a3f13aa
關于select,poll,epoll3個網絡編程異步模型的區別
http://www.lxweimin.com/p/3bf72e232fb8
參考文章:
關于select:
http://www.cnblogs.com/robinunix/p/5246122.html
http://blog.csdn.net/songfreeman/article/details/51179213
關于socket :
http://www.lxweimin.com/p/3fb5251e697d