上一篇 我們學習了簡單的Python TCP Socket 編程,通過分別寫服務端和客戶端的代碼了解基本的 Python Socket 編程模型。本文再通過一個例子來加強一下對 Socket 編程的理解。
一、聊天室程序需求
我們要實現(xiàn)的是簡單的聊天室的例子,就是允許多個人同時一起聊天,每個人發(fā)送的消息所有人都能接收到,類似于 QQ 群的功能,而不是點對點的 QQ 好友之間的聊天。如下圖:
我們要實現(xiàn)的有兩部分:
- Chat Server:聊天服務器,負責與用戶建立 Socket 連接,并將某個用戶發(fā)送的消息廣播到所有在線的用戶。
- Telnet Client:用戶聊天客戶端,可以輸入聊天的內容并發(fā)送,同時可以顯示其他用戶的消息記錄。
同樣,我們的消息通信采用 TCP 連接保證可靠性。在分別對服務端和客戶端進行程序設計之前,首先要學習一下 Python 中實現(xiàn)異步 I/O 的一個函數(shù) —— select。
二、Python 異步I/O
Python 在 select 模塊中提供了異步 I/O(Asynchronous I/O),這與 Linux 下的 select 機制相似,但進行一些簡化。我首先介紹一下 select,然后告訴你在 Python 中如何使用它。
前面文章使用多線程來并行處理多路 socket I/O,這里介紹的select 方法允許你響應不同 socket 的多個事件以及其它不同事件。例如你可以讓 select 在某個 socket 有數(shù)據(jù)到達時,或者當某個 socket 可以寫數(shù)據(jù)時,又或者是當某個 socket 發(fā)生錯誤時通知你,好處是你可以同時響應很多 socket 的多個事件。
Linux 下 C 語言的 select 使用到位圖來表示我們要關注哪些文件描述符的事件,Python 中使用 list 來表示我們監(jiān)控的文件描述符,當有事件到達時,返回的也是文件描述符的 list,表示這些文件有事件到達。下面的簡單程序是表示等待從標準輸入中獲得輸入:
1
2
3
|
rlist, wlist, elist = select.select( [sys.stdin], [], [] ) print sys.stdin.read() |
select 方法的三個參數(shù)都是 list 類型,分別代表讀事件、寫事件、錯誤事件,同樣方法返回值也是三個 list,包含的是哪些事件(讀、寫、異常)滿足了。上面的例子,由于參數(shù)只有一個事件 sys.stdin,表示只關心標準輸入事件,因此當 select 返回時 rlist 只會是 [sys.stdin],表示可以從 stdin 中讀入數(shù)據(jù)了,我們使用 read 方法來讀入數(shù)據(jù)。
當然 select 對于 socket 描述符也是有效的,下面的一個例子是創(chuàng)建了兩個 socket 客戶端連接到遠程服務器,select 用來監(jiān)控哪個 socket 有數(shù)據(jù)到達:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
import socket import select sock1 = socket.socket( socket.AF_INET, socket.SOCK_STREAM ) sock2 = socket.socket( socket.AF_INET, socket.SOCK_STREAM ) sock1.connect( ( '192.168.1.1' , 25 ) ) sock2.connect( ( '192.168.1.1' , 25 ) ) while 1 : # Await a read event rlist, wlist, elist = select.select( [sock1, sock2], [], [], 5 ) # Test for timeout if [rlist, wlist, elist] = = [ [], [], [] ]: print "Five seconds elapsed.\n" else : # Loop through each socket in rlist, read and print the available data for sock in rlist: print sock.recv( 100 ) |
好了,有了上面的基礎,我們就可以來設計聊天室的服務器和客戶端了。
三、聊天室服務器
聊天室服務器主要完成下面兩件事:
- 接收多個客戶端的連接
- 從每個客戶端讀入消息病廣播到其它連接的客戶端
我們定義一個 list 型變量 CONNECTION_LIST 表示監(jiān)聽多個 socket 事件的可讀事件,那么利用上面介紹的我們的服務器使用 select 來處理多路復用 I/O 的代碼如下:
1
2
|
# Get the list sockets which are ready to be read through select read_sockets,write_sockets,error_sockets = select.select(CONNECTION_LIST,[],[]) |
當 select 返回時,說明在 read_sockets 上有可讀的數(shù)據(jù),這里又分為兩種情況:
1、如果是主 socket(即服務器開始創(chuàng)建的 socket,一直處于監(jiān)聽狀態(tài))有數(shù)據(jù)可讀,表示有新的連接請求可以接收,此時需要調用 accept 函數(shù)來接收新的客戶端連接,并將其連接信息廣播到其它客戶端。
2、如果是其它 sockets(即與客戶端已經建立連接的 sockets)有數(shù)據(jù)可讀,那么表示客戶端發(fā)送消息到服務器端,使用 recv 函數(shù)讀消息,并將消息轉發(fā)到其它所有連接的客戶端。
上面兩種情況到涉及到廣播消息的過程,廣播也就是將從某個 socket 獲得的消息通過 CONNECTION_LIST 的每個 socket (除了自身和主 socket)一個個發(fā)送出去:
1
2
3
4
5
6
7
8
9
10
|
def broadcast_data (sock, message): #Do not send the message to master socket and the client who has send us the message for socket in CONNECTION_LIST: if socket ! = server_socket and socket ! = sock : try : socket.send(message) except : # broken socket connection may be, chat client pressed ctrl+c for example socket.close() CONNECTION_LIST.remove(socket) |
如果發(fā)送失敗,我們假設某個客戶端已經斷開了連接,關閉該 socket 病將其從連接列表中刪除。
完整的聊天室服務器源代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
|
# Tcp Chat server import socket, select #Function to broadcast chat messages to all connected clients def broadcast_data (sock, message): #Do not send the message to master socket and the client who has send us the message for socket in CONNECTION_LIST: if socket ! = server_socket and socket ! = sock : try : socket.send(message) except : # broken socket connection may be, chat client pressed ctrl+c for example socket.close() CONNECTION_LIST.remove(socket) if __name__ = = "__main__" : # List to keep track of socket descriptors CONNECTION_LIST = [] RECV_BUFFER = 4096 # Advisable to keep it as an exponent of 2 PORT = 5000 server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # this has no effect, why ? server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1 ) server_socket.bind(( "0.0.0.0" , PORT)) server_socket.listen( 10 ) # Add server socket to the list of readable connections CONNECTION_LIST.append(server_socket) print "Chat server started on port " + str (PORT) while 1 : # Get the list sockets which are ready to be read through select read_sockets,write_sockets,error_sockets = select.select(CONNECTION_LIST,[],[]) for sock in read_sockets: #New connection if sock = = server_socket: # Handle the case in which there is a new connection recieved through server_socket sockfd, addr = server_socket.accept() CONNECTION_LIST.append(sockfd) print "Client (%s, %s) connected" % addr broadcast_data(sockfd, "[%s:%s] entered room\n" % addr) #Some incoming message from a client else : # Data recieved from client, process it try : #In Windows, sometimes when a TCP program closes abruptly, # a "Connection reset by peer" exception will be thrown data = sock.recv(RECV_BUFFER) if data: broadcast_data(sock, "\r" + '<' + str (sock.getpeername()) + '> ' + data) except : broadcast_data(sock, "Client (%s, %s) is offline" % addr) print "Client (%s, %s) is offline" % addr sock.close() CONNECTION_LIST.remove(sock) continue server_socket.close() |
在控制臺下運行該程序:
1
2
|
$ python chat_server.py Chat server started on port 5000 |
四、聊天室客戶端
我們寫一個客戶端程序可以連接到上面的服務器,完成發(fā)送消息和接收消息的過程。主要做下面兩件事:
- 監(jiān)聽服務器是否有消息發(fā)送過來
- 檢查用戶的輸入,如果用戶輸入某條消息,需要發(fā)送到服務器
這里有兩個 I/O 事件需要監(jiān)聽:連接到服務器的 socket 和標準輸入,同樣我們可以使用 select 來完成:
1
2
3
4
|
rlist = [sys.stdin, s] # Get the list sockets which are readable read_list, write_list, error_list = select.select(rlist , [], []) |
那邏輯就很簡單了,如果是 sys.stdin 有數(shù)據(jù)可讀,表示用戶從控制臺輸入數(shù)據(jù)并按下回車,那么就從標準輸入讀數(shù)據(jù),并發(fā)送到服務器;如果是與服務器連接的 socket 有數(shù)據(jù)可讀,表示服務器發(fā)送消息給該客戶端,那么就從 socket 接收數(shù)據(jù)。加上一些提示信息及異常處理的完整客戶端代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
|
# telnet program example import socket, select, string, sys def prompt() : sys.stdout.write( '<You> ' ) sys.stdout.flush() #main function if __name__ = = "__main__" : if ( len (sys.argv) < 3 ) : print 'Usage : python telnet.py hostname port' sys.exit() host = sys.argv[ 1 ] port = int (sys.argv[ 2 ]) s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.settimeout( 2 ) # connect to remote host try : s.connect((host, port)) except : print 'Unable to connect' sys.exit() print 'Connected to remote host. Start sending messages' prompt() while 1 : rlist = [sys.stdin, s] # Get the list sockets which are readable read_list, write_list, error_list = select.select(rlist , [], []) for sock in read_list: #incoming message from remote server if sock = = s: data = sock.recv( 4096 ) if not data : print '\nDisconnected from chat server' sys.exit() else : #print data sys.stdout.write(data) prompt() #user entered a message else : msg = sys.stdin.readline() s.send(msg) prompt() |
可以在多個終端下運行該代碼:
1
2
3
4
5
6
|
$ python telnet.py localhost 5000 Connected to remote host. Start sending messages <You> hello <You> I am fine <( '127.0.0.1' , 38378 )> ok good <You> |
在另一個終端顯示的信息:
1
2
3
4
|
<You> [ 127.0 . 0.1 : 39339 ] entered room <( '127.0.0.1' , 39339 )> hello <( '127.0.0.1' , 39339 )> I am fine <You> ok good |
總結
上面的代碼注意兩點:
1、聊天室客戶端代碼不能在 windows 下運行,因為代碼使用 select 同時監(jiān)聽 socket 和輸入流,在 Windows 下 select 函數(shù)是由 WinSock 庫提供,不能處理不是由 WinSock 定義的文件描述符。
2、客戶端代碼還有個缺陷是,當某個客戶端在輸入消息但還未發(fā)送出去時,服務器也發(fā)送消息過來,這樣會沖刷掉客戶端正在輸入的消息。這目前來看沒辦法解決的,唯一的解決方法是使用像 ncurses 終端庫使用戶輸入和輸出獨立開,或者寫一個 GUI 的程序。
那么本文通過一個聊天室的范例進一步學習了Python 下 Socket 編程。