本文實例講述了python實現的多進程拷貝文件并顯示百分比功能。分享給大家供大家參考，具體如下：
centos7下查看cup核數：
|
1
2
3
4
5
6
7
8
|
# 總核數 = 物理cpu個數 x 每顆物理cpu的核數# 總邏輯cpu數 = 物理cpu個數 x 每顆物理cpu的核數 x 超線程數# 查看物理cpu個數cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每個物理cpu中core的個數(即核數)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看邏輯cpu的個數cat /proc/cpuinfo| grep "processor"| wc -l |
本示例拷貝文件采用的是最簡單的但是有最復雜的方式：
1，根據要拷貝的文件夾名稱，創建一個新的文件夾用來存儲文件
2，讀取源文件夾下的文件內容，將其寫入目的文件夾下同名的文件中
直接上代碼：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
|
# coding=utf-8from multiprocessing import pool, managerimport osimport tracebackimport timedef copyfiletask(name, oldfoldername, newfoldername, queue): """copy文件""" fr = open(oldfoldername+"/"+name) fw = open(newfoldername+"/"+name, "w") content = fr.read() fw.write(content) fr.close() fw.close() # 將copy完成的文件名稱put進隊列 queue.put(name)def main(): try: # 0. 獲取要copy的文件夾 # oldfoldername = input("請輸入文件夾的名字：") # python3 oldfoldername = raw_input("請輸入文件夾的名字：") # python2 # 1. 創建一個新的文件夾 print 'mkdir new file ------' newfoldername = str(oldfoldername) + "-copy" # print(newfoldername) os.mkdir(newfoldername) # 2. 獲取old文件夾中的所有的文件名字 filenames = os.listdir(oldfoldername) # print(filenames) # 3. 使用多進程的方式copy 原文件夾中的所有文件到新的文件夾中 pool = pool(5) # 創建一個隊列 queue = manager().queue() for name in filenames: pool.apply_async(copyfiletask, args=(name, oldfoldername, newfoldername, queue)) pool.close() # 關閉進程池，不再接受請求 pool.join() # 等待所有的子進程結束 num = 0 # 需要copy的文件總數 allnum = len(filenames) while num < allnum: # 收數據 queue.get() num += 1 copyrate = float(num) / allnum # 打印copy的進度 time.sleep(0.1) # 容易看出來打印百分比的變化，延長百分比更新的時間 print "\rcopy的進度是:%.2f%%" % (copyrate*100), print "\ncopy success ------" except: traceback.print_exc()if __name__ == "__main__": main() |
下面采用python模塊shutil模塊進行copy操作：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
|
# coding=utf-8from multiprocessing import pool, managerimport osimport tracebackimport timeimport shutildef copyfiletask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷貝文件 # shitil.move(src_path, dst_path) # 移動文件 # 將copy完成的文件名稱put進隊列 queue.put(name)def main(): try: # 0. 獲取要copy的文件夾 oldfoldername = raw_input("請輸入文件夾的名字：") print '要拷貝的源文件夾： ', oldfoldername # 1. 創建一個新的文件夾 newfoldername = raw_input("請輸入文件夾的名字：") print '目標文件夾：', newfoldername # 獲取當前所在的路徑 now_path = os.getcwd() print "當前所在路徑： ", now_path old_path = os.path.join(now_path, oldfoldername) print '源文件夾路徑： ', old_path new_path = os.path.join(now_path, newfoldername) print '目標文件夾路徑： ', new_path if not os.path.exists(new_path): os.mkdir(new_path) # 3. 使用多進程的方式copy 原文件夾中的所有文件到新的文件夾中 pool = pool(5) # 創建5條進程 queue = manager().queue() # 創建一個隊列 # 遍歷源文件夾 for root, dirs, files in os.walk(oldfoldername): """ root 所指的是當前正在遍歷的這個文件夾的本身的地址 dirs 是一個 list ，內容是該文件夾中所有的目錄的名字(不包括子目錄) files 同樣是 list , 內容是該文件夾中所有的文件(不包括子目錄) """ print '源文件夾下的文件數量:：', len(files) s_t = time.time() for file in files: pool.apply_async(copyfiletask, args=(file, old_path, new_path, queue)) # 向進程池中添加任務 pool.close() # 關閉進程池，不再接受請求 pool.join() # 等待所有的子進程結束 print '耗時：{} 秒'.format(time.time() - s_t) num = 0 # 需要copy的文件總數 allnum = len(files) print 'len(filenames) = ', allnum while true: # 收數據 # print '收數據 ------' queue.get() # print 'queue.get() ------', queue.get() num += 1 copyrate = float(num) / allnum # 打印copy的進度 print "\rcopy的進度是:%.2f%%" % (copyrate*100), if num == allnum: break print "\ncopy success ------" except: traceback.print_exc()if __name__ == "__main__": main() |
輸出：（由于我的cup核數為1核，在使用多進程的過程中，操作系統在輪詢的時候，頻繁的切換任務，浪費時間導致多進程比單進程耗時更長。）
[root@centos7 mnt]# python copy_file_test.py
請輸入文件夾的名字：hdfs
要拷貝的源文件夾： hdfs
請輸入文件夾的名字：test01
目標文件夾： test01
當前所在路徑： /mnt
源文件夾路徑： /mnt/hdfs
目標文件夾路徑： /mnt/test01
源文件夾下的文件數量:： 8165
耗時：253.655323982 秒
len(filenames) = 8165
copy的進度是:100.00%
copy success ------
單進程拷貝文件：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
|
# coding=utf-8from queue import queueimport osimport tracebackimport timeimport shutildef copyfiletask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷貝文件 # shitil.move(src_path, dst_path) # 移動文件 # 將copy完成的文件名稱put進隊列 queue.put(name)def main(): try: # 0. 獲取要copy的文件夾 oldfoldername = raw_input("請輸入文件夾的名字：") print '要拷貝的源文件夾： ', oldfoldername # 1. 創建一個新的文件夾 newfoldername = raw_input("請輸入文件夾的名字：") print '目標文件夾：', newfoldername # 獲取當前所在的路徑 now_path = os.getcwd() print "當前所在路徑： ", now_path old_path = os.path.join(now_path, oldfoldername) print '源文件夾路徑： ', old_path new_path = os.path.join(now_path, newfoldername) print '目標文件夾路徑： ', new_path if not os.path.exists(new_path): os.mkdir(new_path) queue = queue() # 創建一個隊列 # 遍歷源文件夾 for root, dirs, files in os.walk(oldfoldername): """ root 所指的是當前正在遍歷的這個文件夾的本身的地址 dirs 是一個 list ，內容是該文件夾中所有的目錄的名字(不包括子目錄) files 同樣是 list , 內容是該文件夾中所有的文件(不包括子目錄) """ print '源文件夾下的文件數量:：', len(files) s_t = time.time() # 調用函數拷貝文件 for file in files: copyfiletask(file, old_path, new_path, queue) print '耗時：{} 秒'.format(time.time() - s_t) num = 0 # 需要copy的文件總數 allnum = len(files) print 'len(filenames) = ', allnum while true: # 收數據 # print '收數據 ------' queue.get() # print 'queue.get() ------', queue.get() num += 1 copyrate = float(num) / allnum # 打印copy的進度 print "\rcopy的進度是:%.2f%%" % (copyrate*100), if num == allnum: break print "\ncopy success ------" except: traceback.print_exc()if __name__ == "__main__": main() |
輸出：
[root@centos7 mnt]# python copy_file_test_dan.py
請輸入文件夾的名字：hdfs
要拷貝的源文件夾： hdfs
請輸入文件夾的名字：test02
目標文件夾： test02
當前所在路徑： /mnt
源文件夾路徑： /mnt/hdfs
目標文件夾路徑： /mnt/test02
源文件夾下的文件數量:： 8165
耗時：122.284090996 秒
len(filenames) = 8165
copy的進度是:100.00%
copy success ------
我的虛擬機cpu核數：1
如下：
|
1
2
3
4
5
6
|
[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l1[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniqcpu cores : 1[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l1 |
希望本文所述對大家python程序設計有所幫助。
原文鏈接：https://blog.csdn.net/xuezhangjun0121/article/details/88777303
