1、給定一個數據集noise-data-1.txt，該數據集中保護大量的缺失值（空格、不完整值等）。利用“全局常量”、“均值或者中位數”來填充缺失值。
noise-data-1.txt：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
5.1 3.5 1.4 0.24.9 3 1.4 0.24.7 3.2 1.3 0.24.6 3.1 1.5 0.25 3.6 1.4 0.25.4 3.9 1.7 0.44.6 3.4 1.4 0.35 3.4 1.5 0.24.4 2.9 1.4 0.24.9 -3.1 1.5 0.15.4 3.7 1.5 0.24.8 3.4 1.6 0.24.8 3 -1.4 0.14.3 3 1.1 0.15.8 4 1.2 0.25.7 4.4 1.5 0.45.4 3.9 1.3 0.45.1 3.5 1.4 0.35.7 3.8 1.7 0.35.1 3.8 -1.5 0.35.4 3.4 1.7 0.25.1 3.7 1.5 0.44.6 3.6 1 0.25.1 3.3 1.7 0.54.8 3.4 1.9 0.2 |
解題思路：首先讀入數據，對數據進行處理，去掉空行，利用 “均值來填充缺失值，本題利用Python語言實現，代碼如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
import numpy as npdata = []my_list = []con=0noise_data = open('noise-data-1.txt') clean_data = open("clean_data3.txt", 'w')for line in noise_data.readlines(): if len(line) == 0: break if line.count('\n') == len(line): continue dataline =line.strip().split('\t') my_list.append(dataline) con+=1for i in range(0,con): for j in range(0,len(my_list[i])): if my_list[i][j].count('.')==0: miss_row=[] for a in range(0,len(my_list[i])): if float(my_list[i][a])<0: miss_row.append(-float(my_list[i][a])) miss_row.append(float(my_list[i][a])) my_average=round(np.average(miss_row),1) my_list[i][j]=my_average else: if float(my_list[i][j])<0: my_list[i][j]=-float(my_list[i][j]) my_list[i][j]=float(my_list[i][j]) print my_listdef file_write(filename,data_list): file1=open(filename,'w') for i in data_list: for j in i: if type(j)!=str: j=str(j) file1.write(j) file1.write(' ') file1.write('\n') file1.close() return file1filename='clean_data.txt'file_write(filename,my_list) |
運行結果如下：
以上這篇python實現數據預處理之填充缺失值的示例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持服務器之家。
原文鏈接：http://blog.csdn.net/ruoshuiss/article/details/78755129
