大家好，我是Python進階者。

前言

前幾天有個學生娃子找我幫忙做點可視化的作業，作業內容包括采集網易云音樂熱評評論內容，數據量1W作業足夠，然后就是做點數據分析相關的工作即可。這份大作業里邊有網絡爬蟲，有數據分析和數據處理，還有可視化，算是一個大實驗了，還需要上交實驗報告。這里拿出來部分知識點，給大家分享。學生娃的作業，參考了這個文章：網易云音樂評論爬取。

數據來源

首先是數據來源，來自網易云音樂熱評，代碼這里就不放出來了，調用了API獲取的，抓取難度就少了許多，這里不在贅述了。

分析過程

時間處理

下面的代碼主要是評論時間分布，主要是針對時間列做了數據處理，常規操作，你也對照的去以日期和月份去挖掘下有意思的事情。

1. import pandas as pd
2. from pyecharts import Line
4. # 讀取數據
5. df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')
6. # 根據評論ID去重
7. df = df.drop_duplicates('commentid')
8. df = df.dropna()
9. # 獲取時間
10. df['time'] = [int(i.split(' ')[1].split(':')[0]) for i in df['date']]
12. # 分組匯總
13. date_message = df.groupby(['time'])
14. date_com = date_message['time'].agg(['count'])
15. date_com.reset_index(inplace=True)
17. # 繪制走勢圖
18. attr = date_com['time']
19. v1 = date_com['count']
20. line = Line("歌曲被爆抄襲后-評論的時間分布", title_pos='center', title_top='18', width=800, height=400)
21. line.add("", attr, v1, is_smooth=True, is_fill=True, area_color="#000", is_xaxislabel_align=True, xaxis_min="dataMin", area_opacity=0.3, mark_point=["max"], mark_point_symbol="pin", mark_point_symbolsize=55)
22. line.render("歌曲被爆抄襲后-評論的時間分布.html")

運行之后，得到的效果圖如下所示：

可以看到評論的小伙伴喜歡在下午臨近下班和晚上的時候進行評論。

用戶評論數量

代碼和上面差不多，只需要更改下數據即可。

1. import pandas as pd
3. # 讀取數據
4. df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')
5. # 根據評論ID去重
6. df = df.drop_duplicates('commentid')
7. df = df.dropna()
8. # 分組匯總
9. user_message = df.groupby(['userid'])
10. user_com = user_message['userid'].agg(['count'])
11. user_com.reset_index(inplace=True)
12. user_com_last = user_com.sort_values('count', ascending=False)[0:10]
13. print(user_com_last)

運行之后，得到的結果如下所示：

可以看到有忠粉，狂粉，評論數據上百，恐怖如斯。

評論詞云

詞云這個老生常談了，經常做，直接套用模板，改下底圖即可，代碼如下：

1. from wordcloud import WordCloud
2. import matplotlib.pyplot as plt
3. import pandas as pd
4. import random
5. import jieba
8. # 設置文本隨機顏色
9. def random_color_func(word=None, font_size=None, position=None, orientation=None, font_path=None, random_state=None):
10. h, s, l = random.choice([(188, 72, 53), (253, 63, 56), (12, 78, 69)])
11. return "hsl({}, {}%, {}%)".format(h, s, l)
14. # 讀取信息
15. df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')
16. # 根據評論ID去重
17. df = df.drop_duplicates('commentid')
18. df = df.dropna()
19. words = pd.read_csv('chineseStopWords.txt', encoding='gbk', sep='\t', names=['stopword'])
20. # 分詞
21. text = ''
22. for line in df['comment']:
23. text += ' '.join(jieba.cut(str(line), cut_all=False))
24. # 停用詞
25. stopwords = set('')
26. stopwords.update(words['stopword'])
27. backgroud_Image = plt.imread('music.jpg')
29. wc = WordCloud(
30. background_color='white',
31. mask=backgroud_Image,
32. font_path='FZSTK.TTF',
33. max_words=2000,
34. max_font_size=250,
35. min_font_size=15,
36. color_func=random_color_func,
37. prefer_horizontal=1,
38. random_state=50,
39. stopwords=stopwords
40. )
42. wc.generate_from_text(text)
43. # img_colors = ImageColorGenerator(backgroud_Image)
44. # 看看詞頻高的有哪些
45. process_word = WordCloud.process_text(wc, text)
46. sort = sorted(process_word.items(), key=lambda e: e[1], reverse=True)
47. print(sort[:50])
48. plt.imshow(wc)
49. plt.axis('off')
50. wc.to_file("網易云音樂評論詞云.jpg")
51. print('生成詞云成功!')

最后生成的詞云圖如下所示：

用戶年齡

代碼和上面差不多，只需要更改下數據即可，這里直接放效果圖了，如下圖所示：

感覺還是年輕的粉絲居多啊!

地區分布

這個代碼稍微復雜一些了，畢竟涉及到地圖，代碼如下：

1. import pandas as pd
2. from pyecharts import Map
5. def city_group(cityCode):
6. """
7. 城市編碼
8. """
9. city_map = {
10. '11': '北京',
11. '12': '天津',
12. '31': '上海',
13. '50': '重慶',
14. '5e': '重慶',
15. '81': '香港',
16. '82': '澳門',
17. '13': '河北',
18. '14': '山西',
19. '15': '內蒙古',
20. '21': '遼寧',
21. '22': '吉林',
22. '23': '黑龍江',
23. '32': '江蘇',
24. '33': '浙江',
25. '34': '安徽',
26. '35': '福建',
27. '36': '江西',
28. '37': '山東',
29. '41': '河南',
30. '42': '湖北',
31. '43': '湖南',
32. '44': '廣東',
33. '45': '廣西',
34. '46': '海南',
35. '51': '四川',
36. '52': '貴州',
37. '53': '云南',
38. '54': '西藏',
39. '61': '陜西',
40. '62': '甘肅',
41. '63': '青海',
42. '64': '寧夏',
43. '65': '新疆',
44. '71': '臺灣',
45. '10': '其他',
46. }
47. cityCode = str(cityCode)
48. return city_map[cityCode[:2]]
51. # 讀取數據
52. df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')
53. # 根據評論ID去重
54. df = df.drop_duplicates('commentid')
55. df = df.dropna()
56. # 進行省份匹配
57. df['location'] = df['city'].apply(city_group)
59. # 分組匯總
60. loc_message = df.groupby(['location'])
61. loc_com = loc_message['location'].agg(['count'])
62. loc_com.reset_index(inplace=True)
64. # 繪制地圖
65. value = [i for i in loc_com['count']]
66. attr = [i for i in loc_com['location']]
67. print(value)
68. print(attr)
69. map = Map("歌曲被爆抄襲后評論用戶的地區分布圖", title_pos='center', title_top=0)
70. map.add("", attr, value, maptype="china", is_visualmap=True, visual_text_color="#000", is_map_symbol_show=False, visual_range=[0, 60])
71. map.render('歌曲被爆抄襲后評論用戶的地區分布圖.html')

最后得到的效果圖如下所示：

可以看到四川、廣東省的評論數量居多。

粉絲性別

代碼和上面的差不多，這里不再贅述，直接上效果圖了。

可以看到女粉絲占據了大頭。

總結

大家好，我是Python進階者。這篇文章主要基于網易云熱評數據，利用了Python中的數據處理庫pandas進行數據處理和分析，并利用可視化庫pyecharts給大家分享了相關圖形的制作方法，并發現了一些有趣的數據分析結果。

原文鏈接：https://mp.weixin.qq.com/s/J06ikFcKJCjv9IR6XzXoVA