激情久久久_欧美视频区_成人av免费_不卡视频一二三区_欧美精品在欧美一区二区少妇_欧美一区二区三区的

腳本之家,腳本語言編程技術及教程分享平臺!
分類導航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服務器之家 - 腳本之家 - Python - Python爬蟲工程師面試問題總結

Python爬蟲工程師面試問題總結

2021-01-24 00:34segmentfault Python

本篇文章給大家總結了關于Python爬蟲工程師面試問題總結,希望我們整理的內容能夠幫助到大家。

注:答案一般在網上都能夠找到。

1.對if __name__ == 'main'的理解陳述

2.python是如何進行內存管理的?

3.請寫出一段Python代碼實現刪除一個list里面的重復元素

4.Python里面如何拷貝一個對象?(賦值,淺拷貝,深拷貝的區別)

5.介紹一下except的用法和作用?

6.Python中__new__與__init__方法的區別

7.常用的網絡數據爬取方法

8.遇到過得反爬蟲策略以及解決方法

9.urllib 和 urllib2 的區別

10.設計一個基于session登錄驗證的爬蟲方案

11.列舉網絡爬蟲所用到的網絡數據包,解析包

12.熟悉的爬蟲框架

13.Python在服務器的部署流程,以及環境隔離

14.Django 和 Flask 的相同點與不同點,如何進行選擇?

15.寫一個Python中的單例模式

16.Linux部署服務腳本命令(包括啟動和停止的shell腳本)

17.你用過多線程和異步嘛?除此之外你還用過什么方法來提高爬蟲效率?

18.POST 與 GET的區別

1)對if __name__ == 'main'的理解陳述

__name__是當前模塊名,當模塊被直接運行時模塊名為__main__,也就是當前的模塊,當模塊被導入時,模塊名就不是__main__,即代碼將不會執行。

2)python是如何進行內存管理的?

a、對象的引用計數機制
python內部使用引用計數,來保持追蹤內存中的對象,Python內部記錄了對象有多少個引用,即引用計數,當對象被創建時就創建了一個引用計數,當對象不再需要時,這個對象的引用計數為0時,它被垃圾回收。

b、垃圾回收

1>當一個對象的引用計數歸零時,它將被垃圾收集機制處理掉。

2>當兩個對象a和b相互引用時,del語句可以減少a和b的引用計數,并銷毀用于引用底層對象 的名稱。然而由于每個對象都包含一個對其他對象的應用,因此引用計數不會歸零,對象也不會銷毀。(從而導致內存泄露)。為解決這一問題,解釋器會定期執行一個循環檢測器,搜索不可訪問對象的循環并刪除它們。

c、內存池機制

Python提供了對內存的垃圾收集機制,但是它將不用的內存放到內存池而不是返回給操作系統。

1>Pymalloc機制。為了加速Python的執行效率,Python引入了一個內存池機制,用于管理 對小塊內存的申請和釋放。

2>Python中所有小于256個字節的對象都使用pymalloc實現的分配器,而大的對象則使用 系統的malloc。

3>對于Python對象,如整數,浮點數和List,都有其獨立的私有內存池,對象間不共享他們的內存池。也就是說如果你分配又釋放了大量的整數,用于緩存這些整數的內存就不能再分配給浮點數。

3)請寫出一段Python代碼實現刪除一個list里面的重復元素

?
1
2
3
4
5
6
7
8
9
# 1.使用set函數
list = [1, 3, 4, 5, 51, 2, 3]
set(list)
# 2.使用字典函數,
>>> a = [1, 2, 4, 2, 4, 5, 6, 5, 7, 8, 9, 0]
>>> b = {}
>>> b = b.fromkeys(a)
>>> c = list(b.keys())
>>> c

4)Python里面如何拷貝一個對象?(賦值,淺拷貝,深拷貝的區別)

賦值(=),就是創建了對象的一個新的引用,修改其中任意一個變量都會影響到另一個。

淺拷貝:創建一個新的對象,但它包含的是對原始對象中包含項的引用(如果用引用的方式修改其中一個對象,另外一個也會修改改變){1,完全切片方法;2,工廠函數,如list();3,copy模塊的copy()函數}

深拷貝:創建一個新的對象,并且遞歸的復制它所包含的對象(修改其中一個,另外一個不會改變){copy模塊的deep.deepcopy()函數}

5)介紹一下except的用法和作用?

try…except…except…else…

執行try下的語句,如果引發異常,則執行過程會跳到except語句。對每個except分支順序嘗試執行,如果引發的異常與except中的異常組匹配,執行相應的語句。如果所有的except都不匹配,則異常會傳遞到下一個調用本代碼的最高層try代碼中。

try下的語句正常執行,則執行else塊代碼。如果發生異常,就不會執行如果存在finally語句,最后總是會執行。

6)Python中__new__與__init__方法的區別

__new__:它是創建對象時調用,會返回當前對象的一個實例,可以用__new__來實現單例

__init__:它是創建對象后調用,對當前對象的一些實例初始化,無返回值

7)常用的網絡數據爬取方法

  • 正則表達式
  • Beautiful Soup
  • Lxml

8)遇到過得反爬蟲策略以及解決方法

1.通過headers反爬蟲

2.基于用戶行為的發爬蟲:(同一IP短時間內訪問的頻率)

3.動態網頁反爬蟲(通過ajax請求數據,或者通過JavaScript生成)

4.對部分數據進行加密處理的(數據是亂碼)

解決方法:

對于基本網頁的抓取可以自定義headers,添加headers的數據

使用多個代理ip進行抓取或者設置抓取的頻率降低一些,動態網頁的可以使用selenium + phantomjs 進行抓取

對部分數據進行加密的,可以使用selenium進行截圖,使用python自帶的pytesseract庫進行識別,但是比較慢最直接的方法是找到加密的方法進行逆向推理。

9)urllib 和 urllib2 的區別

urllib 和urllib2都是接受URL請求的相關模塊,但是urllib2可以接受一個Request類的實例來設置URL請求的headers,urllib僅可以接受URL。urllib不可以偽裝你的User-Agent字符串。

urllib提供urlencode()方法用來GET查詢字符串的產生,而urllib2沒有。這是為何urllib常和urllib2一起使用的原因。

10)設計一個基于session登錄驗證的爬蟲方案

11)列舉網絡爬蟲所用到的網絡數據包,解析包

網絡數據包 urllib、urllib2、requests

解析包 re、xpath、beautiful soup、lxml

12)熟悉的爬蟲框架

Scrapy框架 根據自己的實際情況回答

13)Python在服務器的部署流程,以及環境隔離

14)Django 和 Flask 的相同點與不同點,如何進行選擇?

15)寫一個Python中的單例模式

?
1
2
3
4
5
6
7
8
9
10
11
12
class Singleton(object):
_instance = None
def __new__(cls, *args, **kw):
if not cls._instance:
cls._instance = super(Singleton, cls).__new__(cls, *args, **kw)
return cls._instance
class MyClass(Singleton):
a = 1
one = MyClass()
two = MyClass()
id(one) = id(two)
>>> True

16)Linux部署服務腳本命令(包括啟動和停止的shell腳本)

17)你用過多線程和異步嘛?除此之外你還用過什么方法來提高爬蟲效率?

  • scrapy-redis 分布式爬取
  • 對于定向爬取可以用正則取代xpath

18)POST與 GET的區別

  • GET數據傳輸安全性低,POST傳輸數據安全性高,因為參數不會被保存在瀏覽器歷史或web服務器日志中;
  • 在做數據查詢時,建議用GET方式;而在做數據添加、修改或刪除時,建議用POST方式;
  • GET在url中傳遞數據,數據信息放在請求頭中;而POST請求信息放在請求體中進行傳遞數據;
  • GET傳輸數據的數據量較小,只能在請求頭中發送數據,而POST傳輸數據信息比較大,一般不受限制;
  • 在執行效率來說,GET比POST好

19)什么是lambda函數?它有什么好處?

lambda 表達式,通常是在需要一個函數,但是又不想費神去命名一個函數的場合下使用,也就是指匿名函數

lambda函數:首要用途是指點短小的回調函數

?
1
2
3
lambda [arguments]:expression
>>> a=lambdax,y:x+y
>>> a(3,11)

原文鏈接:https://segmentfault.com/a/1190000013874845

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 在线免费观看毛片视频 | 亚洲一区在线视频观看 | 一级在线观看视频 | 国产精品久久久久久久av | 中国女警察一级毛片视频 | 在线视频观看一区二区 | 成人一级毛片 | 日韩美香港a一级毛片免费 久久精品视频1 | 在线成人精品视频 | 欧美成人精品h版在线观看 久久久久久三区 | 日韩黄色免费电影 | gogo全球大胆高清人露出91 | 香蕉久草在线 | 黄色特级片黄色特级片 | 国产精品wwww | 黄色成人av在线 | av免费在线不卡 | 国产亚洲精品美女久久久 | 毛片网站网址 | 一本一本久久a久久精品综合小说 | 欧美一级久久 | 国产精品久久久久影院老司 | 国产69精品久久久久久 | 一区二区三高清 | 亚洲啪| 日本在线观看高清完整版 | 成人情欲视频在线看免费 | 美国av片在线观看 | 精品久久久久久久久久久αⅴ | 精品久久9999| 中文字幕欧美日韩 | 国产女同玩人妖 | 污污的视频在线观看 | 成人一级视频 | 亚洲骚图 | 久久久久久久久久久国产精品 | 毛片天天看 | 亚州精品天堂中文字幕 | 国产污污视频 | 亚洲免费毛片基地 | av色先锋 |