本文實(shí)例講述了Python3實(shí)現(xiàn)抓取javascript動態(tài)生成的html網(wǎng)頁功能。分享給大家供大家參考，具體如下：
用urllib等抓取網(wǎng)頁，只能讀取網(wǎng)頁的靜態(tài)源文件，而抓不到由javascript生成的內(nèi)容。
究其原因，是因?yàn)閡rllib是瞬時抓取，它不會等javascript的加載延遲，所以頁面中由javascript生成的內(nèi)容，urllib讀取不到。
那由javascript生成的內(nèi)容就真的沒有辦法讀取了嗎？非也！
這里要介紹一個python庫：selenium，本文使用的版本是 2.44.0
先安裝：
|
1
|
|
|
pip install -U selenium |
下面用三個例子來說明其用法：
【例0】
打開一個Firefox瀏覽器
載入所給url地址的頁面
|
1
|
|
2
3
|
from selenium import webdriverbrowser = webdriver.Firefox()browser.get('http://www.baidu.com/') |
【例1】
打開一個Firefox瀏覽器
載入百度主頁
搜索 “seleniumhq”
關(guān)閉瀏覽器
|
1
|
|
2
3
4
5
6
7
8
|
from selenium import webdriverfrom selenium.webdriver.common.keys import Keysbrowser = webdriver.Firefox()browser.get('http://www.baidu.com')assert '百度' in browser.titleelem = browser.find_element_by_name('p') # Find the search boxelem.send_keys('seleniumhq' + Keys.RETURN) # 模擬按鍵browser.quit() |
【例2】
Selenium WebDriver 常用于網(wǎng)絡(luò)程序的測試。 下面是一個使用Python標(biāo)準(zhǔn)庫 unittest 的例子:
|
1
|
|
2
3
4
5
6
7
8
9
10
|
import unittestclass BaiduTestCase(unittest.TestCase): def setUp(self): self.browser = webdriver.Firefox() self.addCleanup(self.browser.quit) def testPageTitle(self): self.browser.get('http://www.baidu.com') self.assertIn('百度', self.browser.title)if __name__ == '__main__': unittest.main(verbosity=2) |
希望本文所述對大家Python程序設(shè)計有所幫助。
原文鏈接：http://www.cnblogs.com/hhh5460/p/4286983.html
