關(guān)于python 使用xpath獲取網(wǎng)頁(yè)信息的方法？
1、xpath的使用方法？
? XPath 使用路徑表達(dá)式來(lái)選取 XML 文檔中的節(jié)點(diǎn)或節(jié)點(diǎn)集。節(jié)點(diǎn)是通過(guò)沿著路徑 (path) 或者步 (steps) 來(lái)選取的。
常用路徑表達(dá)式含義
| 表達(dá)式 | 描述 |
|---|---|
| / | 從根節(jié)點(diǎn)選取（取子節(jié)點(diǎn)） |
| // | 選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn) |
| . | 選取當(dāng)前節(jié)點(diǎn)。 |
| … | 選取當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)。 |
| @ | 選取屬性 |
| * | 表示任意內(nèi)容（通配符） |
| | | 運(yùn)算符可以選取多個(gè)路徑 |
常用功能函數(shù)
| 函數(shù) | 用法 | 解釋 |
|---|---|---|
| startswith() | xpath(‘//div[starts-with(@id,”ma”)]‘) | #選取id值以ma開(kāi)頭的div節(jié)點(diǎn) |
| contains() | xpath(‘//div[contains(@id,”ma”)]‘) | #選取id值包含ma的div節(jié)點(diǎn) |
| and() | xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) | #選取id值包含ma的div節(jié)點(diǎn) |
| text() | _.xpath('./div/div[4]/a/em/text()') | #選取em標(biāo)簽下文本內(nèi)容 |
備注：
1、html中當(dāng)相同層次存在多個(gè)標(biāo)簽例如div,它們的順序是從1開(kāi)始，不是0
2、瀏覽器中使用開(kāi)發(fā)者工具可以快速獲取節(jié)點(diǎn)信息
2、實(shí)例：
#!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2021/9/7 9:35 # @Author : Sun # @Email : [email protected] # @File : sun_test.py # @Software: PyCharm import requests from lxml import etree def get_web_content(): try: url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E" "9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d" "abdf18ae8ab5c&page=5&s=116&click=0 " header = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)" "AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/75.0.3770.100 Safari/537.36 "} response = requests.request(method="Get", url=url, headers=header) result = response.text return result except TimeoutError as e: return None def parsing(): result = get_web_content() if result is not None: html = etree.HTML(result) # 先獲取一個(gè)大的節(jié)點(diǎn)，包含了想要獲取的所有信息 ii = html.xpath('//*[@id="J_goodsList"]/ul/li') for _ in ii: # 采用循環(huán)，依次從大節(jié)點(diǎn)中獲取小的節(jié)點(diǎn)內(nèi)容 # ''.join() 將列表中的內(nèi)容拼接成一個(gè)字符串 infoResult = { # @href 表示：獲取屬性為href的內(nèi)容 'href': "https:" + _.xpath('./div/div[1]/a/@href')[0], 'title': ''.join( _.xpath('./div/div[2]/div/ul/li/a/@title')), # text()表示獲取節(jié)點(diǎn)i里面的文本信息 'price': _.xpath('./div/div[3]/strong/i/text()')[0], 'info': ''.join( _.xpath('./div/div[4]/a/em/text()')).strip(), 'province': _.xpath('./div/div[9]/@data-province')[0]} print(infoResult) else: raise Exception("Failed to get page information, please check！") return None if __name__ == '__main__': parsing()
結(jié)果圖片：
到此這篇關(guān)于python使用xpath獲取頁(yè)面元素的使用的文章就介紹到這了,更多相關(guān)python xpath獲取頁(yè)面元素內(nèi)容請(qǐng)搜索服務(wù)器之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！
原文鏈接：https://blog.csdn.net/qq_40267002/article/details/120197707
