这是我的代码：
from selenium import webdriver
import pandas as pd
from lxml import etree
url = 'https://www.morningstar.com/stocks/xbsp/UGPA3/quote'
browser = webdriver.Chrome()
browser.get(url)
htmlpage = browser.page_source
doc = etree.HTML(htmlpage)
cap = doc.xpath(
'/html/body/div[1]/div/div/div[3]/main/div[2]/div/div/div[1]/sal-components/section/div/div/div[1]/div/div[2]/div/div/div/div[2]/ul/li[7]/div/div[2]/text()')
print(cap)
我正在尝试从网页上抓取市值。
将htmlpage变量写入文件后，我发现问题是它没有下载整个页面。它下载2228 KB，而我的浏览器下载2664 KB .html文件以及一个不需要的文件夹。如果我使用浏览器手动保存页面并将其内容用作etree.HTML（）的输入，则它可以工作，但我想实现自动化。
尝试这个
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
import time
CHROME_DRIVER_PATH = "/usr/local/bin/chromedriver"
url = 'https://www.morningstar.com/stocks/xbsp/UGPA3/quote'
browser = webdriver.Chrome(executable_path=CHROME_DRIVER_PATH)
browser.get(url)
time.sleep(2)
# get cap value from page source and wait for element is present
cap = WebDriverWait(browser, 10).until(
EC.element_to_be_clickable((By.XPATH,
'//*[@id="__layout"]/div/div[3]/main/div[2]/div/div/div[1]/sal-components/section/div/div/div[1]/div/div[2]/div/div/div/div[2]/ul/li[7]/div/div[2]')))
cap_value = cap.text
print(cap_value)
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句