使用 selenium 获取完整的 html 源代码

J_帕克

我想在电报中获取帖子的查看次数。当我获取页面源时,javaScript 函数尚未执行,因此未启用数据。有什么帮助吗?

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait    

driver = webdriver.Firefox()

driver.get("https://t.me/varzesh3/106369")

wait = WebDriverWait(driver, 30)
element = wait.until(EC.visibility_of_any_elements_located((By.CLASS_NAME,'tgme_widget_message_views')))

我什至用 Chrome 驱动程序尝试过,但没有改变。

J_帕克

这里有一个更好的想法。我可以将 bs4 与 url https://t.me/varzesh3/106369?embed=1一起使用

更好,因为当您通过此 url 发送请求时,您现在拥有 iframe。

这是代码:

def generate_post_views(link):
   # https://t.me/varzesh3/106432
   html = requests.get(link + '?embed=1')
   plain_text = html.text
   soup = BeautifulSoup(plain_text, "html.parser")
   try:
       views = soup.find('span', {'class':'tgme_widget_message_views'}).get_text()
   except AttributeError:
       views = 0
   return views

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用Jsoup获取完整的HTML

如何使用javascript或jquery从iframe获取完整的源代码?

如何通过获取HTML页面源代码

Puppeteer无法获取完整的源代码

在CMS源代码中使用HTML属性

如何使用fetch在Firefox或chrome网页扩展程序中获取网页的HTML源代码?

如何使用Selenium在页面源代码中找不到HTML元素?

使用Selenium在textArea中输入完整的html

如何使用Python Selenium获取部分html源代码?

使用Google Chrome编辑HTML源代码

使用Shell脚本大量获取HTML源代码的一部分

在python中使用Selenium获取特定div的HTML代码

如何从Chrome扩展程序中的网站获取完整的HTML源代码

如何使用JavaScript获取HTML源代码?

在HTML源代码中使用外部字体

使用Python中的BeautifulSoup在HTML源代码中获取JS var值

无法使用cUrl或file_get_contents获取html源代码

selenium:单击按钮后如何获取页面源代码

如何获取红色动作的完整源代码?

使用终端解压html源代码

通过 XMLHttpRequest 获取 HTML 源代码 [JavaScript]

我正在尝试使用 Selenium 获取页面源代码,但我得到了空页面

使用 selenium 发出请求时是否可以获取源代码?

导航 Python Selenium 后如何获取新的页面源代码

如何使用 selenium / webdriver 从网页中获取整个源代码?

如何使用 Selenium (Python) 从 HTML 中获取完整的日期值

无法获取Zomato网站的HTML源代码Selenium、Python

如何获取网页的html源代码

C# - 使用 Selenium 获取呈现的 html 代码