使用python / selenium保存完整的网页(包括CSS,图像)

最大功率 :

我正在使用Python / Selenium将遗传序列提交到在线数据库,并希望保存返回的完整结果页面。以下是使我获得所需结果的代码:

from selenium import webdriver

URL = 'https://blast.ncbi.nlm.nih.gov/Blast.cgi?PROGRAM=blastx&PAGE_TYPE=BlastSearch&LINK_LOC=blasthome'
SEQUENCE = 'CCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACA' #'GAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGA'
CHROME_WEBDRIVER_LOCATION = '/home/max/Downloads/chromedriver' # update this for your machine

# open page with selenium
# (first need to download Chrome webdriver, or a firefox webdriver, etc)
driver = webdriver.Chrome(executable_path=CHROME_WEBDRIVER_LOCATION)
driver.get(URL)
time.sleep(5)

# enter sequence into the query field and hit 'blast' button to search
seq_query_field = driver.find_element_by_id("seq")
seq_query_field.send_keys(SEQUENCE)

blast_button = driver.find_element_by_id("b1")
blast_button.click()
time.sleep(60)

到那时,我有了一个页面,可以手动单击“另存为”,然后获取一个本地文件(带有相应的image / js资产文件夹),该文件可让我在本地查看整个返回的页面(减去从中动态生成的内容)向下滚动页面,这很好)。我以为有一种简单的方法可以在python / selenium中模仿此“另存为”功能,但是还没有找到。保存下面页面的代码仅保存html,而不会给我留下一个看起来像在Web浏览器中一样的本地文件,图像等。

content = driver.page_source
with open('webpage.html', 'w') as f:
    f.write(content)

我也在SO上找到了这个问题/答案,但是被接受的答案只是显示了“另存为”框,并且没有提供一种单击它的方法(正如两个评论者指出的那样)

有没有一种简单的方法可以使用python“将[整页]另存为”?理想情况下,我更喜欢使用硒的答案,因为硒使爬网部分非常简单,但是如果有更好的工具可以使用此库,我愿意使用其他库。或者,也许我只需要指定要在代码中下载的所有图像/表,而没有模拟右键单击“另存为”功能的捷径?

更新-詹姆斯回答的后续问题因此,我运行了詹姆斯的代码以生成一个page.html(和相关文件),并将其与通过手动单击另存为获得的html文件进行了比较。page.html通过詹姆斯的脚本保存的是伟大的,有我需要的一切,但在浏览器中打开时,它也说明了很多这是隐藏在手动save'd页额外的格式文本。请参阅附件的屏幕截图(左侧是手动保存的页面,右侧是脚本保存的页面,带有额外的格式化文本)。在此处输入图片说明

这对我来说尤其令人惊讶,因为James脚本保存的页面原始html似乎表明这些字段仍应隐藏。例如,请参见下面的html,这两个文件中的html都相同,但是有争议的文本仅出现在由James脚本保存的页面上的浏览器呈现页面中:

<p class="helpbox ui-ncbitoggler-slave ui-ncbitoggler" id="hlp1" aria-hidden="true">
These options control formatting of alignments in results pages. The
default is HTML, but other formats (including plain text) are available.
PSSM and PssmWithParameters are representations of Position Specific Scoring Matrices and are only available for PSI-BLAST. 
The Advanced view option allows the database descriptions to be sorted by various indices in a table.
</p>

知道为什么会这样吗?

FThompson:

如您所述,Selenium无法与浏览器的上下文菜单交互使用Save as...,因此,您可以使用外部自动化库来代替pyautogui

pyautogui.hotkey('ctrl', 's')
time.sleep(1)
pyautogui.typewrite(SEQUENCE + '.html')
pyautogui.hotkey('enter')

此代码Save as...通过其键盘快捷键打开窗口CTRL+S,然后通过按Enter将网页及其资产保存到默认下载位置。该代码还将文件命名为序列,以便为其赋予唯一名称,尽管您可以针对用例进行更改。如果需要,您可以通过使用Tab和箭头键进行一些额外的工作来另外更改下载位置。

在Ubuntu 18.10上测试;根据您的操作系统,您可能需要修改发送的组合键。


完整代码,其中还添加了条件等待以提高速度:

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.expected_conditions import visibility_of_element_located
from selenium.webdriver.support.ui import WebDriverWait
import pyautogui

URL = 'https://blast.ncbi.nlm.nih.gov/Blast.cgi?PROGRAM=blastx&PAGE_TYPE=BlastSearch&LINK_LOC=blasthome'
SEQUENCE = 'CCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACAGCTCAAACACAAAGTTACCTAAACTATAGAAGGACA' #'GAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGAGAAGA'

# open page with selenium
# (first need to download Chrome webdriver, or a firefox webdriver, etc)
driver = webdriver.Chrome()
driver.get(URL)

# enter sequence into the query field and hit 'blast' button to search
seq_query_field = driver.find_element_by_id("seq")
seq_query_field.send_keys(SEQUENCE)

blast_button = driver.find_element_by_id("b1")
blast_button.click()

# wait until results are loaded
WebDriverWait(driver, 60).until(visibility_of_element_located((By.ID, 'grView')))

# open 'Save as...' to save html and assets
pyautogui.hotkey('ctrl', 's')
time.sleep(1)
pyautogui.typewrite(SEQUENCE + '.html')
pyautogui.hotkey('enter')

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章