当我想在 aws lambda 函数中使用 selenium 时,如何上传 chromedriver?

How_3W 为什么

我想制作 python 爬虫,它可以在本地运行。但我想定期运行爬虫,所以我把我的爬虫放在 aws lambda 中。

我下载了 chromedriver 并将其放在我的目录中的某个位置,我可以在本地服务器中使用它。但是在 lambda 中,我不知道如何设置路径和上传 chromedriver 文件。

我试过绝对路径,但没有用。我应该为 lambda 函数上传 chromedriver 吗?如果是这样,我该怎么办?

我在本地主机中的代码

    chrome_driver_path = "../chromedriver_win32/chromedriver.exe"
    driver = webdriver.Chrome(
        executable_path = chrome_driver_path,
        chrome_options=options
    )
    URL = "https://*****.co.kr"
    driver.get(URL)
弗莱迪格先生

所以你不能在 lambda 上运行 .exe 因为它是 Linux 但你可以像上面一样运行 puppeteer 并使用它来解析 HTML。

如上所述安装 puppeteer(npm i puppeteer --save)。捆绑所有内容。(您将所有代码和 node_modules 压缩到一个 zip 文件中)部署到 AWS。瞧。

我强烈推荐无服务器框架,因为它消除了部署的痛苦,你可以在这里得到它

请记住,如果您的抓取作业将花费超过 15 分钟,您需要通过 cron 将其安排在诸如 t2.micro 而不是 Lambda 之类的东西上,因为它会超时。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

使用C#在AWS Lambda中使用Selenium Chromedriver

我如何利用AWS :: Serverless :: LayerVersion以便在AWS Lambda函数中使用外部库

当我需要AWS-SDK模块时,AWS Lambda函数超时

如何(正确)在AWS Lambda函数中使用外部凭证?

如何在AWS Lambda函数中使用Socket.io

使用 selenium 和 chromedriver 时出现 BrokenPipeError

Heroku:使用Selenium时找不到chromedriver

如何在 aws cdk 中使用 aws-lambda 导入和调用 lambda 函数?

如何在Python中使用Selenium chromedriver水平滚动

如何从VSCode更新我的AWS Lambda函数?

如何使用Selenium和Chromedriver查找元素

如何使用 chromedriver + selenium 自动下载

在AWS Lambda函数中使用Django ORM

在AWS Lambda函数中使用require

如何在 AWS lambda 中使用 gifsicle

如何让 chromedriver 记住我使用 python selenium 通过浏览器启动应用程序的设置?

我如何使用python,selenium和chromedriver从网站上提取此值

开发 AWS Lambda 函数时要在 API Gateway 代理请求事件中使用哪些属性?

不会让我点击 selenium chromedriver

当我尝试使用AWS Cognito登录时,收到有关自定义Lambda触发器的AccessDeniedException

当我取消对导入之一的注释时,AWS lambda“无法导入模块'lambda_function”

如何在 Terraformer 中使用过滤器导入 AWS Lambda 函数

使用Selenium时是否需要安装Chrome或仅安装chromedriver?

启动Selenium Chromedriver时使用两个excludeSwitch?

如何调试AWS Lambda函数?

如何保护AWS Lambda函数?

如何重用AWS Lambda函数?

如何使用ChromeDriver使用Selenium测试手势?

使用 chromedriver 从 Selenium 打印 PDF