熊猫数据框未将所有行导出到csv(但所有行均显示在终端中)

我告诉你了

我开始玩熊猫和网页抓取,代码似乎可以正常运行,当我运行代码时,所有结果行都显示在终端中,但是当我将其导出到csv时,它仅显示结果行的一半。我要遍历url可能有一些事情要做,但是我不确定为什么仍然在终端中正确显示结果。

import pandas as pd
import requests
import bs4
from bs4 import BeautifulSoup

urls = ['https://www.indeed.co.uk/jobs?q=Scrum+master&l=London', 'https://www.indeed.co.uk/jobs?q=Scrum+master&l=London&start=10']

for url in urls:
    page = requests.get(url)
    soup = BeautifulSoup(page.text, 'html.parser')
    job_results = soup.find(id='resultsCol')
    jobs = job_results.find_all(class_='jobsearch-SerpJobCard')

    titles = [job.find(class_='jobtitle').get_text() for job in jobs]
    descriptions = [job.find('div', attrs={'class': 'summary'}).get_text() for job in jobs]

  jobs_filtered = pd.DataFrame(
        {
            'title' : titles,
            'description' : descriptions,
        })

    print(jobs_filtered)
    jobs_filtered.to_csv('jobs_filtered11.csv')
惰性编码器

请使用附加模式以获取所需的输出。

jobs_filtered.to_csv('jobs_filtered11.csv', mode='a', header=False) # True for the first time if necessary

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

截断熊猫数据框的所有行

查找熊猫数据框中的所有重复行

如何删除负值的熊猫数据框中的所有行?

更改熊猫数据框中的所有行的值

从熊猫数据框中添加所有行

Dplyr变异未将计算应用于数据框中的所有行

在熊猫数据框中获取带有和不带有NaN的所有行

将熊猫数据框导出到csv文件中(“列表”对象没有属性“ to_csv”)

在IPython Notebook中显示所有熊猫数据框

如何用熊猫替换数据框的所有行?

熊猫数据框行的所有可能组合

使用Python熊猫获取数据框的所有行

如何划分熊猫数据框中除某一特定行以外的所有行?

如何在熊猫数据框行中附加所有具有相同ID的元素?

如何通过熊猫或spark数据框删除所有行中具有相同值的列?

在终端中显示(日志)文件的所有行

将所有行拟合到熊猫数据框中,然后仅根据数据进行转换

Python + Pandas + Dataframe + CSV:代码从数据框中删除所有行,而不是指定的行

删除所有未包含日期索引的多个熊猫数据框的所有行

RecyclerView不会从Firebase加载任何数据,并且所有行均显示为null

显示 Pandas 数据框的所有行和列

如何在不分组的情况下串联熊猫中数据框的所有行

删除N个或更多连续NaN的熊猫数据框中的所有行

用熊猫中的单个系列填充所有空数据框的行或列

通过从熊猫数据框中的所有非NaN合并相同索引的行

从熊猫数据框中的所有行中提取子字符串

选择熊猫数据框中某个条目之前的所有行

在熊猫数据框中第一次出现条件之前删除所有行

从熊猫数据框的所有列和行中删除值