如何使用python或scala将非标准的csv文件读入数据框

mdivk 发表于 Dev

姆迪夫

我下面有一个要使用python或scala处理的数据集采样：

FWD,13032009:09:01,10.56| FWD,13032009:10:53,11.23| FWD,13032009:15:40,23.20
SPOT,13032009:09:04,11.56| FWD,13032009:11:45,11.23| SPOT,13032009:12:30,23.20
FWD,13032009:08:01,10.56| SPOT,13032009:12:30,11.23| FWD,13032009:13:20,23.20| FWD,13032009:14:340,56.00
FWD,13032009:08:01,10.56| SPOT,13032009:12:30,11.23| FWD,13032009:13:20,23.20

每行都将拆分为多个较小的字符串，这些字符串可以进一步拆分。

我正在寻找的是一种生成具有以下内容的RDD或数据帧的有效方法：

FWD,13032009:09:01,10.56 
FWD,13032009:10:53,11.23
FWD,13032009:15:40,23.20
SPOT,13032009:09:04,11.56
FWD,13032009:11:45,11.23
SPOT,13032009:12:30,23.20
FWD,13032009:08:01,10.56
SPOT,13032009:12:30,11.23
FWD,13032009:13:20,23.20
FWD,13032009:14:340,56.00
FWD,13032009:08:01,10.56
SPOT,13032009:12:30,11.23
FWD,13032009:13:20,23.20

请注意，效率越高越好，因为生产中的总行数可能高达一百万

非常感谢你。

伯纳德·L

假设您正在读取一个csv文件，则可以将每一行读取到一个列表中。展平值，然后将它们作为单独的行进行处理。

将文件读入列表-一百万行应该不会太多：

import csv
import itertools

import pandas as pd

with open('test.csv','r') as f:
    reader = csv.reader(f, delimiter = '|')
    rows = list(reader)

从一个列表中展平并拆分-Pythonitertools标准库中的出色库返回了一个生成器，该生成器有助于提高内存效率。

flat_rows = itertools.chain.from_iterable(rows)
list_rows = [i.strip().split(',') for i in flat_rows]

现在，嵌套列表list_rows为您提供了一个干净且格式化的列表，pandas如果您要创建，可以将其发送到dataframe。

list_rows
>>
[['FWD', '13032009:09:01', '10.56'],
 ['FWD', '13032009:10:53', '11.23'],
 ['FWD', '13032009:15:40', '23.20'],
 ['SPOT', '13032009:09:04', '11.56'],
 ['FWD', '13032009:11:45', '11.23'],
 ['SPOT', '13032009:12:30', '23.20'],
 ['FWD', '13032009:08:01', '10.56'],
 ['SPOT', '13032009:12:30', '11.23'],
 ['FWD', '13032009:13:20', '23.20'],
 ['FWD', '13032009:14:340', '56.00'],
 ['FWD', '13032009:08:01', '10.56'],
 ['SPOT', '13032009:12:30', '11.23'],
 ['FWD', '13032009:13:20', '23.20']]

df = pd.DataFrame(list_rows)

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。