加快熊猫中csv文件的此条件行读取的速度？
霍尔巴耶
我修改了这篇文章中的一行，以有条件地从csv文件中读取行：
filename=r'C:\Users\Nutzer\Desktop\Projects\UK_Traffic_Data\test.csv'
df = (pd.read_csv(filename, error_bad_lines=False) [lambda x: x['Accident_Index'].str.startswith('2005')])
这条线对于小型测试数据集而言效果很好。但是，我确实要读取一个很大的csv文件，并且读取该文件需要很长时间。实际上，最终NotebookApp.iopub_data_rate_limit达到了。我的问题是：
- 有没有办法改善此代码及其性能？
- “ Accident_Index”列中的记录已排序。因此，如果达到“ Accident_Index”不等于的值，则可以退出read语句
str.startswith('2005')。您对此有何建议？
以下是一些示例数据：
所需的输出应该是包含前六条记录的pandas数据框。
Praveenrajan27
最初，我们可以只读取要在上述条件下进行过滤的特定列（假设这会大大减少读取开销）。
#reading the mask column
df_indx = (pd.read_csv(filename, error_bad_lines=False,usecols=['Accident_Index'])
[lambda x: x['Accident_Index'].str.startswith('2005')])
然后，我们可以使用该列中的值通过skiprows和nrows属性从文件中读取其余列，因为它们是输入文件中的排序值
df_data= (pd.read_csv(filename,
error_bad_lines=False,header=0,skiprows=df_indx.index[0],nrows=df_indx.shape[0]))
df_data.columns=['Accident_index','data']
这将提供我们想要的数据的子集。我们可能不需要单独获取列名。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
编辑于
相关文章
TOP 榜单
- 1
Android Studio Kotlin：提取为常量
- 2
IE 11中的FormData未定义
- 3
计算数据帧R中的字符串频率
- 4
如何在R中转置数据
- 5
如何使用Redux-Toolkit重置Redux Store
- 6
Excel 2016图表将增长与4个参数进行比较
- 7
在 Python 2.7 中。如何从文件中读取特定文本并分配给变量
- 8
未捕获的SyntaxError：带有Ajax帖子的意外令牌u
- 9
OpenCv：改变 putText() 的位置
- 10
ActiveModelSerializer仅显示关联的ID
- 11
算术中的c ++常量类型转换
- 12
如何开始为Ubuntu开发
- 13
将加号/减号添加到jQuery菜单
- 14
去噪自动编码器和常规自动编码器有什么区别？
- 15
获取并汇总所有关联的数据
- 16
OpenGL纹理格式的颜色错误
- 17
在 React Native Expo 中使用 react-redux 更改另一个键的值
- 18
http：// localhost：3000 /＃！/为什么我在localhost链接中得到“＃！/”。
- 19
TreeMap中的自定义排序
- 20
Redux动作正常，但减速器无效
- 21
如何对treeView的子节点进行排序
我来说两句