如何加快 Python CSV 读取到 MySQL 写入的速度

Martin 发表于 Dev

马丁

我有一个 5GB 的 IP 地址 CSV，我需要将其解析为 MySQL 数据库。

当前正在从 CSV 读取行并插入 MySQL。它工作得很好，但我很想让它快点。

我可以以某种方式并行阅读和写作吗？或者也许将 csv 放下并从进程中产生以读取和写入每个拆分的 csv？

import csv
from csv import reader
from csv import writer
import mysql.connector

cnx = mysql.connector.connect(user='root', password='', host='127.0.0.1', database='ips')
cursor = cnx.cursor()
i = 1

with open('iplist.csv', 'r') as read_obj:
    csv_reader = reader(read_obj)
    for row in csv_reader:
        query = """INSERT INTO ips (ip_start,ip_end,continent) VALUES ('%s','%s','%s')""" % (row[0],row[1],row[2])
        print (query)
        cursor.execute(query)
        cursor.execute('COMMIT')
        print(i)
        i = i + 1
cnx.close()

任何帮助表示赞赏。

黑暗骑士

我创建了一个伪随机 CSV 文件，其中每一行的样式都是“111.222.333.444,555.666.777.888,A 大陆”。该文件包含 3300 万行。以下代码能够在约 3 分钟内将所有行插入 MySQL 数据库表：-

import mysql.connector
import time
import concurrent.futures
import csv
import itertools

CSVFILE='/Users/Andy/iplist.csv'
CHUNK=10_000


def doBulkInsert(rows):
    with mysql.connector.connect(user='andy', password='monster', host='localhost', database='andy') as connection:
        connection.cursor().executemany(f'INSERT INTO ips (ip_start, ip_end, continent) VALUES (%s, %s, %s)', rows)
        connection.commit()


def main():
    _s = time.perf_counter()
    with open(CSVFILE) as csvfile:
        csvdata = csv.reader(csvfile)
        _s = time.perf_counter()
        with concurrent.futures.ThreadPoolExecutor() as executor:
            while (data := list(itertools.islice(csvdata, CHUNK))):
                executor.submit(doBulkInsert, data)
            executor.shutdown(wait=True)
            print(f'Duration = {time.perf_counter()-_s}')    

if __name__ == '__main__':
    main()

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。