如何将csv文件转换为TFrecord tensorFlow格式?

埃德温·马尔德

大家好,我需要将TensorFlow的csv文件转换为TFrecord。非常感谢您的帮助。我需要转换的csv文件的示例是:

Col1 Col2 Col3 Col4目标

2.56 0.98 0.45 7.8 0.189

3.10 5.78 4.78 9.0 0.78

....

非常感谢你!!!

马特·坎普

下面的代码将根据多个CSV文件创建一个TFRecords文件...只是还无法读取数据。

import pandas as pd
import numpy as np
import os
import tensorflow as tf
from tqdm import tqdm


def _int64_feature(value):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))


def _float_feature(value):
    return tf.train.Feature(float_list=tf.train.FloatList(value=value))


def _bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))


def make_q_list(filepathlist, filetype):
    filepathlist = filepathlist
    filepaths = []
    labels = []
    for path in filepathlist:
        data_files = os.listdir(path)
        for data in data_files:
            if data.endswith(filetype):
                data_file = os.path.join(path, data)
                data_label = os.path.basename(os.path.normpath(path))
                filepaths.append(data_file)
                labels.append(data_label)

    return filepaths, labels 

def tables_to_TF(queue_list, tf_filename, file_type='csv'):
    # Target variable needs to be the last column of data
    filepath = os.path.join(tf_filename)
    print('Writing', filepath)
    writer = tf.python_io.TFRecordWriter(tf_filename)
    for file in tqdm(queue_list):
        if file_type == 'csv':
            data = pd.read_csv(file).values
        elif file_type == 'hdf':
            data = pd.read_hdf(file).values
        else:
            print(file_type, 'is not supported at this time...')
            break
        for row in data:
            # file formate : feature 1…..feature n, label
            features, label = row[:-1], row[-1]
            example = tf.train.Example()
            example.features.feature["features"].float_list.value.extend(features)
            example.features.feature["label"].float_list.value.append(label)
            writer.write(example.SerializeToString()

#Generate data
for i in range(10):
    filename = './Data/random_csv' + str(i) + '.csv'
    pd.DataFrame(np.random.uniform(0,100,size=(100, 50))).to_csv(filename)

filepathlist = ['./Data']
q, _ = make_q_list(filepathlist, '.csv')
tffilename = 'Demo_TFR.tfrecords'
tables_to_TF(q, tffilename, file_type='csv')

2018年3月18日编辑:删除了多余的代码行 data_file = data_file

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何将.txt / .csv文件转换为ORC格式

如何将JSON转换为CSV格式并存储在变量中

如何将.txt文件转换为Hadoop的序列文件格式

如何将CSV文件转换为OpenTSDB格式

如何将数据从长格式转换为宽格式

如何将MongoDB存档文件转换为JSON格式?

如何将ogg文件转换为电报语音格式?

如何将[]格式的列表转换为()格式

如何将csv字符串转换为Spark-ML兼容的Dataset <Row>格式?

在使用JS保持文本文件格式的同时,如何将文本文件转换为CSV文件?

如何将csv文件的列值转换为熊猫中的不同格式结构?

如何将openCV转换的图像转换为原始格式

如何将空格分隔的数据转换为CSV格式-Python

如何将终端输出转换为HTML文件格式

如何将.txt字幕文件转换为.srt格式?

如何将tar文件从gnu格式转换为pax格式

如何将CSV中的经纬度转换为Pig中的十进制格式?

如何将hadoop序列文件转换为json格式?

如何将JSON文件转换为其他格式

如何将csv文件内容从一种格式(通常为csv格式)转换为另一种格式(由salesforce支持)?

如何将完整文件转换为特定格式?

如何将SQL查询的结果转换为CSV格式

如何将 EEBCDIC 文件格式转换为 csv

如何将 osgjs 格式转换为 obj 或类似格式?

我们如何将.pgn 文件格式的国际象棋移动文件批量转换为.bin 文件格式?

如何将 csv 文件转换为 json 格式的文件?

如何将 CSV 数据转换为 TFRecord 文件

如何将数据(格式 yyyy/mm/dd)从 csv 转换为 R (Rstudio) 中的向量

使用 Pandoc,我如何将 docx 文件转换为格式适合 Azure Wiki 的文件?