TFRecorder将数据转换为 TFRecord 格式

TFRecorder 用于将 Pandas DataFrame 或 CSV 文件转换为 TFRecord。TFRecord 是一种简单的二进制文件格式。

目前，TFRecorder 支持以“图像 csv 格式”存储的数据，类似于 GCP AutoML Vision。

用法示例

From Pandas DataFrame

本地运行

import pandas as pd

import tfrecorder



df = pd.read_csv(...)

df.tensorflow.to_tfr(output_dir='gs://my/bucket')

在 Cloud Dataflow 运行

import pandas as pd

import tfrecorder



df = pd.read_csv(...)

df.tensorflow.to_tfr(

    output_dir='gs://my/bucket',

    runner='DataFlowRunner',

    project='my-project',

    region='us-central1')

From CSV

使用 Python 解释器

import tfrecorder



tfrecorder.create_tfrecords(

    input_data='/path/to/data.csv',

    output_dir='gs://my/bucket')

使用命令行

tfrecorder create-tfrecords \

    --input_data=/path/to/data.csv \

    --output_dir=gs://my/bucket