TFRecorder将数据转换为 TFRecord 格式

TFRecorder 用于将 Pandas DataFrame 或 CSV 文件转换为 TFRecord。TFRecord 是一种简单的二进制文件格式。

目前，TFRecorder 支持以“图像 csv 格式”存储的数据，类似于 GCP AutoML Vision。

用法示例

From Pandas DataFrame

本地运行

import pandas as pd
import tfrecorder

df = pd.read_csv(...)
df.tensorflow.to_tfr(output_dir='gs://my/bucket')

在 Cloud Dataflow 运行

import pandas as pd
import tfrecorder

df = pd.read_csv(...)
df.tensorflow.to_tfr(
    output_dir='gs://my/bucket',
    runner='DataFlowRunner',
    project='my-project',
    region='us-central1')

From CSV

使用 Python 解释器

import tfrecorder

tfrecorder.create_tfrecords(
    input_data='/path/to/data.csv',
    output_dir='gs://my/bucket')

使用命令行

tfrecorder create-tfrecords \
    --input_data=/path/to/data.csv \
    --output_dir=gs://my/bucket