Асинхронная загрузка больших датасетов в Tensorflow

[zodiak]

Dataset без Estimator как пиво без водки

[yarric]

А для Tensorflow есть средства визуального программирования вроде майкрософтовского Machine Learning Studio для Azure ML?

[golovasteek]

Я про такие не слышал. Но и не искал в общем-то.

[AFH]

Кстати, для «one hot»-вектора у tensorflow тоже есть удобная функция: tf.one_hot

[golovasteek]

Все верно. Но нету удобной функции, позволяющей удобно преобразовать именованные категории в one_hot. А значит функция преобразующая считвающая категорию из файла и представляющая ее в виде числа все равно нужна.

[OverQuantum]

А если данные лежат в одном файле (типа как в MNIST), но держать их все в памяти всё-таки не хочется — в какую сторону копать?

[golovasteek]

На вскидку, TextLineDataset должен подойти.
Или сделать датасет из

file.readlines()

[ifilonov]

Последний батч, возвращаемый итератором, может быть размером меньше BATCH_SIZE, так что все-таки делать

total += BATCH_SIZE

не вполне корректно. Один из возможных вариантов — среди прочего в sess.run считать что-то вроде tf.shape(img_batch)[0].

[golovasteek]

Верное замечаение.
Вообще правильнее решить задачу было бы с помощью tf.metrix.accuarcy, но в версии 1.4 статистику нельзя сбрасывать между эпохами, что не очень удобно.