«Cделать красиво». Визуализация обучения с Tensorboard от Google

[QtRoS]

Хочется добавить, что в Keras (официальный фронтенд для TensorFlow) есть удобный коллбэк для записи логов для TensorBoard.

[lgorSL]

Ещё c помощью summary_writer.add_run_metadata(...) можно записать информацию о выполнении. Для каждой вершины графа — потребление памяти и затрачиваемое на вычисление время.

Для того, чтобы график отобразился в TB, приходится ждать до 15 минут.

Странно. У меня график обновляется с интервалом в 1-2 минуты.

[yzoz]

Я запускал .add_summary в цикле с .sess.run. Скажем, можно каждую итерацию, а можно i % step == 0. Тогда Tensorboard будет обновляться так, как указано в его интерфейсе, ведь данные будут поступать real-time.

Если абстрактно, то:

for i in range(train_batch):
   x, y = prepare(train_x, train_y, i * batch)
   dic={X: x, Y: y}
   _, summary  = sess.run([train, merged], feed_dict=dic)
   writer.add_summary(summary, i)

Если детальней, то (: github.com/yzoz/rnn-market-prediction

[YuliyaCl]

Да, можно и так тоже делать. Видимо, с обновлением это у меня какой-то странный косяк на машине)

[yzoz]

У меня просто сейчас не установлен… но там вот та шестерёнка в правом верхнем углу — вроде там и была одна единственная настройка «update interval» или что-то типа того.

[konar]

Не вижу смысла еще раз описывать то, как рисовать скаляры и гистограммы. Примеров и так хватает. Другое дело, что в этих примерах практически нигде (как и в данной статье) не описано, как правильно читать эти гистограммы и распределения. В свое время не сразу смог понять, что они значат.

Гораздо реже встречаются примеры того, как удобно отображать изображения, аудио и текст. С аудио и текстом работал поменьше, а вот с изображениями в TB пришлось много поработать. И создалось впечатление, что какого-то общепринятого приема скармливания картинок нет.

В последних версиях TB появились какие-то дополнительные вкладки. Сам с ними еще не разбирался, хотелось бы и о них узнать…

[YuliyaCl]

Больше новых версий!)

Про анализ не стала даже трогать тему, не об этом хотелось говорить) Профитом от визуализации у нас было решение об изменении принципа генерации весов. Визуально они не должны быть сильно кучкообразны около нуля, тогда выходит, что часть нейронов почти неактивна. Основные вещи о настройке доступно описали тут . Нам они дали прирост на процентов 5, что было очень неплохо.
Скармливать картинки не пришлось, так что не подскажу, но да, общепринятых вещей тут впринципе мало…

[terixoid]

Достаточно интересно было бы услышать про projector в tb.

Какие решения принимать на основе гистограмм весов и градиентов? как я понимаю, если веса распрелены в области высоких значений, то можно подкрутить регуляризацию у слоёв (был бы признателен, если бы кто-нибудь подтвердил или опроверг моё предположение).

[YuliyaCl]

Мы с ним «игрались», выходил космос) Но как использовать на практике так и не поняли)) Вещь заманчивая, хотим идею projector-а все же раскрыть и тогда напишу, что выйдет.

Да, если уходят в большие значения — то регуляризация, если у нуля торчат все почти — то потоньше настроить их начальную генерацию и регуляризацию попробовать «смягчить».