Kaggle: как наши сеточки считали морских львов на Алеутских островах

[noonv]

Отличная статья! Спасибо!

[temakone]

Спасибо! Да китайцы, похоже, всей конторой решали с одного аккаунта))

[Javian]

Впечатление, что китаец проконсультировался с биологами (либо что-то прочитал на тему сивучей) о статистическом распределении классов особей, что и учел.

[vesper-bot]

Интересно, не является ли ad hoc редакция выходных данных читерством?

[temakone]

Если вы про умножение ответов на константы, то читерством это не является. Но и для компании, проводящей соревнования, ценности такая подгонка под ответ никакой не несёт. outrunner потом сам признался, что он тупо и методично оверфитился на паблик либерборд.

[Kwent]

нет, private тестирование проводится (обычно) на данных, которые не давали для обучения, как следствие, если вы смогли подобрать такую эвристику, которая работает отлично на неизвестных данных, то это и есть решение :)

[temakone]

В этом случае просто повезло, что распределения public/private были очень близки.

[pdima]

не очень хорошая организация конкурса, очень близкое расспредиление на public/private leaderboard когда на тренировочных данных другое расспредиление классов и масштаб раза в 2 отличается. В результате первое место — подгон под лидерборд и бесполезное для организаторов решение.

[vesper-bot]

Ну, я о том, что если эвристика постфактум меняет результат подсчета, то это и не подсчет вовсе, а в задаче запрос стоял именно подсчитать.

[QtRoS]

Присобачил в конце выходной слой для регрессии на 5 классов сивучей. Каждый выходной нейрон предсказывал количество особей соответствующего класса.

Можно поинтересоваться, как в таком случае выглядела loss-function?
Ну и с Вашей точки зрения — хоть какие-то из решений могут использоваться в будущем? Насколько хорошо получилось (субъективно)?

[temakone]

Loss-function — квадрат L2 расстояния между двумя 5-мерными векторами (предикты и ground truth).

Субъективно. Если поменять локацию/угол/высоту съёмки, то все решения из топа сразу станут давать совсем другие ответы (скорее всего неверные). Если их дроны всегда будут летать примерно на той высоте, на которой были сняты снимки для трейна, то топовые решение дают не такую уж и плохую оценку числа особей (RMSE от 10 до 15 на 1 снимок в среднем). Хотя, не понятно, является ли такая ошибка на одном снимке значительной для биологов.

[pdima]

Мы (5е место) пытались сделать честное решение без подгонки к ледерборду.

Я реализовал оценку масштаба используя статистику SSD boxes -> xgboost -> image scale, потом считал количество как просто интеграл хитмапов при квадратиках равной площади ground trooth.

[2PAE]

Скажите, а ваш алгоритм сможет отличить рядовых от офицеров, русских от китайцев на поле боя?

[temakone]

Нужно обучать на новом датасете. Всё зависит от данных и масштаба.

[optimizer]

а вы обучали веса Inception-Resnet-V2, VGG с нуля или брали их с весами? или брали с весами и дообучали? или брали с весам и часть замораживали, а часть дообучали?

[temakone]

Я брал с весам, обученными на Imagenet. Замораживал несколько первых свёрточных блоков.