Comments 12
Зачем, интересно, это Baidu? Ими до сих пор невозможно пользоваться без знания китайского, не все ли им равно, как белые дьяволы на них смотрят?
так а в чем читерство-то?
Я тоже не понял. Всё читал и ждал, когда же расскажут, как вместо ИИ было 50 (500, 5000, 50к) китайцев, которые распознавали образы вручную…
Думаю, по правилам, должен быть один аккаунт. А они сделали кучу, а в качестве своего достижения указали лучший.
В алгоритмах, которые лежат в основе этой и подобных работ очень много разных параметров. Например, способ инициализации начального приближения (границы для равномерного распределения или среднее и отклонение для нормального) или даже seed генератора псевдослучайных чисел. Путём варьирования этих параметров можно улучшить качество алгоритма (уменьшить ошибку), однако стоит быть осторожным, ведь уменьшение ошибки не влечёт низкую ошибку на новых данных: действительно, всегда можно просто запомнить ответы для данных, для которых ответ известен, и выдавать его, а на остальных данных выдавать что-нибудь произвольное. Ура — ошибка стала нулевой, но, очевидно, для практических целей такой алгоритм не очень годится (по крайней мере в задачах компьютерного зрения).
К сожалению, данных для тестирования всегда конечное число, а нам хотелось бы, чтобы алгоритм хорошо работал на бесконечном множестве «таких же» данных (генеральной совокупности). Поэтому, чтобы не обмануть самих себя, не следует подбирать параметры на тестовых данных. Для того, чтобы исследователи не использовали систему оценки ImageNet как «оракул», выдающий качество модели, для оптимизации, было введено ограничение на количество запросов (в неделю, кажется). Ребята из Baidu же завели несколько аккаунтов и обошли это ограничение.
К сожалению, данных для тестирования всегда конечное число, а нам хотелось бы, чтобы алгоритм хорошо работал на бесконечном множестве «таких же» данных (генеральной совокупности). Поэтому, чтобы не обмануть самих себя, не следует подбирать параметры на тестовых данных. Для того, чтобы исследователи не использовали систему оценки ImageNet как «оракул», выдающий качество модели, для оптимизации, было введено ограничение на количество запросов (в неделю, кажется). Ребята из Baidu же завели несколько аккаунтов и обошли это ограничение.
A — Ализар. Даже не попытался вникнуть в суть новости.
To make this clear, by exploiting the ability to test many slightly different solutions on the test server it is possible to
1) select the best out of a set of very similar solutions based on test performance and achieve a small but potentially significant advantage and
2) choose methods for further research and development based directly on the test data instead of using only the training and validation data for such choices.
To make this clear, by exploiting the ability to test many slightly different solutions on the test server it is possible to
1) select the best out of a set of very similar solutions based on test performance and achieve a small but potentially significant advantage and
2) choose methods for further research and development based directly on the test data instead of using only the training and validation data for such choices.
Andrew Ng не очень здорово сейчас, наверное.
Sign up to leave a comment.
Первый в мире случай читерства в исследованиях ИИ