Да, но в первом случае получаются данные небольшой размерности.
Это уже результат ваших размышлений.
Но ведь свёртки вроде фильтра Габора тоже генерируют на выходе данные, обладающие какими-то новыми свойствами (и при этом теряющие старые свойства). Так что, выходит, додуматься нейросеть до такого преобразования может.
Не понял аргумента. Какие свойства? Почему нейросеть должна их сохранять?
Вы уже преобразовываете свои данные из набора символов в вектор из целых чисел. С этой точки зрения количество креативности и ручного анализа между вектором индексов и one-hot кодированием одинаковое.
Кроме того не следует забывать о принципе garbage in – garbage out. Если алгоритм ожидает векторизованное представление, где для каждого признака определены сложение / умножение, а Вы подаёте на вход что-то, такими качествами не обладающее, то странно на что-то рассчитывать.
должен применить какую-то креативность, выполнить ручной анализ. И в этом случае не уверен, что использование автоматического алгоритма в deep learning мне что-то дополнительное даст. Всё равно головой думать приходится
Если Вы думаете одномоментно и «цена» раздумий всегда одинакова, то всё так. Но вот я, например, иногда думаю всего пару минут, а иногда могу годами размышлять без особого успеха, вот про P? NP ничего дельного пока не надумал. Если бы я мог подумать примерно столько же, сколько я думаю в ходе партии в шахматы, а потом применить какой-нибудь автоматический алгоритм в deep learning и решил бы задачу, я бы порадовался.
Ну, а если бы думать не надо было, то и решать такую задачу тоже не было бы необходимости, поскольку она уже была бы автоматизирована.
то что оно затачивалось конкретно под игру, я там читаю и открытым текстом и между строк...
Конкретные примеры будут?
Любая сеть, конечно, работать не будет, как не будет работать и человеческий мозг, если его в размерах уменьшить (см. микроцефалию). Слишком маленькие и слишком большие сети труднообучаемы из-за малого количества хороших конфигураций или сложностей в передаче сигнала.
И главное она потом даже другие подобные игры пройдёт!
А что, не прошла? Я в статье вижу множество игр, где одна и та же сеть без каких-либо изменений в архитектуре или способе обучения, превосходит профессионала-человека.
Я вот честно удивляюсь, что некоторые люди, через параграф читают или целые страницы пропускают, от слова по диагонали...
Оставьте свой ad hominem при себе, в приличном обществе всё-таки находитесь. Минус за это.
Я тоже считаю вероятным изобретение сильного ИИ в текущем столетии (побоюсь говорить про 20 лет), но перечисленного Вами «всё есть» на мой взгляд недостаточно. AlphaGo сыграл безумное количество партий в игре с чётко заданными действиями. В реальном мире всё сложнее: возможных действий невероятно много, критерии достижения цели размыты, а сама цель может быть сильно удалена во времени, нет возможность разыграть миллион партий для самообучения.
Есть словарь языка, значит, у меня просто набор вида w1, ..., w10, где каждый элемент — это индекс слова в словаре
Т.е. это просто десятимерный вектор из целых чисел, соответствующих номеру слова? И что Вы с ним делаете? Любые векторные операции с ним бесмысленны, поскольку эти целые числа имеют категориальную природу, а не вещественную, т.е. среднее арифметическое или разность таких чисел не имеет никакого смысла.
По-хорошему нужно делать one-hot-encoding, когда каждому слову приписывается вектор длиной в размер словаря, в котором только одна единица на нужной позиции. Даже если у вас словарь Элочки-людоедки из 10 слов, то размерность пространства получается 1010 – если для Вас это проблем не вызывает, то я Вам завидую.
Свёрточная нейросеть отлично классифицирует текстуры (это локальные характеристики), но не может работать с формами объектов. Она не увидит разницы между леопардом и леопардовым диваном.
Текстуры выявляются на первых слоях сети, если бы дело было лишь в них, никто бы не стал городить архитектуры в сотни слоёв. Чем глубже в сеть – тем абстрактнее и высокоуровнее представления, ближе к выходам и формы можно представить.
Если Вы будете целенаправленно учить сеть различать леопардов от леопардовых диванов, она с этой задачей справится.
Как видим, во всех рассмотренных нами случаях Саша прибегает вторым. [...] Таким образом, в нашей модели, которая максимально приближена к реальному, у Саши микроскопическая вероятность на победу. Модель «постоянной скорости» хорошее упрощение во многих задачах, но тут именно тот случай, когда это приводит нас к противоположному результату.
Ну, про максимальное это Вы загнули. У Вас, как минимум, есть весьма спорная модель изменения скорости по времени. Особенно странным выглядит то, что для достижения максимальной скорости обоим бегунам требуется одинаковое время. Мне лень считать, но я уверен, что если Вы введёте t0Саша и t0Вася, то для некоторых значений всё изменится.
Что значит «вдруг»? По теореме о бесконечных обезьянах рано или поздно (на самом деле, гораздо позже конца вселенной, каким бы он ни был, но кого волнуют эти малозначительные технические детали) это случится с вероятностью 1, так что нужно превентивными методами прекратить порочную трансляцию.
По поводу correlation does not imply causation в тексте есть такой disclaimer
Перед тем, как перейти к непосредственному изложению результатов – небольшая ремарка для тех, кто нечасто имеет дело со статистикой. В общем случае, когда речь идет о статистических закономерностях, мы не можем говорить о том, что является причиной, а что следствием. Если выпускники престижного вуза NN имеют хорошие доходы и легко находят работу, это не значит, что в этом обязательно заслуга вуза. В престижные вузы поступает много талантливых и способных учеников, вполне вероятно, что они достигли бы таких же или еще больших высот, обучаясь в другом вузе. Ответ на такие вопросы – тема отдельного большого исследования.
Вряд ли детские тренеры и другие специалисты в этой области получают высокие зарплаты, но для того, чтобы поднять среднее значение достаточно и небольшого числа профессиональных футболистов/хоккеистов, получающих баснословные гонорары.
Мне кажется, следовало указывать медианную зарплату, а не среднюю, т.к. последняя неустойчива к выбросам (что мы и, предположительно, наблюдаем) и потому не очень полезна.
Где Вы 100 слоёв усмотрели? Скрытый слой там всего один. Если речь про нейроны, то мне не очевидно, как в 2 нейрона проверить число в двоичной записи на делимость на 5 или 3.
Есть, но она крайне мала. Казино может решить, какая вероятность False Positive / False Negative их устраивает и разработать статистический тест, исходя из этих соображений. По-прежнему будет существовать вероятность, что Вас выгонят беспричинно, но в общей массе таких случаев будет мало.
Не понял аргумента. Какие свойства? Почему нейросеть должна их сохранять?
Кроме того не следует забывать о принципе garbage in – garbage out. Если алгоритм ожидает векторизованное представление, где для каждого признака определены сложение / умножение, а Вы подаёте на вход что-то, такими качествами не обладающее, то странно на что-то рассчитывать.
Если Вы думаете одномоментно и «цена» раздумий всегда одинакова, то всё так. Но вот я, например, иногда думаю всего пару минут, а иногда могу годами размышлять без особого успеха, вот про P? NP ничего дельного пока не надумал. Если бы я мог подумать примерно столько же, сколько я думаю в ходе партии в шахматы, а потом применить какой-нибудь автоматический алгоритм в deep learning и решил бы задачу, я бы порадовался.
Ну, а если бы думать не надо было, то и решать такую задачу тоже не было бы необходимости, поскольку она уже была бы автоматизирована.
Любая сеть, конечно, работать не будет, как не будет работать и человеческий мозг, если его в размерах уменьшить (см. микроцефалию). Слишком маленькие и слишком большие сети труднообучаемы из-за малого количества хороших конфигураций или сложностей в передаче сигнала.
А что, не прошла? Я в статье вижу множество игр, где одна и та же сеть без каких-либо изменений в архитектуре или способе обучения, превосходит профессионала-человека.
Оставьте свой ad hominem при себе, в приличном обществе всё-таки находитесь. Минус за это.
По-хорошему нужно делать one-hot-encoding, когда каждому слову приписывается вектор длиной в размер словаря, в котором только одна единица на нужной позиции. Даже если у вас словарь Элочки-людоедки из 10 слов, то размерность пространства получается 1010 – если для Вас это проблем не вызывает, то я Вам завидую.
Уменьшения размерности, как уже заметили, тоже не происходит.
Если Вы будете целенаправленно учить сеть различать леопардов от леопардовых диванов, она с этой задачей справится.
Вообще же, causal inference – это сложно.