Комментарии 27
Диффузионные модели, в принципе, могут быть с ГАНом: https://arxiv.org/abs/2206.02262
Но конкретно StableDiffusion не является GAN
Отличная статья! Очень хорошие иллюстрации! ++
Спасибо за статью с примерами.
Туда же - всех нытиков, кто сетует на нейросети "лишающие" их работы.
Вспомнил эпизод из Дюма, если не путаю "Граф Монте Кристо". Там был описан случай на публичной казни, куда привели двух убийц. Оба держались на ней смело, были готовы к смерти и спокойно дожидались своей участи. Но одного из них помиловали, после чего у второго, сдали нервы и у него началась практически истерика.
Я это к чему, есть у многих людей такая неприятная особенность, они готовы терпеть разные лишения и беды, но если вдруг рядом с ними у кого-то жизнь налаживается, то это полностью выбивает первых из колеи. И обратное - если у соседа, кто жил хоть немного лучше, вдруг намечаются какие-то проблемы, которые в перспективе окунут его в то-же дерьмо, в котором живет первый, тот будет искренне этому рад.
Вот и я замечаю у многих такую вот радость плана - наконец-то эти зажравшиеся смузихлебы-программисты окажуться в том-же дерьме, потому что нейросети их заменят! Ура!!!
И это уже не первая такая технология "убийца" профессии программиста, появлению которой наши "доброжелатели" искренне были рады, тьма их. Начиная от появления ассемблера, языков высокого уровня, визуального программирования, и вот теперь заканчивая нейронками.
Ситуацию из романа Дюма можно обусловить завистью, но уместна ли зависть к технологическому прогрессу? Может ли фермер завидовать комбайну? Я ведь не с проста слово "лишающие" выделил кавычками - я просто уверен, что "фермерам" пора перестать "тыкать вилами" в "комбайны" - и "пересесть за их руль". Ну и что, что оно всё гремит, воняет и мазутом мажется. Особенно когда за это ещё и платишь - формируется эта странная магия любви между человеком и техникой. От части неизбежная - но к чему нам грусть?)
Так фермер тыкает вилами не в комбайн, а в комбайнера. И причина зачастую как раз в ней, в зависти. По какой-то причине он не может, не хочет освоить управление комбайном, и ему очень неприятно видеть как его сосед, который машину освоил, зарабатывает больше него, и что самое неприятное - его труд менее тяжелый при этом.
И вот у когда такой доброжелательный сосед, увидит сломавшийся комбайн, он обычно и высказывает радость, наконец-то этот зажравшийся буржуй будет работать в поле как все!
не советую верить всяким лицам нетрадиционной ориентации, особенно - в части их прогнозов на скорейшее пришествие искусственного сверх-интеллекта
Автор рассмотрел один подход к созданию интеллекта - распространённые виды нейросетей. На основе своего понимания происходящего в нейросетях он сделал вывод о невозможности ИИ. Но почему он уверен, что конкретно его знания достаточно для понимания того, как будет устроен ИИ?
Нейросети развивались от абсолютно простейших алгоритмов в сторону повышения сложности. Сначала описали нейрон, потом попробовали смоделировать небольшую сеть, потом добавили всё то, что автор кратко описал в тексте, а сегодня добавляют новые усложнения, которые автор может и не знать. Но если сравнить первоначальное понимание нейрона годов из 50-х с современными достижениями, то стало бы очевидно, что в тех же 50-х годах любого, кто предсказал бы скорое появление полноценно проходящих тест Тьюринга сетей, авторы тех лет точно так же осмеивали бы и предавали порицанию. Так стоит ли быть таким уверенным в наши дни?
На всякий случай добавлю - возможность прохождение теста Тьюринга осмеяли бы даже 5-10 лет назад. И кто же оказался прав?
Но я не делал выводов о невозможности AGI (следующего шага за ИИ). Сама возможность, как мне кажется, очевидна ещё со времён Тьюринга. Я вполне конкретно сформулировал свою мысль о скорейших прогнозах. Ближайшие пол века на это рассчитывать, мне кажется глупым. Да - я основываю это своё мнение на том, что мне известно и нет - я не стану его менять по причине какого-то "тайного знания которое я могу не знать и которое может играть существенную роль". Волков бояться - в лес не ходить!
Вы не из секты свидетелей термояда? Полвека, 50 лет - это как раз оттуда. Сейчас не та ситуация в принципе. Что по деньгам, что по умам, которые этим делом занимаются. Во времена становления атомной энергетики позволить себе реактор дома могли не только лишь все. Но даже и тогда нашелся "атомный скаут", хоть и сильно позже. Сейчас с одной стороны ИИ и выше - это датацентры. Дорогие, наукоемкие, но масштабируемые. С другой стороны - частные ЭВМ достигли мощностей датацентра уровня 2010 годов за счет параллелизма и GPU, поэтому война идет двумя параллельными фронтами - от компаний, и от сообществ. Собственно войной это я назвал потому, что эта битва за ИИ и в будущем AGI - это игра с ненулевой суммой, но потери будут обязательно. Всегда прогресс идет вперед, что бы там не хотели греты-активисты и прочие перепуганные люди. И еще один момент. Если проводить опять параллели с ядеркой, то ядеркой в то время занимались специально обученные люди, а то и гении своего рода - сюда вставить список мировых ученых по ядерке - и немалую роль сыграла и секретность, то есть разобщенность одних ученых сообществ от других. С нейронками этого нет, за слив модели в open ai никого не потащили на электрический стул - хотя технология можно сказать, стратегическая, мало того, опасная в злых руках. Но ничего не случилось - пока. Подумаешь, забили тревогу художники и сценаристы. Подумаешь, государства резко очухались на тему ИИ - быстрее чем даже на тему регулирования крипты - и начали в этом направлении поползновения "запретить". Так что джинна из бутылки выпустили, сейчас условно говоря каждый индус может дома собрать атомную бомбу из своих анализов в поликлинике и успешно ее применить на хотя бы своих сородичах. Опасно? Конечно опасно! Но риск как говорится..
Ну то, что нейросеть это реляционная БД - это уж слишком.
Как вы определите отношение (relation) в данных весов нейросети?
Как операцию умножения.
Вы пытаетесь наскоком осилить сложные темы, что выдает очень сильно в Вас новичка в этой теме.
Рекомендую отложить DL и начать с самых базовых алгоритмов.
Обучение всегда начинается с Hello World,а вы пытаетесь сразу понять как работают Связанные списки, отсюда куча не точностей и недопонимания по теме.
Рекомендую Франсуа Школе, Эндрю трачу и А.Григорьева ну и статистику от П.Брюс, Э.Брюс и П.Гедек.
Статья и основные моменты интересные но читать трудно. Я прочел ее по диагонали. Блок с математическими формулами (зачем, для кого?) сразу скип. В одном предложении или абзаце предметы обозначаются двумя-тремя определениями (зачем?)
Блок "P.S." - это жирный наброс на вентилятор. Высокомерные и варварские призывы "игнорировать", "презирать". Такое ощущение будто автор из 2010-х годов
Формулы объясняют то, что происходит в программном коде. Код, кстати, тоже есть в статье. И то и другое - для интересующихся как и я, кто хочет разобраться в деталях и докопаться до самой сути происходящего "под капотом", но я никак не осуждаю "поверхностных" читателей, я всем рад! А два-три определения - это упрощение ассоциаций для тех, кто сталкивается с этими определениями впервые или где-то уже видел, но не знал с чем связать. Понимаю, трудно угодить всем и сразу, но послесловие - это просто моё личное мнение, закопанное где-то глубоко под всеми этими формулами, бонус для дочитавших.
Для читателей, которые пришли из другой области ваши формулы ничего не объясняют. Метод обратного распространения ошибок это тема отдельной и не самой простой для понимания статьи. Я не критикую, мне статья в целом понравилась. Просто предлагаю посмотреть на эти формулы со стороны читателя. К примеру, представьте, что вы наткнетесь на статью про магнитные поля для чайников, а автор впихнет в неё доказательство теоремы Гаусса - Остроградского
Спасибо автору. Появился новый смысл жизни - тестирование нейросети с экспериментальной структурой.
А то никак не мог понять, почему моя нейросетка иногда работает на порядок лучше среднего, иногда - но порядок хуже. И предсказать результаты ее работы никогда не мог. Оказывается, все дело в предустановленных настройках.
Тема статьи не соответствует содержанию. Статья уж точне не должна называться "Введение...".
В статье сборная солянка, если хотели написать статью в стиле "Введение в..." нужно было бы начать так:
1) Вероятностное моделирование, применение принцыпов статистики к анализу данных;
2) Логистическая регрессия;
3) Наивный байеесовский алгоритм;
4) Ядерные методы
5) Деревья решений;
6) Случайные леса;
7) Градиентный бустинг;
8) Нейронные сети;
9) Отличительные черты глубокого обучения
10) Современное инструменты в ML по информации с Kaggle, с 2016 года по 23
11) Глубокое обучение.
Описать одиннадцать пунктов не углубляясь в них. Тогда бы читателю стало понятно что и откуда взялось в мире DS и почему на данный момент используют DL в некоторых задачах.
У Вас сборная солянка сразу же из глубокого обучения собранная не из лучших источников.
Упоминания о "биологическом" мозге сразу напомнило мне о научпоп статьях, где можно встретить эти сравнения и упоминания. Действительно часть идеи общих взята, но вернее считать метод - математическим инструментом для изучения представления данных.
Вы пишите "Искусственная нейронная сеть — это реляционная база данных...". Тут надо поподробнее. Конкретно в scikit-learn хранятся в объектах, которые по принципу напоминают словари. Если вы имеете ввиду HDF - иерархический формат данных. Он реализован на многомерных массивах.
Не вводите в заблуждение новичков заголовком, куча не точностей технических. Потом кто-нибудь на собес придет с скажет "Нейронная сеть - это база данных".
Смотрите, не сядьте в лужу на собесе, когда кто-нибудь "на спор" покажет Вам базу данных, функционирующую как нейросеть :) кстати, в этой статье даже есть ссылка на демонстрацию таковой...
Тем не менее - благодарю за столь развёрнутый комментарий, составленный Вами список пунктов довольно точен и кому-то может быть полезен в качестве поисковых тегов.
Да - я вполне умышленно и не без труда упрощал эти неподъёмно сложные и абстрактные вещи до уровня статьи на грани "научпопа", которую мог бы понять человек, который только начинает знакомиться с темой. Естественно - много технических мелочей было таким образом опущено. Да - почти каждый пункт этой статьи можно дополнить, уточнить, расширить и усложнить всяческими неключевыми деталями. Вопрос лишь - зачем?) Вот тогда бы - действительно, содержание статьи не соответствовало бы названию "введение".
Что касается порядка подачи информации, который Вы назвали "соляночным" - тут уж прошу простить, но мне он кажется более логичным, чем у Вас. Я немало времени сортировал свои пункты перед публикацией и уверенно считаю их порядок оптимальным.
Основная задача функций активации - внести нелинейность. Приведение к необходимому диапазону - лишь дополнительная фича некоторых функций активации. И матричное умножение, и свёртка - линейные операции. Цепочка таких операций без функции активации эквивалентна какой-то одной линейной операции. Без функций активации модель не сможет представлять нелинейные зависимости в между классами.
Трактовка термина "реляционные базы данных", приведенная в начале (и по ссылке на телеграм) совершенно неправильная. Отношение в реляционных БД - это не "взаимосвязь", а абстрактное понятие с довольно длинным определением.
Введение в нейросети: что, зачем и как?