Comments 8
Прикольное "упрощенное руководство Как работает модель трансформера ". Оно так упрощено, что создается впечатление, что это алгоритм работы живого организма, а не программы на железе.
Может объясните, что такое на уровне железа или софта :
кодировщик
... учится понимать
... обращает внимание
....использует “Самовнимание”,
... смотрит на все слова в предложении одновременно
...захватывает их связи и зависимости.
... оценки внимания.
...захватывает значение и контекст.
Рекомендовал бы поискать на Хабре материалы, отвечающие на данные вопросы. Они есть.
Но зачем Вы это написали, если на хабре все это есть?
Если это перевод, то дайте ссылку на источник.
Если это по материалам, то это называется обзором.
Уточните, что же Вы написали?
Идея пришла после прочтения этого: https://www.ft.com/content/37bb01af-ee46-4483-982f-ef3921436a50. Далее доработки. Пост про историю и людей.
Теперь при упоминании слова трансформеры, я уже не ощущаю себя таким тупым. Спасибо за статью, прочел с интересом.
Вот интересное мнение о данной разработке источник комментарии к первоисточнику данного перевода: https://www.ft.com/content/37bb01af-ee46-4483-982f-ef3921436a50
Кажется, я наконец понял, почему финансисты так поражены ChatGPT и считают, что это свидетельствует об интеллекте: галлюцинирующие повествования из фрагментов разговоров и текстов - вот что у них общего.
Автоэнкодеры существуют уже довольно давно:
https://en.m.wikipedia.org/wiki/AutoencoderЧто сделали эти люди, так это создали оптимизированную реализацию автоэнкодера и использовали ее для создания генеративной модели. Они ни в коем случае не изобретали ее.
Я знал это еще до подтверждения в Википедии, потому что работал с специалистом по обработке данных, специализирующимся на ML, которая продолжала говорить о них ... в 2016-2017 годах. Она была умнее меня, поэтому я сделал все возможное, чтобы обратить внимание.
Эти умные люди внесли конкретные, постепенные улучшения в существующие технологии, а затем воспользовались маркетинговой шумихой, чтобы привлечь венчурных инвесторов и разбогатеть, независимо от того, создали ли они на самом деле действительно полезные и получившие широкое распространение продукты.
Такова история, и это история Силиконовой долины, а не Google. Если бы они создали эту модель самостоятельно, без участия Google в конференциях, они были бы умными постдоками, ищущими стабильную работу.
---------------------
Предлагаю Всем желающим сравнить определение автоэнкодера с определением трансформера:
Автоэнкодер - это тип искусственной нейронной сети, используемой для изучения эффективных кодировок немаркированных данных (неконтролируемое обучение).[1][2] Автоэнкодер выполняет две функции: функцию кодирования, которая преобразует входные данные, и функцию декодирования, которая воссоздает входные данные из закодированного представления. Автоэнкодер изучает эффективное представление (кодирование) набора данных, обычно для уменьшения размерности.
Существуют варианты, направленные на то, чтобы заставить изученные представления приобретать полезные свойства.[3] Примерами являются регуляризованные автоэнкодеры (разреженные, шумоподавляющие и сокращающие), которые эффективны при изучении представлений для последующих задач классификации,[4] и вариационные автоэнкодеры с приложениями в качестве генеративных моделей.[5] Автоэнкодеры применяются для решения многих задач, включая распознавание лиц,[6] обнаружение признаков,[7] обнаружение аномалий и получение значения слов.[8][9] Автоэнкодеры также являются генеративными моделями, которые могут случайным образом генерировать новые данные, аналогичные входным данным (обучающим данным).[7]
Как изобрели современный искусственный интеллект. История изнутри