Pull to refresh
0
0
Send message

Transformer — новая архитектура нейросетей для работы с последовательностями

Reading time7 min
Views83K

Необходимое предисловие: я решил попробовать современный формат несения света в массы и пробую стримить на YouTube про deep learning.


В частности, в какой-то момент меня попросили рассказать про attention, а для этого нужно рассказать и про машинный перевод, и про sequence to sequence, и про применение к картинкам, итд итп. В итоге получился вот такой стрим на час:



Я так понял по другим постам, что c видео принято постить его транскрипт. Давайте я лучше вместо этого расскажу про то, чего в видео нет — про новую архитектуру нейросетей для работы с последовательностями, основанную на attention. А если нужен будет дополнительный бэкграунд про машинный перевод, текущие подходы, откуда вообще взялся attention, итд итп, вы посмотрите видео, хорошо?


Новая архитектура называется Transformer, была разработана в Гугле, описана в статье Attention Is All You Need (arxiv) и про нее есть пост на Google Research Blog (не очень детальный, зато с картинками).


Поехали.

Читать дальше →
Total votes 64: ↑61 and ↓3+58
Comments7

Что наука знает о красоте: 13 научных исследований для создания привлекательного персонажа

Level of difficultyMedium
Reading time11 min
Views22K


Я загуглила топ-10 самых красивых персонажей компьютерных игр всех времен, узнала об эволюции женских персонажей в играх, а очнулась, когда дочитывала 20-е научное исследование о человеческой красоте. Теперь я знаю, что

  • красивые женщины нравятся не только взрослым мужчинам, но и младенцам;
  • для красоты лица важна симметрия;
  • оранжевые мужчины более привлекательны;
  • важен не размер женских бедер, а угол в пояснице;
  • у Лары Крофт фигура нормальной англичанки.

Мне захотелось посмотреть, где в играх уже применяют выводы из исследований, что я вычитала. Ниже ссылки на 13 исследований о человеческой красоте и привлекательности с примерами из игр.

Я веду ламповый Telegram-канал GameDEVils и блог на Substack . Заглядывайте в гости, я делюсь там материалами про геймдизайн, разработку и историю игр ^__^

Красота биологически важна для человека


И если бы меня попросили назвать только одно «почему», которое чаще всего называют ученые, то после чтения пары десятков исследований, я бы сказала: «красивое» — скорее всего здоровое.
Читать дальше →
Total votes 68: ↑63 and ↓5+79
Comments67

Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе

Level of difficultyEasy
Reading time21 min
Views56K

История про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться – есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?

Читать далее
Total votes 107: ↑95 and ↓12+105
Comments174

Генеративный ИИ — это просто «замыленный JPEG интернета», который убедительно косит под интеллект

Reading time12 min
Views43K

ИИ чат‑боты любят ловить глюки и выдавать всякую чушь. Так массово, что словом 2023 года признали «галлюционировать». В чем причина такого явления? Является ли генеративный ИИ интеллектом (спойлер — и да, и нет)? И что общего у ChatGPT и копировального аппарата Xerox? Разбираемся, осмысляя неочевидный нюанс в логике работы больших языковых моделей.

Читать далее
Total votes 73: ↑70 and ↓3+81
Comments216

Главное событие в мире AI: создатель ChatGPT рассказал, в какое будущее он нас всех ведет

Level of difficultyEasy
Reading time25 min
Views96K

В этой статье мы расскажем вам про самые важные фичи, внедренные за последние полгода в ChatGPT (самую мощную нейросетку в мире), а также обсудим – каким видением будущего поделился Сэм Альтман на прошедшей 7 ноября конференции от OpenAI. Спойлер: они хотят запилить «агентов Смитов», которые смогут самостоятельно взаимодействовать с миром!

Это мы читаем →
Total votes 91: ↑81 and ↓10+94
Comments104

Эрозия принципа фальсифицируемости, или невидимые единороги атакуют

Level of difficultyMedium
Reading time7 min
Views8.4K

Критерий фальсифицируемости Поппера долго верой и правдой служил физикам (он служил физике задолго до того, как был явно сформулирован в 1934 году). Этот принцип избавлял физику от невидимых розовых единорогов, которые летают повсюду, но никак не наблюдаемы. Однако по мере развития науки и движения в сторону общей теории всего приходится поступаться принципами. Или нет? Давайте рассмотрим случаи, когда этот принцип ставится под вопрос.

Читать далее
Total votes 28: ↑26 and ↓2+32
Comments108

Трансформация сферы разработки Программного Обеспечения под влиянием Искусственного Интеллекта (AI)

Level of difficultyMedium
Reading time14 min
Views2.3K

Данная статья посвящена новым трансформации и возможностям в сфере разработки программного обеспечения под влиянием Искусственного Интеллекта (ИИ). Развитие Искусственного Интеллекта является предметом любопытства, пристального внимания и даже беспокойства для технологической отрасли, особенно с точки зрения неопределенности будущего разработки программного обеспечения и обеспечения качества (QA). Несмотря на то, что ИИ, безусловно, меняет технологическую среду, важно понимать, что он не приведет к уничтожению профессии или рабочих мест в области программного обеспечения, а вместо этого приведет к видоизменению. В данной статье предлагается обзор того, чего стоит ожидать в эпоху искусственного интеллекта разработчикам программного обеспечения и специалистам по контролю качества:

Читать далее
Total votes 5: ↑2 and ↓3+1
Comments5

Топ 10 deepnude нейросетей 2023 года

Reading time5 min
Views578K

DeepNude — это технология, использующая нейросети для создания изображений обнаженных тел на основе одетых фотографий или видео. Суть этой технологии заключается в том, чтобы "снять" одежду с изображения человека с помощью искусственного интеллекта и показать, как, предположительно, выглядит тело человека под одеждой.

Итак, в данной статье поговорим о пикантных и для некоторых людей непристойных темах, которые больше всего интересуют наше общество - обнаженное тело. Сделаем обзор таких сервисов как: Deepnude.ai, Deepfake.com, DeepSwap.ai, SoulGen и прочих.

Читать далее
Total votes 87: ↑73 and ↓14+85
Comments68

Почему NFT умер, а крипта — нет

Reading time12 min
Views14K

После того, как пузырь NFT сдулся и с треском лопнул, пора поговорить о том, что это было. Тем более, что попытки «раскопать стюардессу» во многих местах не прекращаются. Но, в отличие от Биткоина и криптопроектов вообще, однажды сдувшись, NFT уже вряд ли вернётся.

Самым ярким примером, на котором можно объяснить «что это было», является NFT Джека Дорси, основателя «Твиттера», который выпустил NFT в честь первого твита в истории, которым был его твит 2006 года. Он заскриншотил свой твит в декабре 2020, и вскоре его выкупили у него за $2,9 миллионов. Медиа тут же преподнесли это как «Джек Дорси продал свой первый твит!» Ах, если бы это было так. И покупатель, вероятно, рассчитывал, что сможет перепродать «первый твит в истории» намного дороже — но, в итоге, в следующий раз этот NFT попал в новости после эпичного обвала (скажем прямо — лопнувшего пузыря) NFT в апреле 2020, когда обнаружилось, что никто не хочет предлагать за него более $280 — одну десятитысячную, процент от процента — исходной цены. 

Текущий оффер за этот твит на OpenSea — около $700. Вряд ли кто-то в своём уме захочет платить за этот NFT даже 10% от его исходной цены, за исключением одного вероятного сценария, о котором я напишу позже. Но пока разберём, что вообще такое NFT и что на этом примере непосвященному (или обманутому) человеку можно о них понять. На самом деле — практически всё необходимое.

Что продаётся?

Продажа NFT первого твита Джека Дорси не означает и не могла означать продажу первого твита Джека Дорси. Твит остаётся в его Твиттере, чтобы что-то с ним сделать — нужно иметь доступ к аккаунту Дорси или же бэкенду Твиттера. Даже с доступом к аккаунту сделать с ним ничего, в общем-то, не получится, кроме как удалить — другого функционала в отношении управления старыми твитами Twitter не предлагает. 

Читать далее
Total votes 25: ↑15 and ↓10+10
Comments54

Живые существа, питающиеся пластиком

Reading time11 min
Views13K

Пасмурным весенним утром 2012 г. Федерика Бертоккини ухаживала за пчёлами недалеко от своего дома в Сантандере, на живописном северном побережье Испании. «В одной из сот завелись черви», — рассказывает пасечник-любитель, имея в виду назойливых личинок восковой моли, которые обладают прожорливым и разрушительным аппетитом.

Бертоккини собрала червей, положила их в полиэтиленовый пакет и продолжила заниматься своими пчелиными делами. Когда через несколько часов она достала пакет, то заметила нечто странное: он был полон крошечных отверстий.

Учёная заинтересовалась. Голодные черви просто прогрызли пластик, или изменили его химический состав? Быстрые анализы, проведённые в её лаборатории, с удивлением подтвердили последнее: что-то в слюне червей разлагало пластик. «С этого момента и начались исследования», — говорит Бертоккини, биолог, занимающаяся вопросами развития, ранее работавшая в Национальном исследовательском совете Испании.

Читать далее
Total votes 23: ↑22 and ↓1+33
Comments47

Правда ли, что при расширении Вселенной энергия не сохраняется?

Level of difficultyMedium
Reading time10 min
Views16K

Расширение Вселенной — это увеличение со временем расстояния между гравитационно несвязанными частями наблюдаемой Вселенной (галактиками и их скоплениями). Сложно представить, но Вселенная не расширяется «во что-либо», и «вокруг неё» не обязательно должно существовать какое-то «дополнительное» пространство – вся Вселенная просто становится больше.

Любому наблюдателю из любой части Вселенной покажется, что все галактики, кроме ближайших друг к другу (связанных гравитацией), удаляются со скоростями, в среднем пропорциональными их расстоянию от наблюдателя. Хотя объекты не могут двигаться быстрее света, это ограничение действует только для локальных систем отсчёта и не ограничивает скорости рецессии космологически удалённых объектов – в данном случае между ними появляется дополнительное пространство.

Космическое расширение является ключевой характеристикой космологии Большого взрыва. Математически оно может быть смоделировано с помощью метрики Фридмана-Леметра-Робертсона-Уокера, где оно соответствует увеличению масштаба пространственной части метрики пространства-времени Вселенной (которая определяет размер и геометрию пространства-времени). В этих рамках стационарные объекты со временем разбегаются друг от друга, поскольку пространство расширяется. Это представить ещё сложнее, но в рамках этой метрики можно принять эквивалентное расширению Вселенной описание, при котором пространство не расширяется, а объекты просто раздвигаются друг от друга.
Читать дальше →
Total votes 40: ↑39 and ↓1+58
Comments48

Гипотеза Пойи — один из самых ярких примеров того, что в математике «верить на слово» нельзя

Level of difficultyEasy
Reading time5 min
Views64K

Сегодня я расскажу Вам очень показательную историю про одну математическую гипотезу. Она станет ярким примером того, как в математике прерываются, казалось бы, явные закономерности, и что любое предположение в этой науке нуждается в строгом доказательстве, даже если оно проверено для всех чисел, которые только могут поместиться в память суперкомпьютера.

Читать далее
Total votes 98: ↑95 and ↓3+119
Comments87

Капибара, Новый Старый Пикабу

Reading time8 min
Views72K

Пикабу долгое время было уютным уголком для обмена историями, опытом, творчеством, мнениями и эмоциями. Однако ряд нововведений, таких как отмена баянометра, изменение алгоритмов и скрытие отрицательных оценок, привели к потере духа оригинального портала. Многие из нас, пришедшие туда в молодости и теперь ставшие взрослыми, почувствовали, что наши ценности и мнения игнорируются. В ответ на это, мы, группа энтузиастов, создали "Капибару" – проект, который стремится сохранить лучшие стороны Пикабу, предоставляя пространство где пользователи сами решают какой контент "годный" и какой контент хотят видеть в своей ленте.

Читать далее
Total votes 146: ↑139 and ↓7+166
Comments225

Как появился миф про визуалов, аудиалов и кинестетиков, и почему модель доминирующего стиля обучения вредна для человека

Level of difficultyEasy
Reading time7 min
Views11K

Пока педагоги бьют в колокол, опасаясь, что ChatGPT порушит систему образования, они сами ломают её изнутри популярным нейромифом о доминирующем стиле обучения. 

Опросник Высшей школы экономики показал: 80% преподавателей вузов верят, что студентов можно разделить на визуалов, аудиалов, вербалов и кинестетиков. Более широкое международное исследование говорит: 89,1% педагогов считают, что люди учатся лучше, когда получают информацию в «своём стиле обучения».

Читать далее
Total votes 21: ↑20 and ↓1+28
Comments13

Сбер открывает доступ к нейросетевой модели ruGPT-3.5

Level of difficultyEasy
Reading time3 min
Views44K

? Upd. Добавили пример запуска в Colab'е.

Друзья, свершилось. Сегодня мы рады сообщить вам о релизе в открытый доступ нейросетевой модели, которая лежит в основе сервиса GigaChat.

Про то, что такое GigaChat и как мы его обучаем, вы можете прочитать в нашей предыдущей статье. Скажу лишь, что главной его частью, ядром, порождающим креативный ответ на ваш запрос, является языковая модель обученная на огромном количестве разнообразных текстов — сотен тысяч книг, статей, программного кода и т.д. Эта часть (pretrain) затем дообучается на инструкциях, чтобы лучше соответствовать заданной форме ответа. Обучение такого претрейна занимает около 99% от всего цикла обучения и требует значительного количества ресурсов, которыми обычно обладают только крупные компании.

Этот претрейн, названный ruGPT-3.5, мы выкладываем на Hugging Face под лицензией MIT, которая является открытой и позволяет использовать модель в коммерческих целях. Поговорим о модели подробнее.

Читать далее
Total votes 86: ↑82 and ↓4+95
Comments100

Cocos Creator — отличная альтернатива Unity, о которой вы, возможно, ещё не слышали

Level of difficultyEasy
Reading time6 min
Views26K

Если ты решил начать делать игры под Яндекс Игры, но Unity и другие движки тебя не устраивают — билды много весят, долгие загрузки и другие проблемы — то эта статья для тебя.

Читать далее
Total votes 27: ↑22 and ↓5+22
Comments48

Пожалуйста, остановите игрострой

Level of difficultyEasy
Reading time8 min
Views66K

Я играл в компьютерные игры с 1995 года. И хотя в детстве я не раз засиживался за Civilization или TTD, я не могу считать себя заядлым геймером. За последние десять лет большую часть редкого игрового времени я потратил на Factorio. Более того, я закончил несколько франшиз, чисто для галочки.

И я пришёл к выводу, что этот ваш игрострой — это полное безумие. Причём, уже конкретно поднадоевшее. У безумия есть одно очень интересное определение — всё что угодно в чрезмерном количестве. И я вам могу доказать, что все эти ваши игры превращаются в чистое извращение.

Читать далее
Total votes 151: ↑107 and ↓44+96
Comments329

Превратится ли Земля в планету Торманс?

Reading time21 min
Views17K

Это статья о незаурядном человеке — учёном и писателе Иване Антоновиче Ефремове и его грандиозном социально‑философском произведении — романе «Час Быка». Произведении уникальном, аналогов которому не было в мировой литературе. Произведении, актуальность которого пугающим образом растёт с каждым годом. И это — статья о том, как мы решили взяться за экранизацию «Часа Быка» с использованием современных программных средств визуализации.

Читать далее
Total votes 51: ↑45 and ↓6+52
Comments154

Созданы ли люди для конфликтов?

Reading time10 min
Views32K

Военный танец племени Оббо

Если вы жили на планете последний год, наверное, вас тянет сходу сказать «да». Эволюция. Выживание сильнейших! Даже неандертальцев на планете мы не оставили, потому что они были слишком непохожими на нас.


А самые начитанные из нас могут вспомнить, как об этом отлично рассказывает знаменитая книга «Повелитель мух», выигравшая Нобелевскую премию и все возможные награды. Она была написана в 1954 году, вскоре после Второй мировой. О том, как на острове случайно оказываются шесть обычных благовоспитанных мальчиков, и, лишившись надзора со стороны общества, постепенно начинают бороться друг с другом за ресурсы и власть, в конце концов скатываясь до своих примитивных, животных инстинктов. Книга напоминает нам, как легко мы можем превратиться в дикарей, и насколько он на самом деле тонкий, этот налёт цивилизации.


Культовый роман изображает людей эгоистичными по своей природе и склонными к конфликтам. Выглядит очень правдоподобно: действительно, чем бы ещё стали заниматься мальчики одни на необитаемом острове? Но дело в том, что есть единственный достоверно известный случай, когда это реально произошло, и история пошла в совершенно другом направлении.

Читать дальше →
Total votes 117: ↑111 and ↓6+132
Comments524

SD – это Linux, а Midjourney – Mac: краткое полное руководство по Stable Diffusion

Reading time13 min
Views77K
Вот таких тирекс-тянок выдает нейросеть

Текст про Midjourney привлек внимание, и в комментариях наметилась дискуссия про Stable Diffusion. Аргументы убедили меня попробовать SD самостоятельно, но вскоре я понял, что это не самая простая задача. Сообщество любителей Stable Diffusion произвело на свет множество удобных инструментов, которые своим количеством и сложностью могут отпугнуть новичков.

Всю неделю, что я экспериментировал с нейросетью, я боролся с желанием SD добавлять вторичные гендерные признаки по моим запросам и грустил, смотря на результаты генерации котиков. О своих страданиях частично писал в личном Telegram-канале — подписывайтесь! В этом же тексте — собрал основные советы по работе со Stable Diffusion и подвел итог, сравнив эту нейросеть с Midjourney.
Читать дальше →
Total votes 84: ↑83 and ↓1+104
Comments53
1
23 ...

Information

Rating
Does not participate
Registered
Activity