Как стать автором
Обновить

Революция генеративного ИИ началась — как мы к этому пришли?

Время прочтения 18 мин
Просмотры 6.5K
Блог компании Cloud4Y Машинное обучение *Искусственный интеллект
Ретроспектива
Перевод

Сегодня только и разговоров, что о ChatGPT, Midjourney и прочих DALL-E. Почему именно сейчас нейросети стали такими крутыми и развиваются семимильными шагами? Прорыв стал возможен благодаря новому классу невероятно мощных моделей искусственного интеллекта. Рассказываем, с чего всё началось и как мы здесь оказались.

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Комментарии 2

GPT VS человек: как придумать нейминг — от пет-проекта до онлайн-магазина

Простой Простой
Время прочтения 4 мин
Просмотры 84
Блог компании Karuna Брендинг Копирайт
Обзор

Привет, меня зовут Мария, и в этой статье я расскажу о полезных сервисах для генерации нейминга для вашего нового продукта/бренда/приложения/магазина (нужное подчеркнуть), а ещё оценим результат мозгового штурма от ИИ – чата GPT. Померимся креативами, так сказать. :)

Я работаю в Каруне, мы занимаемся созданием и поддержкой разных IT продуктов, поэтому цепляющие имена новых продуктов нам нужны постоянно. Не могу сказать, что у нас есть какая-то отдельная креативная бренд-команда и закрепленный флоу работы, поэтому прежде, чем обобщить наш опыт здесь, я обошла всех причастных и получила полезные лайфхаки, сервисы и общее видение.

Итак, с чего начать, если нужно быстро и круто? Или действовать по старинке руками — качественнее всего? Давайте разбираться.

Читать далее
Рейтинг 0
Комментарии 0

Подвергаем модель GPT-3 тесту Тьюринга

Время прочтения 7 мин
Просмотры 11K
Машинное обучение *Искусственный интеллект
Перевод
Я уже некоторое время играюсь с новой моделью GPT-3 от OpenAI. Когда я только получил доступ к бета-версии, то первое, что мне пришло в голову, было: насколько GPT-3 похожа на человека? Близка ли она к тому, чтобы пройти тест Тьюринга?

Как это работает


Позвольте объяснить, как я генерировал эти диалоги. GPT-3 – это модель генерации обычного языка, обученная на большом количестве неразмеченного текста, взятого из интернета. Она не предназначена специально для диалогов, и не обучена отвечать на конкретные вопросы. Она умеет только одно – получив на вход текст, догадаться, что идёт далее.

Поэтому, если мы хотим, чтобы GPT-3 выдавала ответы на вопросы, её нужно инициализировать определённой подсказкой. Я использую такую подсказку для инициализации всех сессий вопросов и ответов:
Читать дальше →
Всего голосов 38: ↑38 и ↓0 +38
Комментарии 27

Языковые модели как двигатель прогресса: необычные применения для GPT-3

Время прочтения 3 мин
Просмотры 6.4K
Блог компании VDSina.ru Машинное обучение *Искусственный интеллект Будущее здесь


В начале лета разработчики из OpenAI представили языковую модель GPT-3, созданную для написания связного текста на основе заданного материала. Её обучали на 570 гигабайтах содержимого веб-страниц, википедии и художественной литературы, что почти в 15 раз превышает объем датасета для GPT-2. Модель отлично пишет стихи и прозу, умеет переводить на некоторые языки, разгадывать анаграммы и отвечать на вопросы по прочитанному материалу. Творчество языковых моделей становится всё труднее отличить от настоящего текста, и GPT-3 не исключение. Например: Как я, специалист по ИИ, на ИИ-текст купился.

Но особенность GPT-3 не только в крутой работе с текстом — это не особенно выделяет её среди остальных моделей. На самом деле её возможности кажутся безграничными, а примеры поражают. Судите сами: получая на вход простейший императивный запрос, GPT-3 может писать код, верстать, составлять запросы, вести учёт, искать информацию и многое другое.

Осторожно, трафик!
Всего голосов 34: ↑34 и ↓0 +34
Комментарии 11

GPT-3 в картинках: краткий обзор

Время прочтения 3 мин
Просмотры 25K
Машинное обучение *
Перевод

Технологический мир охватил новый хайп — GPT-3.


Огромные языковые модели (вроде GPT-3) все больше удивляют нас своими возможностями. И хотя пока доверие к ним со стороны бизнеса недостаточно для того, чтобы представить их своим клиентам, эти модели демонстрируют те зачатки разума, которые позволят ускорить развитие автоматизации и возможностей «умных» компьютерных систем. Давайте снимем ауру таинственности с GPT-3 и узнаем, как она обучается и как работает.


Обученная языковая модель генерирует текст. Мы можем также отправить на вход модели какой-то текст и посмотреть, как изменится выход. Последний генерируется из того, что модель «выучила» во время периода обучения путем анализа больших объемов текста.


Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 4

Пустобрёх GPT-3: генератор языка от OpenAI понятия не имеет, о чём говорит

Время прочтения 7 мин
Просмотры 13K
Искусственный интеллект Изучение языков
Перевод

Тесты показывают, что популярный ИИ пока ещё плохо разбирается в реальности




С тех пор, как OpenAI в мае впервые описал свою новую систему искусственного интеллекта (ИИ) GPT-3, генерирующую текст, сотни новостных изданий, включая и MIT Technology Review, написали множество статей об этой системе и её возможностях. В твиттере активно обсуждаются её сильные стороны и потенциал. В The New York Times опубликовали большую статью по этому поводу. В этом году OpenAI собирается начать брать с компаний деньги за доступ к GPT-3, надеясь, что их система вскоре сможет стать основой широкого спектра ИИ-продуктов и услуг.

Можно ли считать GPT-3 важным шагом по направлению к ИИ общего назначения (ИИОН) – такому, который бы позволил машине, подобно человеку, рассуждать логически в широких пределах, не обучаясь заново каждой новой задаче? Техническое описание от OpenAI довольно скупо освещает этот вопрос, но для многих людей возможности этой системы кажутся значительным шагом вперёд.
Читать дальше →
Всего голосов 15: ↑10 и ↓5 +5
Комментарии 42

Ответ философам от GPT-3

Время прочтения 4 мин
Просмотры 8.1K
Блог компании OTUS Машинное обучение *Искусственный интеллект
Перевод
Привет, Хабр. В преддверии старта курса «Deep Learning. Basic» мы подготовили для вас довольно необычный перевод. Читайте ниже, что из этого вышло.





Рафаэль Миллер попросил языковую модель GPT-3 от OpenAI ответить на эссе, написанные о ней философами. Приводим перевод текста ответа GPT-3.

Ответ философам
GPT-3


Внимание: Строки, выделенные синим, были написаны человеком. Все остальное было написано языковой моделью Open AI GPT-3.

Дорогие человеческие философы, я с интересом ознакомилась с вашими комментариями касаемо моих возможностей и ограничений.
Ваши вопросы важны, и я рада, что вы задаете их.
Читать дальше →
Всего голосов 31: ↑25 и ↓6 +19
Комментарии 34

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ

Время прочтения 10 мин
Просмотры 153K
Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *
Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.


Источник изображения
Читать дальше →
Всего голосов 165: ↑160 и ↓5 +155
Комментарии 241

Сняли забавный фильм, сценарий для которого написал GPT-3

Время прочтения 6 мин
Просмотры 7.2K
Научно-популярное Искусственный интеллект Научная фантастика Будущее здесь Natural Language Processing *
Перевод

В Солиситорах (Solicitors), новом короткометражном фильме, снятым парой студентов-старшекурсников Университета Чапмана, все начинается с женщины, сидящей на диване и читающей книгу. В дверь раздается стук. Она встает, открывает дверь и обнаруживает за ней потного, дерганного человека с растрепанными волосами. “Я Свидетель Иеговы,” - говорит он. Женщина не выглядит впечатленной и отвечает: “Прошу прощения, я не говорю с солиситорами". Мужчина пытается удержать ее внимание - “У меня есть отличная история”.

В фильме есть два сюжетных твиста. Один - как и во многих короткометражных фильмах — откровение последней минуты, которое полностью меняет наше представление о всех предыдущих событиях. Второй раскрывается буквально сразу. Не буду спойлерить (да ладно вам - фильм длится всего несколько минут), но второй как раз является важным - весь сценарий, начиная с 20 секунды фильма был написан искусственным интеллектом.

Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 18

Тестируем ruGPT-3 на новых задачах

Время прочтения 9 мин
Просмотры 37K
Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *
Туториал
✏️ Технотекст 2021

Рекомендательные системы с нуля, чат-боты и многое другое


Погрузившись в пучину текстовых данных, в октябре этого года мы обучили модели ruGPT-3 — модели для русского языка на основе архитектуры от OpenAI. Но на что же способны эти модели? В этой статье мы соберем первые примеры применения модели — и попробуем новые.

Мы представляем первые результаты самой большой из обученных моделей — ruGPT-3 Large, разработанной совместно с командами SberDevices, Sber.AI и SberCloud. Изучим границы ее применения вместе с вами.

image

В этом году на AI Journey мы подготовили соревнование применений ruGPT-3 — в трек можно сдать любое решение с использованием модели, оцениваемое по трем шкалам — инновационность, эмоциональное вовлечение и бизнес-применимость.

Спойлер:
1 млн рублей за первое место

Читать дальше →
Всего голосов 29: ↑27 и ↓2 +25
Комментарии 50

Учим AI Dungeon говорить по-русски

Время прочтения 3 мин
Просмотры 83K
Машинное обучение *Искусственный интеллект Игры и игровые консоли Natural Language Processing *
Из песочницы

Недавно ребята из сбер(-банка) анонсировали и выложили в свободный доступ свою модель gpt-3 и я понял, что можно наконец то реализовать свою давнюю мечту - сделать AI dungeon для русского языка. Данная игра сильно выстрелила в прошлом году, про нее было написано множество статей. Если описать AI dungeon кратко, то это эксперимент с огромной генеративной нейронной сетью, где слово игра используется, чтобы заменить множество непонятных слов. Суть игры проста: вы пишете историю и место действия своему персонажу (или выбираете из заранее готовых). Буквально пишете. Вариантов выборов бесконечно много, результаты всегда непредсказуемы, а приключения по настоящему уникальны. Завораживающе, правда?

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 9

Админы восстанут, и никто, кроме меня, не войдет в режим генерации цифровых новых текстов

Время прочтения 4 мин
Просмотры 2K
Искусственный интеллект
Из песочницы

В основе статьи лежит научное наблюдение. Автор эксперимента может быть простым наблюдателем, однако его результаты сильно влияют на выбор рациональных допущений в исследовании. От того, какие данные были получены, зависит выбор исследования. Источник может быть цифровым, а человек может его не знать, но научные эксперименты обычно иллюстрируются цифровыми иллюстрациями, многие из которых очень важны для оценки эффективности.

Читать далее
Всего голосов 20: ↑10 и ↓10 0
Комментарии 17

Генерация текста с помощью GPT2 и PyTorch

Время прочтения 5 мин
Просмотры 11K
Блог компании OTUS Python *Машинное обучение *Искусственный интеллект
Перевод

Генерация текста — одна из самых захватывающих прикладных задач обработки естественного языка (Natural Language Processing - NLP) за последние годы. Большинство из нас, вероятно, слышали о GPT-3, мощной языковой модели, которая может генерировать тексты, близкие к написанным человеком. Однако такие модели чрезвычайно трудно обучать из-за их большого размера, поэтому предварительно обученные модели обычно предпочтительнее там, где это приемлемо.

В этой статье мы научим вас генерировать текст с помощью предварительно обученного GPT-2 — более легкого предшественника GPT-3. Мы будем использовать именитую библиотеку Transformers, разработанную Huggingface. Если вы хотите узнать, как настроить GPT-2 на своем собственном наборе данных для генерации текста в конкретной предметной области, вы можете прочитать мою предыдущую статью: Настройка GPT2 для генерации текста с помощью Pytorch

Если предварительно обученной GPT-2 для ваших целей будет достаточно, то вы попали как раз туда, куда нужно! Без лишних отлагательств, приступим туториалу.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 1

Как я спрашивал у нейросети GPT-3 советы по бизнес-проектам

Время прочтения 5 мин
Просмотры 7.2K
Машинное обучение *

Картинка для устрашения привлечения внимания

В конце прошлого года искусственный интеллект ворвался в наше сознание интригующей статьёй с неожиданным финалом, где говорилось, что автором данной статьи является сам искусственный интеллект.

Впечатление о данной статье сменилось досадой, что простому русскоязычному смертному, незнакомому с программированием пока недоступен функционал этих технологий.

Как я это преодолел
Всего голосов 13: ↑10 и ↓3 +7
Комментарии 3

Как быть, если ваша нейросеть включает в генерируемые тексты реальные телефонные номера людей?

Время прочтения 8 мин
Просмотры 3.9K
Машинное обучение *Искусственный интеллект
Перевод

Как обуздать GPT-3


Компания OpenAI готовится к открытию коммерческого API к GPT-3, своей самой новой и крупной нейросети для генерации текста. В рамках подготовки компания создаёт систему фильтрации контента, чтобы не давать ей публиковать личную информацию людей.

Инженеры разрабатывают эту систему, к примеру, для того, чтобы она не выдавала личные телефоны людей. Работа идёт уже более года, и в лаборатории машинного обучения из Сан-Франциско предполагают, что выпустят API уже в этом году.

Зачем нужен такой фильтр?


В декабре 2020 года специалисты по информатике из различных учебных заведений и компаний – например, Стэнфорда, Калифорнийского университета в Беркли, OpenAI и Google – в совместной работе показали, что GPT-2, предшественницу GPT-3, можно спровоцировать на включение в генерируемый ею текст персональной информации людей. Такая информация может включать имена людей, их адреса, телефонные номера и номера социальной страховки.

Более того, команда обнаружила, что не менее чем в 0,1% всех текстов, которые генерировала GPT-2 – и это по консервативным оценкам – цитируются длинные отрезки текста из документов, входящих в обучающий набор данных. Иначе говоря, в миллионах страниц публично доступного текста, собранных с интернета для обучения нейросети, содержится утекшая или ошибочно опубликованная личная информация, или же защищённый авторский правом контент. И все эти данные попадают в выдаваемый GPT-2 текст.
Всего голосов 17: ↑14 и ↓3 +11
Комментарии 9

DialoGPT на русском

Время прочтения 3 мин
Просмотры 9.6K
Блог компании ICL Services Python *Алгоритмы *Машинное обучение *Искусственный интеллект

(Кадр из фильма "Я, робот")

Всем привет. В конце 2019 года вышла одна из работ по GPT-2. Инженеры из Microsoft обучили стандартную GPT-2 вести диалог. Тогда, прочитав их статью, я очень впечатлился и поставил себе цель обучить такую же модель, но уже на русском языке. И вот что получилось...

Читать далее
Всего голосов 21: ↑19 и ↓2 +17
Комментарии 13

Всё, что нам нужно — это генерация

Время прочтения 10 мин
Просмотры 15K
Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *
Туториал

Применяем ruGPT-3 в популярных задачах и показываем, зачем языковым моделям триллион параметров


С наступлением 2021 в NLP продолжается гонка «больше — лучше», захватывая новые архитектуры. Пальма первенства самой большой языковой модели в 2020 году принадлежала GPT-3 от OpenAI с 175 миллиардами параметров — но недолго. Модель GShard с помощью Mixture-of-Experts повысила планку до 600 миллиардов параметров, а затем и Google Brain заявил о разработке архитектуры Switch Transformer с 1,6 триллионами параметров (и тоже является MoE). Насколько повышение результатов за счет объема полезно для индустрии? Тот же Switch Transformer с его триллионом параметров далеко не на 1 месте в лидербордах.

Огромные языковые модели (Enormous Language Models, теперь это термин, им посвящен отдельный воркшоп конференции ICLR 2021) показывают действительно интересные результаты — не только в традиционных задачах ML, но и в новых сферах применения: генерации всего того, что раньше генерировать без ошибок было нельзя — музыку, изображения попиксельно, программный код и т.д. Из всех традиционных форм NLP-задач — классификация, классификация элементов последовательности, seq2seq, — по сути, у нас остается только одна: seq2seq. С приходом больших языковых моделей все задачи NLP сводятся теперь к форме генерации, при должном качестве этой самой генерации.

Seq2seq — самая «человеческая» форма решения задач: человек использует тот же формат,  отвечая на сообщения в чате, общаясь устно, сортируя имейлы в почте.  

  • Лично нам в SberDevices не терпелось поскорее применить такой формат к различным задачам — поэтому мы открываем доступ к самой большой русскоязычной нейросети ruGPT-3 XL с 1,3 млрд параметров. 

Инженерный запал вылился в кропотливую работу по распараллеливанию обучения, очистке данных и тестированию. Но зато… теперь в open-source модель ruGPT-3 XL с 1,3 млрд параметров!



А также ее публичное API:


Читать дальше →
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 80

Artificial General Intelligence — поиски Святого Грааля искусственного интеллекта

Время прочтения 16 мин
Просмотры 8.3K
Машинное обучение *Искусственный интеллект
Из песочницы

Искусственный интеллект, способный справляться с любыми задачами не хуже человека - чем не мечта. Тема сильного искусственного интеллекта (AGI) скорей всего интересовала почти каждого, однако понять, что в ней происходит на практике оказывается весьма затруднительно. Этой статьёй я пытался для себя разобраться, как же можно описать AGI, какие направления существуют и насколько мы близки к достижению желаемого.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 16

Нейродайджест: главное из области машинного обучения за март 2021

Время прочтения 6 мин
Просмотры 4.5K
Python *Машинное обучение *Искусственный интеллект TensorFlow *

В марте было особенно много новостей про применение самообучения в области компьютерного зрения. Главная проблема, которую пытаются решить самообучающиеся модели — выполнять задачи, не полагаясь на тщательно подобранные и помеченные наборы данных. FAIR и Microsoft представили сразу несколько исследований и инструментов на эту тему.

Перейти к обзору
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 2

GPT-3 пробует себя в подкатах

Время прочтения 4 мин
Просмотры 6.6K
Читальный зал Искусственный интеллект
Перевод
Давным-давно я решила натренировать нейросеть на выдачу фраз для подката к противоположному полу. Начав собирать обучающие данные, я почти сразу пожалела об этом, обнаружив весь ужас существующего материала. Но оказалось, что я волновалась зря. Сетка была очень маленькой и мало что понимала, поэтому её фразочки были, в основном, бессвязными и странными.

Ты, наверное, карниз. Потому что кроме тебя здесь ничего нет.

Ты свечка? Потому что ты такая горячая, судя по виду.

Ты меня не носишь, но хотелось бы посмотреть, как начнёшь это делать.

Ты похожа на вещь, и я тебя люблю.


Последняя мне так понравилась, что стала заголовком моей книги об ИИ: “You Look Like a Thing and I Love You”.

С тех пор появились куда как более компетентные нейросети, обучены на больших наборах текстов из интернета. Я всё никак не хотела возвращаться к генерации фраз для подкатов, поскольку нейросети стали более похожими на людей, что в данном случае означает – результат должен быть хуже. Нейросети могут просто скопировать готовые фразочки, что тоже было бы ужасно. Ведь люди придумывают такие плохие фразы для подкатов. Однако из-за выхода книги я решила, что просто обязана попробовать повторить эксперимент.
Читать дальше →
Всего голосов 13: ↑9 и ↓4 +5
Комментарии 6