Pull to refresh
-1
0
mypallmall @mypallmall

Пользователь

Send message

Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе. Вот как удалось её обучить

Reading time 10 min
Views 116K

Больше примеров — в конце поста

В последние годы большие языковые модели на архитектуре трансформеров стали вершиной развития нейросетей в задачах NLP. С каждым месяцем они становятся всё больше и сложнее. Чтобы обучить подобные модели, уже сейчас требуются миллионы долларов, лучшие специалисты и годы разработки. В результате доступ к современным технологиям остался лишь у крупнейших IT-компаний. При этом у исследователей и разработчиков со всего мира есть потребность в доступе к таким решениям. Без новых исследований развитие технологий неизбежно снизит темпы. Единственный способ избежать этого — делиться с сообществом своими наработками.

Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Сегодня мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. Модель и дополнительные материалы опубликованы на Гитхабе под лицензией Apache 2.0, которая допускает применение как в исследовательских, так и в коммерческих проектах. Сейчас это самая большая в мире GPT-подобная нейросеть в свободном доступе как для английского, так и для русского языков.

В этой статье мы поделимся не только моделью, но и нашим опытом её обучения. Может показаться, что если у вас уже есть суперкомпьютер, то с обучением больших моделей никаких проблем не возникнет. К сожалению, это заблуждение. Под катом мы расскажем о том, как смогли обучить языковую модель такого размера. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза. Кстати, многое из того, что будет описано ниже, может быть полезно при обучении нейросетей любого размера.
Читать дальше →
Total votes 166: ↑165 and ↓1 +164
Comments 139

Нейросети: где взять данные для тонкого обучения алгоритмов?

Reading time 3 min
Views 3.3K

Привет, Хабр! Меня зовут Алиса Невейкина, и я работаю в стартапе из Беларуси SmartCoders. Мы занимаемся разработкой нейросетей и решений на базе ИИ для бизнеса. Этот пост стал результатом глубоких раздумий об особенностях развития проектов с использованием машинного обучения, а также о моделях монетизации данных технологий. Если вы уже работали с ИИ или планируете это сделать, приглашаю присоединиться к обсуждению.

Читать дальше →
Total votes 13: ↑9 and ↓4 +5
Comments 14

Исследовательский практикум. Голосовой UX – как сделать голосового виртуального ассистента лучшей версией человека

Reading time 9 min
Views 1.7K

Почему это важно?


Знаете, какой самый надежный способ сделать что-то идеально правильно? Надо просто подсмотреть это в живой природе, т.е. постараться увидеть – как данную проблему решила эволюция, ну или, если хотите, реализовал Бог, т.к. характер природы мироустройства каждый выбирает для себя сам. Если бы кнопки были самым оптимальным вариантом реализации интерфейса общения, то они, наверное, располагались бы у нас на лбу, ну или на каком-нибудь другом видном и легко доступном месте.

Любой UI, все эти бесконечные скроллы, кнопки, области и т.д. – не очевидны, и это почти всегда пользовательская боль. В отличие от них голос – это, наоборот, очень естественно. Проблема состоит в том, что при всей кажущейся простоте, разработать качественный голосовой интерфейс довольно сложно. Существует мнение, что голосовой интерфейс – это идеальная реализация интерфейса, который вроде бы являются частью системы, но, в то же самое время, не существует в ней в виде физического отображения.

image

Проектирование голосового интерфейса по сути своей является проектированием пользовательских диалогов. И критериев эффективности здесь довольно много – степень удовлетворенности клиента, глубина разговора и т.д. Сложность разработки диалогов, кроме всего прочего состоит в том, что необходимо сделать их похожими на общение людей друг с другом, а не на комиксовые варианты общения человека с роботом.
Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Comments 5

Куда катится мир нейросетей: интервью с создателем iPavlov

Reading time 8 min
Views 14K
Под катом — о глубоком обучении, текущем направлении развития ИИ, привязке нейросети GPT к логическому представлению о мире, нехватке кадров и о том, как начинался iPavlov: проект разговорного искусственного интеллекта.



Сегодня у нас физтех-беседа с Михаилом Бурцевым — заведующим лабораторией нейросетей МФТИ. Среди его научных интересов — нейросетевые модели обучения, нейрокогнитивные и нейрогибридные системы, эволюция адаптивных систем и эволюционные алгоритмы, нейроконтроллеры и робототехника. Про это все и пойдет речь.
Читать дальше →
Total votes 23: ↑22 and ↓1 +21
Comments 57

Искусственный интеллект в области юриспруденции. Статья 3

Reading time 45 min
Views 6.8K

Введение


Мы продолжаем цикл статей на тему юридического искусственного интеллекта, аспектов его разработки и перспектив практического применения на отечественном рынке. В предыдущих публикациях мы неоднократно говорили, что, по нашему мнению, разработка Legal AI может быть обеспечена с помощью создания и применения нового семантического блока, включающего в себя:


  • инструменты лингвистического анализа текстов на естественном языке;
  • структурированную модель юридических знаний (графы знаний и онтологии);
  • предобученные нейронные сети.

В первой статье мы детально исследовали существующие инструменты процессинга русскоязычного текста. Во второй статье мы рассмотрели подходы к созданию продуктов на основе искусственного интеллекта, а также вопросы взаимодействия специалистов в области IT и юриспруденции. В настоящей статье мы предлагаем погрузиться в тему онтологий и ответить на следующие вопросы:


  1. Какова роль онтологий в процессе создания искусственного интеллекта?
  2. Почему существующие онтологии в области права неприменимы для Legal AI, несмотря на многолетние попытки зарубежных специалистов структурировать юридические знания?
  3. Какими свойствами должны обладать онтологии для Legal AI, чтобы решать практические задачи?

Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Comments 8

Технические предпочтения пользователей с нарушениями зрения в 2020 году. Исследование Яндекса

Reading time 26 min
Views 6.9K
Информационные технологии стирают многие границы. Они помогают учиться и работать удалённо, совершать покупки не выходя из дома, поддерживать связь с друзьями и близкими, заниматься наукой и творчеством. Однако для части общества цифровизация расширяет не только горизонты, но и спектр проблем при использовании повседневных, кажущихся обычными, процессов и продуктов.

Привет, Хабр! Меня зовут Никита, я помогаю коллегам из Яндекса с технической экспертизой по вопросам accessibility. В этой статье поделюсь данными нашего исследования и расскажу о том, почему сбор и оценка информации о технических предпочтениях пользователей с нарушениями зрения — ещё один важный шаг к полному пониманию специфики доступности.

Круговая диаграмма с долями основных программ экранного доступа по данным таблицы 10
Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Comments 3

Передача знания и Нейронный машинный перевод на практике

Reading time 6 min
Views 4.2K
Нейронный машинный перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исходном языке сопоставлен его перевод). На практике речь идет хотя бы об одном миллионе пар предложений. Есть даже отдельная большая область НМП, исследующая методы обучения языковых пар с малым количеством данных в электронном виде (англ. Low Resource NMT).

Мы собираем чувашско-русский корпус и параллельно смотрим, что можно сделать с имеющимся объемом данных. В этом примере использовали корпус из 90 000 пар предложений. Самый хороший результат на данный момент дал метод передачи знания (англ. Transfer Learning), о нем и пойдет речь в статье. Цель статьи — дать практический пример реализации, который легко можно было бы воспроизвести.
Читать дальше →
Total votes 14: ↑14 and ↓0 +14
Comments 3

Многоязычный синтез речи с клонированием

Reading time 5 min
Views 43K

Хотя нейронные сети стали использоваться для синтеза речи не так давно (например), они уже успели обогнать классические подходы и с каждым годам испытывают на себе всё новые и новый задачи.


Например, пару месяцев назад появилась реализация синтеза речи с голосовым клонированием Real-Time-Voice-Cloning. Давайте попробуем разобраться из чего она состоит и реализуем свою многоязычную (русско-английскую) фонемную модель.


Строение



Наша модель будет состоять из четырёх нейронных сетей. Первая будет преобразовывать текст в фонемы (g2p), вторая — преобразовывать речь, которую мы хотим клонировать, в вектор признаков (чисел). Третья — будет на основе выходов первых двух синтезировать Mel спектрограммы. И, наконец, четвертая будет из спектрограмм получать звук.

Total votes 33: ↑31 and ↓2 +29
Comments 7

Как глупые решения при проектировании самолёта времён Второй мировой привели к созданию Macintosh

Reading time 10 min
Views 64K

Сначала в падениях самолётов обвиняли пилотов. Однако реальной причиной этого был их дизайн. Этот урок привёл нас к новой эре удобства для пользователя – однако опасности никуда не делись


Из книги "Удобство пользователей: как скрытые правила дизайна меняют нашу жизнь, работу и игры"



Бомбардировщик Б-17 «Летающая крепость» прошёл путь от чертёжной доски до взлётной полосы всего за 12 месяцев, как раз вовремя для того, чтобы стать зловещей рабочей лошадкой ВВС США во время Второй Мировой войны. Пилоты обожали его за потрясающую прочность: Б-17 мог пролетать сквозь яростные шквалы шрапнели и пуль, и выходить из этого испытания немного покоцанным, но в пригодном для полётов состоянии. Он был символом американского гения, оснащённым десятком пулемётов и удерживаемым в воздухе четырьмя пилотами.
Читать дальше →
Total votes 59: ↑51 and ↓8 +43
Comments 91

Как жалобы перенастраивают ваш мозг на негатив [и влияют на здоровье]

Reading time 5 min
Views 69K

Предисловие: Ссылку на оригинальную статью я увидел в комментарии здесь, на Хабре (к сожалению, не могу его найти чтобы указать автора и сказать спасибо). Статья имеет значение не только для тех, кто жалуется (кто же в этом признается?), но и тем, кому жалуются. Не все знают английский язык, поэтому я решил ее перевести.



[В квадратных скобках — мои примечания.]


Исследования показывают, что во время обычного разговора большинство людей жалуется раз в минуту. Нас тянет поныть потому что это приятно. Однако так же как и множество других вещей, которые приятны — например курение или полкило грудинки на завтрак — нытье вредно.

Читать дальше →
Total votes 84: ↑63 and ↓21 +42
Comments 107

Израильские учёные разработали универсальное лечение против рака

Reading time 5 min
Views 60K


Небольшая группа израильских учёных считает, что они нашли первое универсальное лечение против рака.
«Мы считаем, что через год мы предложим универсальное лечение против рака», – сказал Дэн Аридор о новом лечении, разработанном его компанией, Accelerated Evolution Biotechnologies Ltd. (AEBi), которая была основана в 2000 году в инкубаторе ITEK. AEBi разработала платформу SoAP, которая обеспечивает функциональные возможности для решения очень сложных проблем.
«Наше лечение рака будет эффективным с первого дня, будет длиться несколько недель и не будет иметь побочных эффектов, кроме минимальных, при гораздо более низкой цене, чем многие иные типы лечения на рынке», – сказал Аридор. «Мы планируем и лицензировать наше решение, и выпускать его сами».
Читать дальше →
Total votes 159: ↑143 and ↓16 +127
Comments 138

42 оператора расширенного поиска Google (полный список)

Reading time 15 min
Views 275K
Те, кто давно занимается поисковой оптимизацией, хорошо знают об операторах расширенного поиска Google. Например, почти все знают об операторе site:, который ограничивает поисковую выдачу одним сайтом.

Большинство операторов легко запомнить, это короткие команды. Но уметь эффективно их использовать — совсем другая история. Многие специалисты знают основы, но немногие по-настоящему овладели этими командами.

В этой статье я поделюсь советами, которые помогут освоить поисковые операторы для 15 конкретных задач.
Читать дальше →
Total votes 127: ↑124 and ↓3 +121
Comments 40

AlphaStar — новая система искусственного интеллекта для StarCraft II от DeepMind (полный перевод)

Reading time 11 min
Views 26K


Игры десятилетиями использовались как один из главных способов тестирования и оценки успешности систем искусственного интеллекта. По мере того как росли возможности, исследователи искали игры с постоянно возрастающей сложностью, которые бы отражали различные элементы мышления, необходимые для решения научных или прикладных проблем реального мира. В последние годы StarCraft считается одной из самых многогранных и сложных стратегий реального времени и одной из самых популярных на сцене киберспорта за всю историю, а сейчас StarCraft стал еще и главным вызовом для исследований ИИ.
Total votes 54: ↑51 and ↓3 +48
Comments 54

BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab

Reading time 11 min
Views 122K

image


BERT — это нейронная сеть от Google, показавшая с большим отрывом state-of-the-art результаты на целом ряде задач. С помощью BERT можно создавать программы с ИИ для обработки естественного языка: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, автоматические переводчики, анализировать текст и так далее.


Google выложила предобученные модели BERT, но как это обычно и бывает в Machine Learning, они страдают от недостатка документации. Поэтому в этом туториале мы научимся запускать нейронную сеть BERT на локальном компьютере, а также на бесплатном серверном GPU на Google Colab.

Читать дальше →
Total votes 35: ↑35 and ↓0 +35
Comments 5

Технологии AR и VR в образовании

Reading time 6 min
Views 42K


Мысль о том, что в повседневном обучении важно использовать самые передовые технологии, не покидает умы не только современных исследователей, но и практически каждого из нас. По данным специалистов в области лингвистики и психологии, самые благоприятные условия для усвоения новых знаний — в детском и юношеском возрасте. Но отсутствие интереса, рассредоточенность и неумение концентрироваться на непростых вещах не позволяют нам эффективно получать образование в любом возрасте. А современная система образования конкурирует с развлекательной сферой и нуждается в механизмах восприятия, которые позволят вовлечь учеников в процесс усвоения новых знаний. Ведь эффективным обучением движет интерес, который нужно сначала сформировать, а затем поддержать.

Вот только в XXI веке вряд ли можно увлечь учеников рисунками, просмотром старых фильмов или чтением стремительно устаревающей литературы. Поэтому сегодня в образовании всё популярнее устройства с поддержкой VR и AR.
Total votes 35: ↑32 and ↓3 +29
Comments 11

Больница Массачусетса и DeepMind независимо друг от друга приоткрыли «черный ящик» ИИ в медицине

Reading time 5 min
Views 12K

Применение искусственного интеллекта в постановке диагнозов уже не за горами. И даже ближе, чем кажется. Ведь сразу двум исследовательским командам по обе стороны Атлантики удалось-таки решить проблему «черного ящика» ИИ в медицине.


Проблема «черного ящика» заключается в том, что система ИИ при выдаче результатов, а в медицине это постановка диагноза и рекомендации по дальнейшей терапии, не предоставляет обоснований, которые, в частности, требует Управление по контролю за продуктами и лекарствами (FDA) в США.

В декабре минувшего года Массачусетская многопрофильная больница (Massachusetts General Hospital) сообщила о том, что смогла научить ИИ «объяснять» поставку диагноза при внутричерепном кровотечении. Пятью месяцами ранее британская компания DeepMind, приобретенная Google в 2014 году, заявила об аналогичном прорыве в диагностике глазных заболеваний.

Читать дальше →
Total votes 20: ↑18 and ↓2 +16
Comments 4

Что, опять? Возрождение небанковских дебетовых карт

Reading time 7 min
Views 15K

В 2007 году СМИ пестрели заголовками о революционном продукте, который изменит судьбы мерчантов и даст потребителям бесчисленные выгоды. Аналитики назвали продукт «историческим шансом» улучшить проседающие показатели прибыли. А инноваторы бросились создавать новые приложения, чтобы ухватиться за эту возможность.

Что это было? Нет, не iPhone, хотя такое предположение вполне логично. Речь идет о дебетовых картах без привязки к банкам.

Виновником «революции» стал Capital One, один из крупнейших банковских холдингов. Его предложение многие посчитали гениальным ходом на фоне нехватки спроса на срочные депозиты и отсутствия у организаций иных способов предоставления дебетовых предложений, которые бы привлекали и удерживали потребителей.

Небольшая историческая справка
На самом деле с подобным предложением первой выступила компания Tempo, созданная в 2000 году, несколько лет неудачно пытавшаяся достичь популярности у мерчантов и выкупленная в 2006 году компанией HSBC.

Новый продукт получал средства с депозитных счетов других эмитентов и работал у любого мерчанта, принимающего MasterCard. С его помощью холдинг Capital One одновременно предлагал потребителям нечто свежее и реализовывал инновационную бизнес-модель, вокруг которой создавалась новая программа лояльности.

Для пользователей выгода состояла в получении функциональности, схожей с дебетовыми продуктами. Средства для оплаты услуг мерчантов брались напрямую с пользовательских чековых счетов, и не возникало необходимости переносить свой депозитный счет в некий новый банк ради выгодного кэшбека.

Вдохновленные перспективами, ритейлеры принялись разрабатывать собственные продукты с теми же преимуществами: дебетовой функциональностью, крупными вознаграждениями для лояльных клиентов и уменьшенным размером межбанковской комиссии для всех транзакций в своих магазинах.

И эти усилия…
Читать дальше →
Total votes 22: ↑16 and ↓6 +10
Comments 6

По вашему запросу найдено: реализация нечеткого поиска

Reading time 8 min
Views 11K
Все мы совершаем ошибки: в данном случае речь идет о поисковых запросах. Количество сайтов для продажи товаров и услуг растет наряду с потребностями пользователей, однако не всегда они могут найти то, что ищут – только потому, что неправильно вводят название необходимого товара. Решение данной проблемы достигается путем реализации нечеткого поиска, то есть использования алгоритма поиска наиболее близких значений с учетом возможных ошибок или опечаток пользователя. Область применения такого поиска достаточно широка – нам же удалось поработать над поиском для крупного интернет-магазина в фудритейл-сегменте.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Comments 2

Исправляем опечатки в поисковых запросах

Reading time 14 min
Views 18K
Наверное, любой сервис, на котором вообще есть поиск, рано или поздно приходит к потребности научиться исправлять ошибки в пользовательских запросах. Errare humanum est; пользователи постоянно опечатываются и ошибаются, и качество поиска от этого неизбежно страдает — а с ним и пользовательский опыт.

При этом каждый сервис обладает своей спецификой, своим лексиконом, которым должен уметь оперировать исправитель опечаток, что в значительной мере затрудняет применение уже существующих решений. Например, такие запросы пришлось научиться править нашему опечаточнику:



Может показаться, что мы отказали пользователю в его мечте о вертикальной реальности, но на самом деле буква К просто стоит на клавиатуре рядом с буквой У.

В этой статье мы разберём один из классических подходов к исправлению опечаток, от построения модели до написания кода на Python и Go. И в качестве бонуса — видео с моего доклада «”Очки верткальной реальности”: исправляем опечатки в поисковых запросах» на Highload++.
Total votes 22: ↑21 and ↓1 +20
Comments 8

Теория счастья. Случайности неслучайны?

Reading time 20 min
Views 50K
Продолжаю знакомить читателей Хабра с главами из своей книжки «Теория счастья» с подзаголовком «Математические основы законов подлости». Это ещё не изданная научно-популярная книжка, очень неформально рассказывающая о том, как математика позволяет с новой степенью осознанности взглянуть на мир и жизнь людей. Она для тех кому интересна наука и для тех, кому интересна жизнь. А поскольку жизнь наша сложна и, по большому счёту, непредсказуема, упор в книжке делается, в основном, на теорию вероятностей и математическую статистику. Здесь не доказываются теоремы и не даются основы науки, это ни в коем случае не учебник, а то, что называется recreational science. Но именно такой почти игровой подход позволяет развить интуицию, скрасить яркими примерами лекции для студентов и, наконец, объяснить нематематикам и нашим детям, что же такого интересного мы нашли в своей сухой науке.



В этой главе мы порассуждаем о предопределённости полёта монетки, о топографических картах, о математических катастрофах и о природе случайности. А по пути заглянем в такие разделы математики, как теория мер и теория динамического хаоса.
Читать дальше →
Total votes 60: ↑57 and ↓3 +54
Comments 130

Information

Rating
Does not participate
Registered
Activity