Pull to refresh
16
Karma
0
Rating
Дмитрий Кирьянов @polybook

Пользователь

Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе. Вот как удалось её обучить

Яндекс corporate blog Open source *Algorithms *Machine learning *Natural Language Processing *

Больше примеров — в конце поста

В последние годы большие языковые модели на архитектуре трансформеров стали вершиной развития нейросетей в задачах NLP. С каждым месяцем они становятся всё больше и сложнее. Чтобы обучить подобные модели, уже сейчас требуются миллионы долларов, лучшие специалисты и годы разработки. В результате доступ к современным технологиям остался лишь у крупнейших IT-компаний. При этом у исследователей и разработчиков со всего мира есть потребность в доступе к таким решениям. Без новых исследований развитие технологий неизбежно снизит темпы. Единственный способ избежать этого — делиться с сообществом своими наработками.

Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Сегодня мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. Модель и дополнительные материалы опубликованы на Гитхабе под лицензией Apache 2.0, которая допускает применение как в исследовательских, так и в коммерческих проектах. Сейчас это самая большая в мире GPT-подобная нейросеть в свободном доступе как для английского, так и для русского языков.

В этой статье мы поделимся не только моделью, но и нашим опытом её обучения. Может показаться, что если у вас уже есть суперкомпьютер, то с обучением больших моделей никаких проблем не возникнет. К сожалению, это заблуждение. Под катом мы расскажем о том, как смогли обучить языковую модель такого размера. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза. Кстати, многое из того, что будет описано ниже, может быть полезно при обучении нейросетей любого размера.
Читать дальше →
Total votes 149: ↑148 and ↓1 +147
Views 48K
Comments 110

Эфиродинамика — современное естественнонаучное мировоззрение

Popular science Astronautics Physics Astronomy
Recovery mode
Sandbox

Русским учёным Владимиром Акимовичем Ацюковским сделано открытие в области физики (правильнее сказать — естествознания), масштаб которого сложно переоценить. Оно повлияет на все сферы человеческой жизни. Данная статья написана по мотивам некоторых книг В.А. Ацюковского [1, 2, 3] и является попыткой изложить суть открытия наиболее кратко и убедительно для неспециалиста.
Читать дальше →
Total votes 35: ↑4 and ↓31 -27
Views 26K
Comments 192

Двигаться быстрее скорости света? — Нет ничего проще

Popular science Astronautics Physics Science fiction
Sandbox
image

Теория относительности завораживает своими парадоксами. Все мы знаем про близнецов, про возможности засунуть длинный самолёт в короткий ящик. Сегодня каждый выпускник школы знает ответы на эти классические загадки, а уж студенты-физики и подавно считают, что тайн в специальной теории относительности для них не осталось.

Всё бы хорошо, если бы не удручающе обстоятельство — невозможность сверхсветовых скоростей. Неужели никак нельзя быстрее?! — думала я в детстве. А может быть можно?! Поэтому приглашаю вас на сеанс, уж и не знаю, чёрной или белой магии имени Альберта Эйнштейна с разоблачением в конце. Впрочем для тех, кому покажется мало, я приготовила ещё и задачку.

UPD: Сутки спустя публикую решение. Много текста формул, графиков в конце.

Итак, попробую вас удивить
Total votes 53: ↑46 and ↓7 +39
Views 115K
Comments 518

Запуск проекта Otus.ru

OTUS corporate blog Programming *Java *
Друзья!

Сервис Otus.ru — это инструмент для трудоустройства. Мы используем образовательные методики для отбора лучших специалистов для задач бизнеса. Мы собрали и типизировали вакансии крупных игроков ИТ-бизнеса, создали на базе полученных требований курсы. Мы заключили соглашения с этими компаниями о том, что лучшие наши студенты пройдут собеседование на релевантные позиции. Мы соединяем, как мы надеемся, лучших работодателей с самыми замотивированными специалистами.

Сейчас мы делаем пилот, запускаем первый курс по Java. На подходе еще четыре курса, в планах — около 40. Но на этом этапе нам важно протестировать нашу образовательную технологию, сделать так, чтобы наш продукт был качественным.
Читать дальше →
Total votes 28: ↑15 and ↓13 +2
Views 14K
Comments 52

Илон Маск открыл школу для собственных детей и детей сотрудников SpaceX

Professional literature Popular science Brain


Глава Tesla Motors и SpaceX часто предпринимает действия, которые многим кажутся ну очень нестандартными. К примеру, в одном из недавних интервью, Маск сообщил об открытии школы, которая получила название Ad Astra. При этом школа эта очень небольшая, зато, по мнению Маска, обучение здесь гораздо более качественное, нежели в обычных учебных заведения. Маск, считая, что в обычной школе не делают того, что должны, решил проблему наиболее простым для него путем — открыл собственное учебное заведение.

Правда, учатся здесь не только его дети, но и дети коллег по SpaceX. Сейчас количество учащихся достигло 14 человек. Конечно, в одном классе не сидят подросток и детсадовец: возраст детей примерно одинаковый, соответствует возрасту учеников начальной школы США (точный возраст не называется).
Читать дальше →
Total votes 31: ↑29 and ↓2 +27
Views 13K
Comments 18

86 бесплатных площадок для продвижения стартапов на международном рынке

Фонд развития интернет-инициатив corporate blog Growth Hacking *Content-marketing
Translation


Мы дополнили и адаптировали оригинальную подборку, выбрав исключительно бесплатные ресурсы для продвижения стартапов на международном рынке. Помимо этого мы переработали первоначальную классификацию, ввели ранжирование по потенциальному охвату аудитории (для площадок с обозначенным охватом) и распределили соответствующие ресурсы в тематические категории.
Читать дальше →
Total votes 33: ↑32 and ↓1 +31
Views 95K
Comments 9

Математический пакет для Android своими руками

Development of mobile applications *Development for Android *Mathematics *
Sandbox
Поводом к написанию этого поста послужила статья «Mathcad Express — бесплатный математический редактор, про который мало кто знает».

Мне понравилась дискуссия, развернувшаяся по поводу этой статьи. Однако мне более интересен немного иной аспект дискутируемой проблемы, а именно: нужна ли система компьютерной алгебры на смартфоне или планшете, или это такой странный таракан в голове околоайтишного инженера?
Читать дальше →
Total votes 32: ↑31 and ↓1 +30
Views 36K
Comments 26

300 потрясающих бесплатных сервисов

Web design *Typography *Interfaces *
Translation


Автор оригинальной статьи Ali Mese добавил ещё 100 новых бесплатных сервисов. Все 400 потрясающих сервисов доступны здесь. И еще подборку +500 инструментов от 10 марта 2017 г. смотрите здесь.



A. Бесплатные Веб-Сайты + Логотипы + Хостинг + Выставление Счета

  • HTML5 UP: Адаптивные шаблоны HTML5 и CSS3.
  • Bootswatch: Бесплатные темы для Bootstrap.
  • Templated: Коллекция 845 бесплатных шаблонов CSS и HTML5.
  • Wordpress.org | Wordpress.com: Бесплатное создание веб-сайта.
  • Strikingly.com Domain: Конструктор веб-сайтов.
  • Logaster: Онлайн генератор логотипов и элементов фирменного стиля (new).
  • Withoomph: Мгновенное создание логотипов (англ.).
  • Hipster Logo Generator: Генератор хипстерских логотипов.
  • Squarespace Free Logo: Можно скачать бесплатную версию в маленьком разрешении.
  • Invoice to me: Бесплатный генератор счета.
  • Free Invoice Generator: Альтернативный бесплатный генератор счета.
  • Slimvoice: Невероятно простой счет.

Читать дальше →
Total votes 341: ↑325 and ↓16 +309
Views 1.6M
Comments 107

Mathcad Express — бесплатный математический редактор, про который мало кто знает

Нерепетитор.ру corporate blog Mathematics *
Tutorial
Прежде всего, приветствую первых посетителей моего блога. Это моя первая статья на Хабре и я надеюсь, что смогу рассказать вам здесь много полезного.

РТС Mathcad – это характерный пример математического ПО, предназначенного для осуществления, как численных, так и аналитических расчетов по формулам и визуализации их результатов в виде графиков.
Читать дальше
Total votes 18: ↑13 and ↓5 +8
Views 233K
Comments 51

Information

Rating
Does not participate
Location
Россия
Registered
Activity