Pull to refresh
6
0
Александр Хомяков @Xom

AI, NLP

Send message

Классификация текстов в spaCy: пошаговая инструкция

Level of difficultyEasy
Reading time5 min
Views4K

Вы узнаете, как реализовать классификатор текстов при помощи библиотеки spaCy, а также несколько полезных лайфхаков, которые помогут ускорить обработку данных.

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments0

Retrieval Transformer в картинках

Reading time6 min
Views5.9K

Резюме: Новые языковые модели могут быть намного меньше GPT-3, но при этом достигать сравнимых результатов благодаря использованию запросов к базе данных или поиску информации в Интернете. Ключевая идея заключается в том, что построение все более и более крупных моделей — не единственный способ повысить качество.


Последние несколько лет ознаменовались появлением больших языковых моделей (Large Language Models, LLM) — моделей машинного обучения, которые способствовали быстрому развитию сферы машинной обработки и генерации естественного языка. Некоторые из основных вех развития области с 2017 года включают в себя:

Читать дальше →
Total votes 4: ↑4 and ↓0+4
Comments0

Глубокие нейронные деревья принятия решений

Reading time17 min
Views10K

Глубокие нейронные сети доказали свою эффективность при обработке данных  таких, как изображения и аудио. Однако для табличных данных более популярны древовидные модели. Хорошим свойством древовидных моделей является их естественная интерпретируемость. В этой работе мы представляем Deep Neural Decision Trees (DNDT) –древовидные модели, реализованные нейронными сетями. DNDT внутренне интерпретируем. Тем не менее, поскольку это также нейронная сеть (NN), ее можно легко реализовать с помощью инструментария NN и обучить по алгоритму градиентного спуска, а не по «жадному» алгоритму. Мы проводим оценку DNDT на нескольких табличных наборах данных, проверяем его эффективность и исследуем сходства и различия между DNDT и обычными деревьями решений. Интересно, что DNDT самообучается как на разделенном, так и на функциональном уровне.

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments13

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ

Reading time10 min
Views173K
Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.


Источник изображения
Читать дальше →
Total votes 119: ↑114 and ↓5+155
Comments241

GPT-2 нейросеть от OpenAI. Быстрый старт

Reading time9 min
Views143K

image


Не успели отшуметь новости о нейросети BERT от Google, показавшей state-of-the-art результаты на целом ряде разговорных (NLP) задач в машинном обучении, как OpenAI выкатили новую разработку: GPT-2. Это нейронная сеть с рекордным на данный момент числом параметров (1.5 млрд, против обычно используемых в таких случаях 100-300 млн) оказалась способна генерировать целые страницы связного текста.


Генерировать настолько хорошо, что в OpenAI отказались выкладывать полную версию, опасаясь что эту нейросеть будут использовать для создания фейковых новостей, комментариев и отзывов, неотличимых от настоящих.


Тем не менее, в OpenAI выложили в общий доступ уменьшенную версию нейросети GPT-2, со 117 млн параметров. Именно ее мы запустим через сервис Google Colab и поэкспериментруем с ней.

Читать дальше →
Total votes 54: ↑52 and ↓2+50
Comments70

Как научить свою нейросеть генерировать стихи

Reading time10 min
Views54K
Умоляю перестань мне сниться
Я люблю тебя моя невеста
Белый иней на твоих ресницах
Поцелуй на теле бессловесном

Когда-то в школе мне казалось, что писать стихи просто: нужно всего лишь расставлять слова в нужном порядке и подбирать подходящую рифму. Следы этих галлюцинаций (или иллюзий, я их не различаю) встретили вас в эпиграфе. Только это стихотворение, конечно, не результат моего тогдашнего творчества, а продукт обученной по такому же принципу нейронной сети.

Вернее, нейронная сеть нужна лишь для первого этапа — расстановки слов в правильном порядке. С рифмовкой справляются правила, применяемые поверх предсказаний нейронной сети. Хотите узнать подробнее, как мы это реализовывали? Тогда добро пожаловать под кат.
Читать дальше →
Total votes 76: ↑75 and ↓1+74
Comments30

Что исследователи искусственного интеллекта думают о возможных рисках, связанных с ним

Reading time18 min
Views20K
Рисками, связанными с ИИ, я заинтересовался ещё в 2007 году. В то время реакция большинства людей на эту тему была примерно такой: «Очень смешно, возвращайся, когда в это будет верить кто-нибудь, кроме интернет-придурков».

В последовавшие годы несколько чрезвычайно умных и влиятельных фигур, среди которых Билл Гейтс, Стивен Хокинг и Илон Маск, публично поделились своими опасениями по поводу рисков ИИ, а за ними повторяли сотни других интеллектуалов, от оксфордских философов до космологов из MIT и инвесторов из Кремниевой долины. И мы вернулись.

Затем реакция поменялась на: «Ну ладно, парочка каких-то учёных и бизнесменов могут в это верить, но вряд ли это будут настоящие эксперты в этой области, реально разбирающиеся в ситуации».

Отсюда появились такие заявления, как статья в Popular Science "Билл Гейтс боится ИИ, но исследователям ИИ лучше знать":
Поговорив с исследователями ИИ – настоящими исследователями, с трудом заставляющими такие системы вообще как-то работать, не говоря уже о том, чтобы работать хорошо, становится понятно, что они не боятся, что сверхинтеллект вдруг подкрадётся к ним, ни сейчас, ни в будущем. Несмотря на все пугающие истории, рассказываемые Маском, исследователи не спешат строить защитные комнаты и самоуничтожение с обратным отсчётом.
Читать дальше →
Total votes 16: ↑15 and ↓1+14
Comments155

Google DeepMind изучает вопросы сотрудничества нескольких ИИ-агентов

Reading time4 min
Views6.7K


Искусственный интеллект — сфера, в которой сейчас занято большое количество инженеров и ученых. Практически каждый день появляются новости о разработке той либо иной формы слабого ИИ, выполняющей определенные функции, которые могут оказаться полезными человеку. Сейчас разработчики из DeepMind, подразделения холдинга Alphabet Inc., занимаются решением интересной и актуальной для современного общества проблемы. А именно — выясняют, при каких условиях несколько ИИ-агентов будут сотрудничать или конкурировать друг с другом.

Проблема, которую пытаются решить специалисты из DeepMind, схожа по сути с так называемой «дилеммой заключенного». Ее можно сформулировать следующим образом. Практически во всех странах наказание участников преступной группировки гораздо жестче, чем наказание преступников-одиночек, совершающих одинаковые преступления. Что, если полиция схватила двух преступников, которые попались примерно в одно и то же время за совершение сходных преступлений, и есть основания полагать, что преступники действовали по сговору? Дилемма появляется в том случае, если предположить, что оба преступника хотят минимизировать собственный срок заключения.
Total votes 12: ↑11 and ↓1+10
Comments3

Исследователи визуализировали вычисления нейронной сети

Reading time2 min
Views22K

Визуализация цикла обучения нейронной сети

Команда инженеров проекта Graphcore построила графы активности узлов нейронной сети и их связи в процессе обучения по распознаванию образов, о чем исследователи рассказали в своем блоге.

Изображение выше демонстрирует полный цикл обучения и распознавания нейронной сети Microsoft Research RESNET-34 в декабре 2016 года. Саму систему развернули на базе IPU — интеллектуального графического процессора, как его называют создатели, еще в середине 2016 года. Полученные данные раскрасили для того, чтобы выделить различную плотность вычислений, производящиеся нейронной сетью.
Читать дальше →
Total votes 29: ↑28 and ↓1+27
Comments25

Становясь умнее, машины начинают обучаться почти так же, как мы

Reading time10 min
Views16K

Исследования показывают, что компьютерные модели, известные, как нейронные сети, используемые во всё возрастающем числе приложений, могут учиться распознавать последовательности в данных по тем же алгоритмам, что и человеческий мозг.


image

Мозг решает свою каноническую задачу – обучение – подстраивая множество своих соединений по неизвестному набору правил. Чтобы раскрыть эти правила, учёные 30 лет назад начали разрабатывать компьютерные модели, пытающиеся воспроизвести процесс обучения. Сегодня в растущем числе экспериментов становится видно, что эти модели ведут себя очень похожим на реальный мозг образом при выполнении определённых задач. Исследователи говорят, что эта похожесть говорит о базовом соответствии между алгоритмами обучения мозга и компьютера.

Алгоритм, используемый компьютерной моделью, называется машиной Больцмана. Он изобретён Джеффри Хинтоном и Терри Сейновски в 1983 году [на самом деле, в 1985 – прим. перев.]. Он выглядит весьма многообещающим в качестве простого теоретического объяснения нескольких процессов, происходящих в мозгу – развития, формирования памяти, распознавания объектов и звуков, цикла сна и бодрствования.
Читать дальше →
Total votes 21: ↑19 and ↓2+17
Comments101

Нейросеть DeepCoder учится программировать, заимствуя код у других программ

Reading time4 min
Views48K

Условная матрица неточностей для нейросети и тестового набора из 500 программ длиной в 3 строчки. Каждая ячейка содержит среднюю вероятность ложно-положительного результата (крупным шрифтом) и количество тестовых программ, из которых это значение выведено (меньшим шрифтом, в скобках). Насыщенность цвета коррелирует с вероятностью ложно-положительного результата

У программистов скоро появится хороший помощник: умная нейросеть, которая способна выполнять рутинные задачи. Более того, с помощью такой нейросети люди могут создавать программы, даже не зная синтаксиса конкретного языка и фактически не умея программировать. Нужно составить алгоритм и поставить задачи — а нейросеть напишет код для их решения.
Читать дальше →
Total votes 24: ↑22 and ↓2+20
Comments146

Google изобрела распределённый ИИ для миллиарда смартфонов

Reading time3 min
Views33K

Только подумайте, какова совокупная вычислительная мощность всех смартфонов в мире? Это огромнейший вычислительный ресурс, который вполне может эмулировать даже работу человеческого мозга. Нельзя, чтобы такой ресурс простаивал без дела, тупо прожигая киловатты энергии на чатики и ленты социальных сетей. Если отдать эти вычислительные ресурсы единому распределённому мировому ИИ, да ещё снабдить его данными с пользовательских смартфонов — для обучения — то такая система может осуществить качественный скачок в данной области.
Читать дальше →
Total votes 28: ↑24 and ↓4+20
Comments93

Искусственный интеллект против докторов: когда диагноз будет ставить компьютер

Reading time22 min
Views15K

В некоторых тестах глубинное обучение уже работает лучше людей-экспертов


image

В один из вечеров прошлого ноября 54-летняя женщина из Бронкса прибыла в отделение скорой помощи медицинского центра Колумбийского университета с жалобой на сильную головную боль. У неё всё расплывалось перед глазами, а левая рука онемела и ослабла. Врачи осмотрели её и порекомендовали сделать компьютерную томографию головы.

Через несколько месяцев, утром одного из январских дней, четыре будущих рентгенолога собрались перед экраном компьютера на третьем этаже госпиталя. В комнате не было окон, и её освещал лишь включённый экран. Анджела Линели-Дипл [Angela Lignelli-Dipple], заведующая отделом нейрорентгенологии университета, стояла за интернами с карандашом и планшетом. Она учила их разбираться в КТ-снимках.
Читать дальше →
Total votes 23: ↑21 and ↓2+19
Comments29

Как Amazon Go, возможно, претворяет в жизнь схему покупок «просто выходите»

Reading time12 min
Views4.5K
image

В наше время пресс-релизы технокомпаний мало чем нас удивляют. Детали инноваций либо утекают на несколько месяцев раньше или оказываются мало впечатляющими. Но недавно мы столкнулись с несколькими настоящими сюрпризами. За несколько месяцев до выпуска Switch, Nintendo решила, что будущее консолей – это их прошлое, и объявила о NES Classic. А победа гугловской AlphaGo над чемпионом среди людей обескуражила экспертов, считавших, что такие результаты можно было получить не ранее, чем через десять лет.

Декабрьский анонс розничного магазина Amazon Go, в котором можно просто набрать продукты с полок и выйти, может сравниться с шоком от новости про AlphaGo. Метод «забрал и ушёл» уже некоторое время слыл «будущим розничных продаж» и находился «всего через несколько лет» от нашего времени. Я более десяти лет работал в отделе исследований робототехники в Калтехе, Стэнфорде и Беркли, а сейчас я заведую стартапом, изготавливающим охранные камеры для использования вне помещений. Компьютерное зрение составляло большую часть моей работы. Но всего за несколько месяцев до анонса я уверенно рассказывал кому-то, что на реализацию системы «взял и ушёл» потребуется ещё несколько лет. И я не один так думал – всего за два месяца до этого у Planet Money был эпизод на эту тему.
Total votes 6: ↑5 and ↓1+4
Comments5

Почему AlphaGo – это не искусственный интеллект

Reading time5 min
Views8.7K
image

Что можно назвать ИИ, а что нельзя – в некотором смысле зависит от определения. Нельзя отрицать, что AlphaGo – ИИ, играющий в го, разработанный командой Google DeepMind и обыгравший чемпиона мира – а также похожие системы с глубинным обучением за последние несколько лет смогли решить довольно сложные вычислительные проблемы. Но приведут ли они нас к настоящему, полному ИИ, к обобщённому интеллекту, или ОИ? Вряд ли – и вот, почему.

Одна из ключевых особенностей ОИ, с которой приходится иметь дело при его создании – он должен быть способен самостоятельно разобраться с окружающим миром и разработать своё, внутреннее понимание всего, с чем он встретится, что услышит, скажет или сделает. Иначе у вас на руках окажутся современные ИИ-программы, смысл которых был заложен разработчиком приложения. ИИ, по сути, не понимает, что происходит и его область специализации очень узка.
Читать дальше →
Total votes 16: ↑14 and ↓2+12
Comments45

Философ искусственного интеллекта Элиезер Юдковский о сингулярности, байесовском мозге и гоблинах в шкафу

Reading time17 min
Views54K
image

Элиезер Шломо Юдковский — американский специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание Дружественного ИИ. В неакадемических кругах больше известен как автор фанфика «Гарри Поттер и методы рационального мышления» под эгидой Less Wrong.

Меня всегда удивляли умные люди, верящие в вещи, кажущиеся мне абсурдными. К примеру, генетик и директор Национальных институтов здоровья Фрэнсис Коллинс верит, что Иисус восстал из мёртвых. Теоретик ИИ Элиезер Юдковский верит, что машины… Но лучше я дам слово ему самому. В 2008 я брал у него интервью на Bloggingheads.tv, но ничего хорошего из этого не получилось, поскольку я решил, что он был последователем гуру сингулярности Рэя Курцвейла. Но Юдковский ни за кем не следовал и никогда не учился в колледже. Он упрямый и оригинальный теоретик интеллекта, как человеческого, так и искусственного. Его работы (к примеру, эссе, помогшее мне понять, или давшее иллюзию понимания, теоремы Байеса) источает высокомерие самоучки, острые грани которого не были зашлифованы формальным образованием – но в этом есть часть его очарования. Даже когда он раздражает вас, Юдковский забавен, свеж, провокационен. Для подробностей его биографии смотрите его личный сайт или сайт Института исследования машинного интеллекта, в основании которого он участвовал. И почитайте это интервью с бонусом в виде комментариев от его жены Брийены.
Читать дальше →
Total votes 34: ↑30 and ↓4+26
Comments31

У искусственного интеллекта проблемы с языком

Reading time14 min
Views20K

Понимающие язык машины были бы очень полезны. Но мы не знаем, как их построить.




Об иллюстрациях к статье: одной из трудностей понимания языка компьютерами является то обстоятельство, что часто значение слов зависит от контекста и даже от внешнего вида букв и слов. В приведённых в статье изображениях несколько художников демонстрируют использование различных визуальных намёков, передающих смысловую нагрузку, выходящую за пределы непосредственно самих букв.

В разгар напряжённой игры в го, шедшей в Сеуле в Южной Корее между Ли Седолем, одним из лучших игроков всех времен, и программой AlphaGo, ИИ, созданным в Google, программа сделала загадочный ход, продемонстрировавший её вызывающее оторопь превосходство над человеческим соперником.

На 37-м ходу AlphaGo решила положить чёрный камень в странную на первый взгляд позицию. Всё шло к тому, что она должна была потерять существенный кусок территории – ошибка начинающего в игре, построенной на контроле за пространством на доске. Два телекомментатора рассуждали о том, правильно ли они поняли ход компьютера и не сломался ли он. Оказалось, что, несмотря на противоречие здравому смыслу, 37-й ход позволил AlphaGo построить труднопреодолимую структуру в центре доски. Программа от Google по сути выиграла игру при помощи хода, до которого не додумался бы ни один из людей.

Победа AlphaGo впечатляет ещё и потому, что древнюю игру го часто рассматривали как проверку на интуитивный интеллект. Правила её просты. Два игрока по очереди кладут чёрные или белые камни на пересечения горизонтальных и вертикальных линий доски, пытаясь окружить камни противника и удалить их с доски. Но хорошо играть в неё невероятно сложно.
Читать дальше →
Total votes 30: ↑28 and ↓2+26
Comments94

Процентных ставок больше нет

Reading time4 min
Views18K
Процентных ставок больше нет

Предприниматели и технари любят пофантазировать о будущем: как самоуправляемые автомобили изменят перевозки, как логистика будет уничтожена дронами, как биткоины вытеснят суверенные валюты.

Но, если отвлечься от технологий: что будет с финансовыми рынками? А именно: что станет с процентными ставками и доходностью капитала в следующие 50 лет? К чему приведёт разрушение старых порядков новыми технологиями?
Читать дальше →
Total votes 27: ↑26 and ↓1+25
Comments34

Лучшие решения юзабилити интернет-покупок: делаем клиенту приятно

Reading time15 min
Views28K
Люди склонны покупать. Поэтому не иссякает интерес ученых и исследователей к вопросам потребления в целом и процесса покупки в частности. Если раньше изучением этих процессов занимались экономисты и социологи, то теперь к исследованиям покупательского поведения присоединились психологи и нейрофизиологи. В зарубежных медицинских и научно-популярных изданиях даже появился такой термин — retail therapy. Дело в том, что во время покупки могут появляться ощущения, схожие со стрессом, может быть чувство тревоги, а может быть и состояние эйфории. И это относится ко всем видам покупок, в том числе и совершаемым онлайн. Так что нет разницы, продаете вы в реальном или виртуальном магазине – вам как продавцу важно сделать всё, чтобы покупатель получил реальное удовольствие от покупки и вернулся ещё раз.

Читать дальше →
Total votes 31: ↑29 and ↓2+27
Comments0

Покупка в интернет-магазине: работа над ошибками

Reading time21 min
Views49K
Процесс покупки в интернете затягивает — один раз попробовав купить товары онлайн, покупатели осознают все преимущества удаленной покупки. Ведь так здорово иметь магазин всегда под рукой: заказать еду, билеты, выбрать бытовую технику и многое другое, находясь в любом месте и в любое время. Приятные ощущения от комфортной покупки в сочетании с отработанной маркетинговой активностью интернет-магазина заставляют клиента возвращаться снова и снова. Это подтверждает статистика: российский рынок онлайн-покупок за 2014 год вырос на 35% — до 560 млрд рублей, а количество покупателей выросло на 37%, до 25,4 млн человек. Всего в интернете россияне совершили 195 млн покупок и потратили на них на 41% больше, чем в 2013 году, — 645 млрд рублей. Средний чек с учетом стоимости доставки составил 3 300 рублей.

Однако часто процесс покупки вызывает негативные эмоции, связанные, например, с недружественным интерфейсом всей цепочки действий, невозможностью выбрать желаемый способ оплаты, отсутствием спецпредложений…



В ходе совместного исследования MasterCard и UsabilityLab, посвященного юзабилити процесса покупки в интернет-магазинах, были выявлены основные ошибки, допущенные на каждом из этапов. Любая такая ошибка — риск потерять покупателя или отвлечь его внимание на сторонние страницы и сервисы. Цена ошибки очевидна — потеря прибыли. Стоит отметить, что осознание погрешностей в оформлении и совершенствование страниц происходит достаточно быстро. Исследование стартовало в конце 2013 года — за этот период некоторые платежные системы внесли в свои страницы значительные изменения и улучшили юзабилити. Это можно увидеть, сравнив примеры из этого поста и просмотрев современные решения, предлагаемые пользователям на крупных сайтах.

Разобьём результаты по этапам покупки и рассмотрим, что же было сделано не так и какие риски вызывали те или иные некорректные параметры.
Читать дальше →
Total votes 37: ↑36 and ↓1+35
Comments24
1

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Date of birth
Registered
Activity