Как стать автором
Обновить
463.45

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Лапочки с характером: Как машинное обучение помогает определить тип личности ваших пёсиков

Уровень сложности Простой
Время на прочтение 18 мин
Количество просмотров 1K

Предлагаю Вам разбавить все серьезные, обсуждаемые здесь темы, небольшой отдушиной для многих из нас!

Собаки – настоящие маленькие спутники жизни каждого хозяина, поэтому многих обрадовала бы возможность подобрать питомца, который будет вписываться в привычный образ жизни, и, например, сможет смирно сидеть на коленях, пока Вы пишете код, или безостановочно носиться по дому, требуя все Ваше внимание и любовь.

Все это станет реальным, благодаря машинному обучению! :) Теперь Вы можете почти так же просто определить тип личности своего питомца, как и свой собственный (излюбленный MBTI тест – такая же разработка ML)

В данной статье описывается успешная попытка применить методы искусственного интеллекта и ML для классификации и прогнозирования личностных качеств собак с использованием поведенческих данных, полученных из базы данных C-BARQ. Я в подробностях расскажу об основных теоретических и практических аспектах проделанной работы!

Приятного прочтения! :)

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Комментарии 5

Язык твой — друг твой. Дообучаем языковые модели, собираем корпуса, делаем книги на малых языках

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 5.9K

Всем привет. Хочу поделиться с сообществом небольшим опытом и наработками для исследования и развития языков, в особенности малых. Для большинства таких языков нет ни систем машинного перевода, ни виртуальных ассистентов, ни других языковых моделей. Основная проблема тут в недостатке данных и отсутствии большого интереса у крупных компаний в их развитии. Однако есть достаточно большое число людей, которым дорог их язык, и которые прикладывают усилия по их сохранению и развитию. Предлагаю обсудить это и познакомиться с инструментами, которые помогут не только собирать данные, но и делать на их основе полезные вещи, типа паралельных книг для изучения языка и систем машинного перевода.

Мы научимся:

1. Дообучать мультиязычные языковые модели, переводящие текст в векторное представление (эмбеддинги).

2. Использовать их для выравнивания текстов библиотекой lingtrain-aligner, извлекая из текстов параллельные корпуса.

3. Загружать датасеты и модели на HuggingFace, чтобы это было доступно всем.

4. Создавать из выравнивания параллельные книги для изучения языков.

5. Начнем собирать датасет инструкций на малых языках, чтобы языковые модели и виртуальные смогли понимать и общаться на чувашском, якутском, башкирском и других языках.

Все это в делается в виде открытых проектов и сообществ, поэтому приглашаю всех интересующихся изучением и поддержкой языков подключаться к нам, будет интересно.

Читать далее
Всего голосов 47: ↑45 и ↓2 +43
Комментарии 11

Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации

Уровень сложности Простой
Время на прочтение 19 мин
Количество просмотров 10K

Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, при правильном их использовании, могут быть очень ценным инструментом. Именно этому и посвящена данная статья — вторая в серии моих материалов про науку о данных и машинное обучение. Я поделюсь здесь методическими рекомендациями по использованию Jupyter Notebook для разведочного анализа данных.

Но для начала нам надо ответить на вопрос о том, почему блокноты Jupyter обосновались именно в научном сообществе. Когда тема Data Science была у всех на слуху, блокноты Jupyter ещё ничего из себя не представляли. До них у нас был IPython, интерактивная оболочка для Python, которую встраивали в различные IDE, вроде Spyder. Эти IDE пытались подражать работе RStudio или Matlab. Подобные инструменты получили широкое распространение среди исследователей.

В 2014 году из среды IPython вырос проект Jupyter. Масштабы его использования очень быстро стали просто огромными, чему, в основном, способствовали исследователи, которые перенесли в бизнес‑среду то, чем пользовались, занимаясь наукой. Но те подходы к использованию блокнотов, которые хороши для научных учреждений, не всегда нормально переносятся на анализ данных, проводимый в обычных организациях. Часто бывает так, что дата‑сайентистам, взятым на работу сразу после университета, очень сложно выдать то, что от них ожидают в бизнесе. Речь идёт о структуре аналитических разработок и об оформлении их результатов.

Читать далее
Всего голосов 23: ↑22 и ↓1 +21
Комментарии 0

Нужно больше нейросетей: корпорация Google открыла общий доступ к старшей модели. Как это работает?

Время на прочтение 3 мин
Количество просмотров 4.3K

Сейчас крупные IT-компании спешат разработать собственный продукт на базе ИИ-моделей, и многим это удается. Например, корпорация Google не так давно представила сразу несколько моделей, а сейчас открыла доступ к наиболее мощной из них. Кроме того, компания анонсировала и приложение, которое позволит работать с этой технологией. Что именно предлагает Google? Подробности - под катом.

Читать далее
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 8

Истории

Как языковая модель предсказывает следующий токен (часть 1)

Время на прочтение 27 мин
Количество просмотров 6.2K

Я обучил небольшой (порядка 10 миллионов параметров) трансформер по превосходному туториалу Let’s build GPT: from scratch, in code, spelled out Андрея Карпати. После того, как он заработал, я захотел максимально глубоко понять, как он устроен внутри и как создаёт свои результаты.

В исходной научной статье, как и во всех туториалах по трансформерам упор в основном делается на многоголовом самовнимании, — механизме, при помощи которого трансформеры обучаются множественным взаимосвязям между токенами, не используя рекурретности или свёртку. Ни в одной из этих статей или туториалов я не нашёл удовлетворительного объяснения того, что происходит после внимания: как конкретно результаты вычисления внимания превращаются в точные прогнозы следующего токена?

Я подумал, что могу пропустить несколько примеров промтов через обученный мной небольшой, но работающий трансформер, изучить внутренние состояния и разобраться в них. То, что казалось мне быстрым исследованием, оказалось полугодовым погружением, но дало результаты, которыми стоит поделиться. В частности, у меня появилась рабочая теория, объясняющая, как трансформер создаёт свои прогнозы, и эмпирические свидетельства того, что это объяснение, по крайней мере, правдоподобно.

Если вы знакомы с трансформерами и хотите сразу узнать вывод, то он таков: каждый блок трансформера (содержащий слой многоголового внимания и сеть с прямой связью) изучает веса, связывающие конкретный промт с классом строк, найденных в обучающем корпусе. Распределение токенов, соответствующее этим строкам в обучающем корпусе, и есть приблизительно то, что блок выводит как прогноз для следующего токена. Каждый блок может ассоциировать один и тот же промт со своим классом строк обучающего корпуса, что приводит к другому распределению следующих токенов, а значит, и к другим прогнозам. Окончательный результат работы трансформера — это линейное сочетание прогнозов каждого блока.

Читать далее
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 5

Merlion Framework или как упростить работу с временными рядами

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 1.7K

Привет, Хабр!

Сегодня с вами участники профессионального сообщества NTA Ершов Дмитрий и Марков Никита.

В нашем мире время является незаметным четвертым измерением (или временным рядом), по оси которого, можно упорядочивать разные события.

Временной ряд — это набор данных, описывающих изменения какой‑либо переменной во времени.

Задача анализа и предсказания временных рядов остаётся актуальной для бизнеса так как для успешного планирования возникает необходимость прогнозирования.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Шпаргалка по рекомендательным системам

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 4.4K

Рекомендательные системы стали неотъемлемой частью нашей жизни, помогая нам легко находить новые фильмы, музыку, книги, товары и многое другое. Цель этой шпаргалки - дать краткий обзор основных методов: коллаборативная фильтрация, матричная факторизация и некоторые нейросетевые методы.

Надеюсь, что эта шпаргалка станет полезным ресурсом для вас, помогая разобраться в мире рекомендательных систем и использовать их потенциал для улучшения пользовательского опыта.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 7

Как студенты участвовали в огромной IT выставке со своим стендом

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.2K

Всем привет, на связи Максим Рожков, frontend разработчик команды "ПИН-КОД".
Наша студенческая команда смогла поучаствовать в выставке с демонстрационным вариантом нашего сервиса "Изучение русского жестового языка".

В этой статье вы узнаете, как обычные студенты поучаствовали в масштабной IT выставке в Екатеринбурге.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 1

K8sGPT: Революция в управлении кластерами Kubernetes

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 13K

Стремительно растущая конфигурация K8s с современными трендовыми технологиями AI продолжает видоизменять трансформацию способов управления инфраструктурой и приложениями. В этой статье мы более детально обратимся к платформе K8sGPT, которая занимает центральное место в перевороте работы контейнерных приложений, начавшемся в 2023 году.

Хотя это и не новинка технологий, это не отменяет того факта, что она остается интересной темой для обсуждения.

В этой статье я хотела бы дать небольшое руководство по работе с cli, рассмотреть интересные фичи, а также представить возможные точки роста. 

Приятного прочтения!

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 7

Детекция объектов. YOLO. Часть 2

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 3.6K

Кто такой YOLO? 🤔

Когда пытаешься разобраться в работе YOLO по статьям в интернете, постоянно натыкаешься на примерно такое объяснение: «Алгоритм делит изображение сеткой SxS, где каждому элементу этой сетки соответствует N ббоксов с координатами, предсказаниями классов и тд...». Но лично мне становилось только непонятнее от такого высокоуровнего описания.. Ведь в исследованиях часто всё происходит примерно так: перебирают гипотезы, пока не получат приемлемый результат, а потом уже придумывают красивое описание. Поэтому для ясности хочется в данной статье рассказать, как вообще приходили к идеям, которые ложились в основу YOLOv1 и последующих версий.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Почему нельзя сделать прогноз CLTV с помощью одной модели

Время на прочтение 17 мин
Количество просмотров 2.4K

Или как превратить набор продуктовых моделей склонности и оттоков в полноценный инструмент прогнозирования продуктового состояния клиента.

В чём специфика задачи оценки СLTV в банке? К каким математическим задачам она сводится? Как их решить и почему стандартные способы, например, модель регрессии, не работает? И чем здесь поможет комплексный подход? 

Привет, меня зовут Мария Самоделкина, я senior Data Scientist в Хабе Юридических Лиц Альфа-Банка - лидирую расчет CLTV в нашей команде. В статье расскажу что это за задача CLTV и для чего ее нужно решать банкам.

Читать далее
Всего голосов 15: ↑15 и ↓0 +15
Комментарии 4

Как мы считали экономику продукта «Семья» через uplift CLTV

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.4K

Всем привет! Меня зовут Владлен Севернов. Я работаю ML-инженером в команде CLTV билайна. В этой статье я поделюсь с вами моим опытом решения задачи uplift-моделирования для оценки экономики продукта «Семья» с точки зрения CLTV.

Что мы подразумеваем под CLTV

Подробнее про CLTV в билайне вы можете почитать в наших предыдущих статьях:

- Что такое CLTV и как мы в билайне с ним работаем
- Использование ML для прогнозирования CLTV

С использованием CLTV билайн может сосредоточиться на удержании наиболее ценных клиентов, повышении их удовлетворенности и лояльности, а также оценивать эффективность маркетинговых и рекламных кампаний.

Немного про продукт «Семья»

Семейные тарифы — это возможность создать общую группу (семью) с другими людьми и добавить в нее до пяти абонентов (в зависимости от тарифа). После объединения в семью платящим остается только один абонент, называемый «донором», а другие члены группы, которые пользуются общими пакетами минут, SMS и трафика и не платят, называются «реципиентами». 

Почему для семейных тарифов необходимо считать именно CLTV?

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 2

Роман Тезиков про СV-проекты и промт-инжиниринг как базовый навык каждого человека

Время на прочтение 7 мин
Количество просмотров 1.7K

К нам на огонек в подкаст заглянул Роман Тезиков — senior-разработчик и DL-engineer. Эксперт рассказал много интересного о своем опыте реализации ML-проектов. А «на десерт» Роман поделился тем, как он применяет промт-инжиниринг в работе и личной жизни и каких впечатляющих результатов ему удалось добиться с помощью подобных технологий.

Читать далее
Всего голосов 19: ↑15 и ↓4 +11
Комментарии 6

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн

Делаем intent classifier для службы поддержки без доменного датасета на русском

Уровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 1K

В этой статье я продемонстрирую, как без собственного датасета сделать классификатор намерений пользователя для службы поддержки в сфере e-commerce. И более того, я расскажу, как у меня получилось сделать классификатор для русского языка без датасета на русском языке.

Меня зовут Елизавета Колмакова, я Data Scientist в компании, которая разрабатывает айти-решения для крупного ритейла.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 1

Без остановок: определение гипогликемии прямо за рулем

Время на прочтение 8 мин
Количество просмотров 1.8K


Физиологические и психические состояния человека очень часто отражаются в его поведении, движениях и даже в особенностях его взгляда. И речь идет не о случаях, когда человек хватается за голову и жалуется на боль, а о случаях, когда физиологические состояния проявляются в малозаметных физических изменениях. Невооруженным взглядом это можно не заметить, потому нужен инструмент фиксации и анализа подобных эпизодов. Ученые из Мюнхенского университета (Германия) создали модель ИИ, которая использует поведение человека за рулем в качестве маркеров определения низкого содержания сахара. Как эта модель работает, и насколько ее предсказания точны? Ответы на эти вопросы мы найдем в докладе ученых.
Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 7

Как приручить нейросеть: практический опыт

Время на прочтение 5 мин
Количество просмотров 15K

Итак, в прошлой статье я уже немного рассказывал о том, что с LLM можно работать и даже построить определенный RAG. Как и обещал, перейдем к практике! :)

Сегодня мы будем делать простейший локальный и приватный RAG для работы с базой знаний. Все это будет проходить без погружения в сложные дебри, чтобы извлечь основную суть и уже иметь представление о том, как компоненты связаны между собой, и за что они отвечают.

Читать далее
Всего голосов 26: ↑26 и ↓0 +26
Комментарии 16

Создание сцен с одинаковыми героями с помощью AI и при чем тут дипфейки Тейлор Свифт

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 3K

Вы, вероятно, слышали о Тейлор Свифт и очень креативном наборе изображений, созданных одним из её фанатов. Что могу сказать - это был лишь вопрос времени, когда кто-то это сделает. Как мы знаем - не бывает плохой  рекламы, однако что если вас зовут не Тейлор Свифт, и никто не создает и не ищет ваши изображения в Google?

Хотя это действительно очень печально, по крайней мере вы можете создать свои собственные изображения. Правда если вы хотите использовать генеративные модели для создания последовательных историй с элементами сюжета, это не так просто, как вам могло показаться. Создать одного-двух персонажа с помощью Dall-e или Stable Diffusion довольно просто. Но что, если вы хотите создать целую историю с одними и теми же персонажами в разных обстановках и стилях? Исследователи генеративных моделей неустанно работают над тем, чтобы упростить для вас процесс создания собственного творческого искусства с вашим любимым актером, но пока что это не так просто.

Так что же мы можем сделать сейчас? Давайте посмотрим.

Читать далее
Всего голосов 20: ↑19 и ↓1 +18
Комментарии 6

Краткий обзор TinyML

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 5.4K

TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к интернету или внешним вычислительным ресурсам. Основная цель TinyML - сделать ии или простые модельки доступным для самых маленьких устройств

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 2

Baldur и Thor снова в игре: Путь к совершенному ПО

Уровень сложности Средний
Время на прочтение 16 мин
Количество просмотров 2K

При написании высококачественного программного обеспечения не обойтись без этапа формальной верификации. Несмотря на то, что наша жизнь уже была в некоторой степени упрощена, благодаря таким помощникам доказательства как Coq и Isabelle/HOL, обучающим модель предсказывать один шаг доказательства за раз, оптимизация формальной верификации еще не была достигнута. 

Новый метод автоматической генерации доказательств – модель Baldur. Данный метод основывается на использовании больших языковых моделей, возможности восстановления доказательства и исправления благодаря указанию ошибки и добавлению контекста. 

Baldur превосходит все существующие подходы, он может самостоятельно полностью за раз доказывать 47.9% теорем, и даже этот результат – не предел.

В данной статье я познакомлю Вас со всей теоретической и практической подноготной данной модели, этапами реализации и оценки метода, чтобы стать чуточку ближе к созданию идеального ПО!

Приятного прочтения :)

Читать далее
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 0

Merlion Framework или как упростить работу с временными рядами

Время на прочтение 11 мин
Количество просмотров 2.7K

Единственная причина для существования времени — чтобы все не  случилось одновременно.

Альберт Эйнштейн

Привет! Меня зовут Дмитрий, я дата-инженер в SM Lab, и в этом посте хочу рассказать вам о Merlion Framework. В посте мы рассмотрим его архитектуру, полезные функции и отличия от аналогов, разберём пару практических примеров, а также посмотрим, как всё считать и на какие метрики стоит обращать внимание.

В нашем мире время является незаметным четвертым измерением, по оси которого можно упорядочивать разные события.

Временной ряд – это набор данных, описывающих изменения какой-либо переменной во времени. 

Задача анализа и предсказания временных рядов остаётся актуальной для бизнеса, ведь  для успешного планирования возникает необходимость прогнозирования, например, следующих показателей:

Читать далее
Всего голосов 19: ↑19 и ↓0 +19
Комментарии 4

Вклад авторов

Работа

Data Scientist
66 вакансий