Все потоки
Поиск
Написать публикацию
Обновить
763.1

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Семантическая сегментация на основе архитектуры U-Net и определение расстояния между объектами

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров21K

Всем привет!

Возвращаясь к бытовому применению нейронных сетей, изначально была идея усовершенствовать модель детекции свободного парковочного места из предыдущей моей статьи (Определение свободного парковочного места с помощью Computer Vision), сделать возможность сегментации дороги, тротуара и исключать из парковочных мест, автомобили, которые стоят на газоне (было несколько гневных комментариев на этот счёт).

Однако в процессе размышлений, я решил сделать отдельную модель сематической сегментации, причем написать вручную нейросеть и обучить на своих данных. Суть модели заключается в следующем:

Модель на базе U-Net архитектуры сегментирует различные объекты (кот, стул, стол, тарелка с котлетами итд) и при сближении двух объектов сегментации (кот - тарелка) модель сигнализирует об этом с помощью телеграмм бота.

Отлично, задача поставлена, теперь реализация!

Читать далее

Первые шаги в импульсных нейронных сетях

Уровень сложностиСредний
Время на прочтение21 мин
Количество просмотров19K

Давайте попробуем немного разобраться в теме импульсных нейронных сетей (spiking neural network, SNN). Напишем простую импульсную нейронную сеть, используя только NumPy и Pandas, для классической задачи машинного обучения с использованием кодирования рецептивными полями.

Читать далее

Kaggle — практическое изучение Big Data. Что это за платформа, и как она работает

Время на прочтение5 мин
Количество просмотров24K

Привет, Хабр!

Время от времени здесь публикуются статьи с упоминанием Kaggle. Это крупнейшая международная платформа соревнований по Data Science. В организации соревнований участвуют крупные и не очень компании, а многие задачи решают реальные проблемы медицины, ИИ, разработки и т. п. 

Если вы слышали что-то о Kaggle, но ещё не пробовали платформу в работе, то эта статья для вас. В ней относительно коротко рассказывается о том, как всё это работает, в каких соревнованиях можно участвовать и какие вообще возможности предоставляет платформа участникам.

Читать далее

Применение метода взаимной информации в медицинских задачах классификации многомерных временных рядов

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров3.5K

Привет, хабр! Меня зовут Алексей Бойков. Я студент третьего курса факультета компьютерных наук НИУ ВШЭ. В начале весны 2023 года мне удалось попасть на стажировку в Лабораторию искусственного интеллекта Сбера. В ней несколько основных групп, я работал в командах фундаментальных исследований и искусственного интеллекта в медицине. Моим руководителем был Качан Олег, который предложил мне заняться исследованием применимости гиперграфов полной взаимной информации для анализа временных рядов. В данной статье я попробую рассказать про часть этой задачи, касающуюся непосредственно применения полной взаимной информации, как меры ассоциации между несколькими случайными величинами.

Читать далее

VOT Challenge: как мы поучаствовали в соревнованиях по компьютерному зрению

Время на прочтение8 мин
Количество просмотров1K

Привет, хабристы. В этой короткой заметке мы хотим рассказать о нашем опыте участия в конкурсе по компьютерному зрению - VOT Challenge 2023, посвященном трекингу объектов на видео. Порефлексируем об ошибках, которые мы допустили и зачем вообще участвовать в этих конкурсах. Это вольный перевод нашей заметки на ACM, если Вам понравится, сходите и на оригинал. Нам будет приятно.

Читать далее

Фигуры Matplotlib и стиль Cyberpunk: несколько строк кода — и готова красивая фигура

Время на прочтение8 мин
Количество просмотров8.5K


Когда мы создаем инфографику или постеры с данными, мы хотим привлечь внимание читателя: для этого изображение должно быть эстетически привлекательным и при этом убедительно доносить нашу мысль. Есть множество графических библиотек для создания графиков с помощью Python. Одна из них — это хорошо известная Matplotlib. Но графики, построенные ее стандартными средствами, часто выглядят скучными, и, чтобы оживить их, нужно потратить много времени.
Читать дальше →

Generative AI. Как программистам держать нос по ветру

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров14K

Вряд ли найдётся тот, кто ещё не знаком с ChatGPT, Midjourney, StableDiffusion - такая популярность говорит сама за себя. Хайп вокруг генеративного искусственного интеллекта (далее - ИИ) не утихает и уже начинает немного надоедать. Но мы, как разработчики, должны оставаться в курсе событий и принимать реальность такой, какая она есть.

А реальность такова:

• Использование Copilot и его аналогов, ChatGPT и других генеративных нейросетей увеличивает вашу продуктивность.

• Бизнес активно ищет возможности оптимизировать процессы или внедрить новые фичи на основе генеративного ИИ.

Давайте разберём каждое из этих утверждений.

Читать далее

YandexGPT в Браузере: как мы учили модель суммаризировать статьи

Время на прочтение7 мин
Количество просмотров31K
Неделю назад на сайте 300.ya.ru мы продемонстрировали возможности языковой модели YandexGPT применительно к задаче суммаризации текстов. С тех пор многое изменилось: мы обучили новую, более качественную модель, в пересказах которой в 4 раза меньше ошибок. А сегодня мы внедрили её в Яндекс Браузер. Может показаться, что мы просто взяли ту же модель, о которой уже рассказывали сообществу на примере Алисы, и прикрутили к ней кнопку в Браузере. Но не всё так просто. Да, наша базовая модель уже понимала, что такое суммаризация в общих чертах. Но для нас было важно добиться результата в нужной нам форме и с предсказуемым качеством. И вот тут-то начинаются нюансы.

Сегодня поделюсь с Хабром не столько новостью, сколько нашим опытом и советами из области дообучения моделей и промпт-инжиниринга. Расскажу, через что пришлось пройти нашей команде, чтобы модель начала делать то, что от неё ожидают.



Читать дальше →

See and Tell: Сервис просмотра сериалов для слабовидящих

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров1.1K

Весной 2023 года прошел хакатон MTS True Tech Hack, на котором был представлен кейс улучшения сервиса просмотра видео для людей с ограниченными зрительными способностями. Предоставить решение во время хакатона нам не удалось, но зато за следующие два месяца мы смогли закончить пилотную версию сервиса, помогающего слабовидящим людям лучше понимать происходящее на экране. В этом посте мы решили поделиться результатами и деталями проделанной работы.

Читать далее

Сложности MVP или как мы смотрели 40000 видео

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.4K

MVP, он же Minimal Viable Product, представляет собой базовую (ванильную) версию продукта и содержит только самый необходимый функционал. По сути это пробник, который служит для оценки рисков и оправданности вложений в полноразмерный продукт. MVP может иметь разный вид: пробный образец, тестовая партия, или уже готовый продукт, но с урезанным функционалом.

MVP - это отдельный вид искусства, где нужно за короткое время доказать, что ты можешь предложить бизнесу решение, которое поможет достичь поставленных продуктовых целей, за оправданную цену. Это своего рода спидран большого проекта. Про такой MVP как раз и пойдет наш разговор.

Читать далее

Как мы с помощью Kubeflow Pipelines оптимизировали обучение ML-моделей

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров4.8K

Расскажу, как мы оптимизировали обучение моделей, внедрив инструмент Kubeflow Pipelines в нашу практику. Я хочу показать, чем Kubeflow Pipelines может быть полезен ML-специалисту и как в нём без потери существующей кодовой базы можно запускать готовые пайплайны.

Читать далее

LLM API для Java

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров5.3K

Прочитав сегодняшнюю статью о том, как в Сан-Франциско массово собираются LLM-щики, коллега сказал — "лучше б там собирались BDSM-щики, это, по крайней мере, понятное развлечение". Для человека не посвященного, "нейросети" — это всё ещё что-то про Python и математическую статистику.

Тем не менее, можно кусать низко висящие фрукты и с помощью Java, дергать API для Chat GPT, и тогда ничего учить не придётся. В этой статье будут ссылки на несколько фреймворков с простым API для жабы и котла, которые можно использовать хоть сейчас.

Волшебно. Читать далее.

Нейронные сети не могут обобщать периодические зависимости. Как это исправить?

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров5.2K

Изучая нейронные сети все глубже, сталкиваешься с тем, что не ко всем задачам применимы полносвязные глубокие нейронные сети с классическими слоями Linear и слоями активации Relu, Sigmoid, Than и их вариации. Почему не используют остальные функции в качестве активации, например, периодические?
В целом, периодические функции являются одними из основных функций, важными для человеческого общества и естествознания: суточные и годовые циклы в мире диктуются периодическими движениями солнечной системы, графики изменения погоды, показателей мировой экономики также включают периодическую компоненту.

Читать далее

Ближайшие события

Эволюция метрик качества машинного перевода — Часть 1

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров13K

Как правильнее всего измерять качество машинного перевода? Многие слышали о BLEU, но на самом деле метрик много. В этой статье расскажем, какие существуют метрики, как они эволюционировали и какие сегодня наиболее адекватны. Часть 1: эволюция метрик и обзор традиционных метрик.

Читать далее

Как стать магистром по ML за 2 года

Время на прочтение10 мин
Количество просмотров5.2K

Год назад в ИТМО открылась новая магистратура по искусственному интеллекту. Мы отказались от академического подхода, посмотрели на примеры лучших инженерных школ и стажировок, да и в целом от мира образования, и пригласили ИТ-компании для участия в подготовке высококвалифицированных кадров.

В этой статье рассказываем о том, как построено обучение и над какими проектами здесь можно работать. В конце вы найдете ссылку на конкурс проектов для поступления на следующий учебный год.

Читать далее

Sarsa: алгоритм, основные принципы и применение

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров4.8K

В области искусственного интеллекта и машинного обучения, SARSA (State-Action-Reward-State-Action) является одним из фундаментальных алгоритмов обучения с подкреплением. Он широко применяется в реализации различных задач, включая игровые приставки, роботов и системы автопилотирования. В данной статье мы рассмотрим определение SARSA и обсудим его значимость в области искусственного интеллекта и машинного обучения.

Читать далее

«Магия вне Хогвартса», или Как разделить аудиосигнал на источники, обогнав существующие решения

Время на прочтение8 мин
Количество просмотров7.9K

Привет, хабровчане! Меня зовут Дмитрий, я студент первого курса Вышки магистерской программы «Системный анализ и математические технологии».

В октябре прошлого года я прошёл отбор в Инженерно-математическую школу (ИМШ). Это совместная образовательная программа VK Education и НИУ ВШЭ. Я стал участником мастерской по прикладному искусственному интеллекту. В одном из проектов мы командой из двух человек (да, нас было мало, но мы были сильны!) решили реальную технологическую задачу под руководством эксперта VK и научных сотрудников университета. Нам нужно было придумать технологию разделения аудиосигнала на источники. В команде я отвечал за подготовку данных, а мой коллега — за проведение экспериментов. Хочу рассказать вам подробно, как мы решали эту задачу – надеюсь, что это будет для вас полезно.

Читать далее

Как я покорил ИТМО и поступил в магистратуру по ИИ без экзаменов

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров12K

Привет, друзья поступающие! Меня зовут Даня Картушов, и сегодня я хочу поделиться с вами историей, которая может изменить ваше представление о поступлении в университет. Выбор темы для статьи для меня стал важным этапом. Ведь, кажется, за последние 12 недель я прошел через невероятные испытания, досрочно поступил в магистратуру по ИИ от AI Talent Hub, @NapoleonITи ИТМО а также понял, что настоящая сила — в сообществе, которое позволяет тебе стать лучше и в уверенности, что ты на верном пути.

Читать далее

Кодеки новой эпохи: HEVC, AV1, VVC и нейросети

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров29K
Сжатие с учётом контекста, источник: WaveOne (сайт удалён)

Хотя новые стандарты кодеков появляются каждые десять лет, все они основаны на пиксельной математике — манипулировании значениями отдельных пикселей в видеокадре для удаления информации, не важной для восприятия. Другие математические операции уменьшают объём данных после первоначального кодирования.

В новом поколении кодеков алгоритмы машинного обучения используются для анализа и понимания визуального содержания видео, выявления избыточных данных и более эффективного сжатия. Вместо написанных вручную алгоритмов, тут применяют методы Software 2.0, основанные на обучении. Данная область развивается на протяжении десятилетий, но в последние годы получила сильный толчок. Все знают, что в 2017 году произошёл прорыв в разработке ИИ благодаря изобретению трансформеров. В свою очередь, они основаны на концепции внимания, которую придумали в 90-е. Эта техника впервые позволила соотносить друг с другом отдельные части текста или видеокадра.
Читать дальше →

Распознаем лючки бензобаков

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров11K

Привет, Хабр! Однажды, я решил создать автоматическую автозаправочную станцию. Один из ее компонентов - роботизированная "рука", для автоматической заправки транспортных средств, независимо от марки/модели. Данная рука последовательно открывает лючок бензобака, отвинчивает крышку горловины бензобака, вставляет заправочный пистолет, осуществляет заправку автомобиля и возвращает все на место. В данной статье я хочу рассказать о том, как осуществлялось распознавание лючка бензобака для корректного позиционирования "руки" в пространстве и определения места присоединения присоски. Давайте посмотрим - как эта задача была решена.

Читать далее

Вклад авторов