Как стать автором
Обновить
552.85

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Размер имеет значение. Как Ozon автоматизировал измерение товаров на складах

Время на прочтение16 мин
Количество просмотров2K

Сотрудники каждого склада, которые хотят выстроить логистические процессы оптимальным образом, должны знать фактические габариты и вес товаров, которые хранятся на его площадях. Совокупность габаритов и веса товара в Ozon называют объёмно-весовыми характеристиками (ОВХ). 

Мы разработали, собрали и интегрировали в операционные процессы складов Ozon устройства для измерения габаритов и веса товаров. Об этом мы писали ранее. Но к идее создания своего решения пришли не сразу.

Читать далее
Всего голосов 24: ↑25 и ↓-1+26
Комментарии6

Новости

Разбираемся в ROC и AUC

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров676

Привет, Хабр!

В машинном обучение очень важны метрики оценки эффективности моделей. Среди таких метрик есть: кривые ROC и показатель AUC. Они позволяют оценивать бинарные классификаторы.

В этой статье мы как раз и разберем их.

Читать далее
Всего голосов 3: ↑4.5 и ↓-1.5+6
Комментарии0

Не можешь остановить восстание роботов — возглавь его. Где учиться робототехнике в России узнали на ROS Meetup 2024

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров702

Буквально вчера в чате робототехников разгорелся спор в какой вуз идти учиться робототехнике, да так чтобы можно было заниматься с роботами на практике. Давайте совместно разберемся в этом вопросе.

Читать далее
Всего голосов 3: ↑4.5 и ↓-1.5+6
Комментарии2

ML-технологии, которые уже сейчас оказывают мощное влияние на бизнес

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров1.5K

Технологии очаровывают, отталкивают, вызывают приступы скептицизма… Люди по-разному относятся к любым новинкам, и это нормально. Но, как мы знаем, истинная ценность любой инновации проявляется в ее способности решать реальные проблемы и удовлетворять потребности клиентов. Поэтому лишь применяя новые технологии на практике для решения конкретных бизнес-потребностей, мы можем легко отличить действительно полезные вещи от тех, которые еще нуждаются в разработке и пока не могут принести ощутимых результатов.

Вот и сейчас в машинном обучении (ML) наблюдаются стремительные изменения и постоянное развитие. В этой статье мы рассмотрим последние тенденции в ML и объясним, как они уже сейчас выдвигают бизнес на новый уровень без затрат на новых сотрудников.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

На какие AI Coding Assistants стоит обратить внимание в 2024?

Время на прочтение8 мин
Количество просмотров4.6K

Не является секретом, что LLM в настоящее время являются неотъемлемой частью нашего рабочего процесса. Особое внимание заслуживает AI Coding Assistant — искусственный интеллект, или просто программный помощник, который поддерживает разработчиков, помогая писать более качественный и точный код, тем самым экономя время и ресурсы.

Давайте рассмотрим различные программные помощники, доступные на рынке для разработчиков с разными уровнями навыков, включая как бесплатные, так и платные варианты.

Но прежде чем мы погрузимся в детали этих инструментов, давайте ответим на вопрос: "Что такое эти помощники?".

Приятного прочтения(:

Читать далее
Всего голосов 17: ↑18 и ↓-1+19
Комментарии9

Кто держит руку на нашем пульсе: о настоящем и перспективах здравоохранения

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров682

В сфере медицины скорая помощь ИИ рассматривается как жизненно необходимая. Слишком большим оказался разрыв между новейшими технологическими достижениями и реальной врачебной практикой, которая далека от идеала не где–то в отдельно взятой стране, а по всему миру. В интервью The New York Times  Бхавик Патель, доктор медицинских наук, MBA, клиника Мэйо, Аризона, высказал мнение:

В современном здравоохранении есть много пробелов, и я думаю, мы можем разумно использовать искусственный интеллект, чтобы устранить их или, по крайней мере, свести к минимуму. 

Давайте разберёмся, как ИИ может помочь в медицине и какие шаги предпринимаются в разных странах.

Читать далее
Всего голосов 10: ↑10.5 и ↓-0.5+11
Комментарии2

Языковой процессор LPU, GenAI в FinOps и инструменты для анализа данных

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1K

Привет, Хабр! Возвращаюсь с новым выпуском полезных материалов, который поможет разобраться в ML, AI и дата-аналитике. Сегодня в программе — состояние MLOps в 2024 году, возможности дата-контрактов, оценка качества данных DQ Score и Python-библиотека для работы с SQL. Подробнее — под катом. Еще больше полезных материалов — в Telegram-сообществе «MLечный путь».
Читать дальше →
Всего голосов 18: ↑22 и ↓-4+26
Комментарии0

«Строка бога» и «лакмусовая бумажка» для ИИ-генераторов изображений

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров5K

Здравствуйте, уважаемые читатели!

В этой статье я хотел бы привести простой пример методологии, которую использую лично я для оценки возможностей нейросетей-художников, а также для работы с ними.

Кроме того, хотелось бы ввести в обиход промт-инженеров два новых термина.

Читать далее
Всего голосов 15: ↑7.5 и ↓7.50
Комментарии65

KPConv на русском: Свертки для point cloud

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров312

Приветствую всех!

В этой публикации я попробую максимально просто и наглядно рассказать о сверточном слое для point cloud. Перед вами статья, объясняющая KPConv — метода работы с облаками точек без их преобразования в промежуточные форматы, такие как воксели. Моя недавняя задача, связанная с совмещением облаков точек, заставила обратиться к нейронным сетям из за разной плотности точек в местах пересечений. И вот, исследуя возможные подходы, я обнаружил решение в котором использовали KPConv, который позволил извлекать признаки из точек по аналогии извлечений признаков из пикселей.

Информации на русском языке о данной структуре очень мало, поэтому я постарался сделать материал доступным и содержательным.

Читать далее
Всего голосов 2: ↑2.5 и ↓-0.5+3
Комментарии1

Использование нейросетей в SEO: большой обзор инструментов

Время на прочтение17 мин
Количество просмотров6K

Нейронные сети стремительно меняют ландшафт цифрового маркетинга, и SEO не является исключением. Все больше специалистов по поисковой оптимизации обращаются к возможностям искусственного интеллекта, чтобы улучшить свои стратегии, автоматизировать рутинные задачи и добиться более высоких результатов в органической выдаче.

Но как именно нейросети могут помочь в SEO? Какие задачи они способны решать уже сегодня, а какие перспективы открывают на будущее? Как выбрать и внедрить подходящие инструменты в свой рабочий процесс? Эти вопросы волнуют многих оптимизаторов - как начинающих, так и опытных профессионалов.

В этой статье мы постараемся дать развернутые ответы на эти вопросы и предоставить максимум полезной информации по теме. Мы подготовили большой обзор инструментов, которые используют как минимум алгоритмы машинного обучения. Наша цель - не просто познакомить вас с трендами на стыке SEO и ИИ, но и вооружить практическими знаниями, которые вы сможете применить в своей работе.

Ну что ж, поехали! Приятного чтения:)

Читать далее
Всего голосов 28: ↑21 и ↓7+14
Комментарии6

Выбираем правильный инференс: Как мы сэкономили 70к $ на ЛЛМках

Время на прочтение4 мин
Количество просмотров3.2K

Недавно ко мне обратились знакомые, которые активно впиливали LLM в своей продукт, однако их смущала стоимость такого решения - они платили около 8$/час за Huggingface inference Endpoint 24/7, на что уходили просто невиданные ~100 тысяч долларов в год. Мне нужно было заресерчить какие есть способы развертывания больших текстовых моделей, понять какие где есть проблемы и выбрать оптимальных из них. Результатами этого ресерча и делюсь в этой статье)

Читать далее
Всего голосов 14: ↑4.5 и ↓9.5-5
Комментарии18

Дайджест полезных находок, инструментов, статей и видео из мира машинного обучения за неделю

Время на прочтение3 мин
Количество просмотров1.6K

Каждую неделю мир машинного обучения наполняется новыми открытиями, проектами и статьями, которые не только вдохновляют дата саентистов, но и расширяют горизонты знаний.

В этой статье мы собрали для вас подборку самых интересных и актуальных материалов недели, которые помогут вам быть в курсе последних тенденций и достижений.

🚀 Полезные инструменты недели

LLaMa 3 - это главный релиз недели. Новая SOTA в open-source! LLM с открытым исходным кодом, которая превосходит Claude 3 Opus... и дышит в спину GPT-4.Скорость работы составляет почти 300 токенов в секунду. LLAMA-3 - самая загружаемая модельна HF.

Torchtune - новая PyTorch-библиотека для файнтюнинга LLM. Библиотека сделана на базе PyTorch и и поддерживает LLama2 7B/13B, Mistral 7B и Gemma 2B.

LLM Reka Core - новая передовая нейросеть способна обрабатывать текст, изображения, аудио и видео, чем выделяется среди других технологий в своем классе.

VASA-1 - ананас нового ИИ генератора от Microsoft Research видео, который выглядит очень реалистично.

AutoCodeRover - это полностью автоматизированный инструмент для исправления ошибок на GitHub (исправление ошибок в разделе issues и генерации новых функций в проект).

Tkinter Designer — инструмент, который автоматически конвертирует дизайны Figma в код Tkinter GUI.

• OmniFusion 1.1. - гибридная LLM для работы с картинками

VoiceCraft: Zero-Shot - мощный редактор речи и преобразователь Text2Speech


📚 Бесплатные книги недели:

Учебник, где собрана коллекция задачек о нейросетях, параллельно даётся необходимая теория с объяснением

Читать
Всего голосов 9: ↑6.5 и ↓2.5+4
Комментарии3

NumPy для самых маленьких

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров13K

Математика везде в нашей жизни, но в программировании, а особенно ML ее два раза больше. Обычно Питон берут в пример самого "научного" языка программирования из-за математических фреймворков. Как не Питон может помочь оперировать математическими абстракциями, некоторые из сферы ресерча пользуются исключительно питоном для всяких научных изысканий — сегодня мы поговорим про библиотеку NumPy и работу с массивами. 

Самая новичковая "библиотека" с примочками в виде SciPy и Matplotlib предназначена для работы с многомерными массивами. NumPy – основа для многих других библиотек для машинного обучения, таких как SciPy, Pandas, Scikit-learn и TensorFlow. 

Pandas, например, строится поверх NumPy и позволяет работать со структурами данных высокого уровня по типу DataFrame и Series. При помощи NumPy можно проводить преобразование категориальных данных в числовой формат, например, с использованием кодирования one-hot.

Читать далее
Всего голосов 17: ↑16 и ↓1+15
Комментарии2

Ближайшие события

Пять лучших NLP инструментов для работы с русским языком на Python

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.5K

В этой статье рассмотрим пять лучших библиотек Python, предназначенных специально для работы с русским языком в контексте NLP. От базовых задач, таких как токенизация и морфологический анализ, до сложных задач обработки и понимания естественного языка.

Читать далее
Всего голосов 11: ↑10 и ↓1+9
Комментарии3

Как учить большие языковые модели (теоретический туториал)

Уровень сложностиСредний
Время на прочтение1 мин
Количество просмотров4.5K

Обзорное видео с доклада об особенностях обучения LLM для тех, кто в теме ML/DL, но хочет расширить кругозор в области работы с большими языковыми моделями. На основе личного опыта и обзора множества научных статей и инструментов. Ссылка на презентацию прилагается.

Смотреть
Всего голосов 5: ↑5 и ↓0+5
Комментарии1

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение

Уровень сложностиСредний
Время на прочтение22 мин
Количество просмотров4K

Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).

В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению.

В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по специализированному машинному обучению.

Читать далее
Всего голосов 2: ↑3 и ↓-1+4
Комментарии2

Как общаться с базой знаний на естественном языке с помощью LLM и объективно оценить работу полученной системы

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров3.1K

Привет, Хабр! Меня зовут Даниил, работаю в ML-отделе Doubletapp. В статье расскажу про особенности применения больших языковых моделей для оптимизации бизнес-процессов.

Большая языковая модель (LLM) — это тип языковой модели, который способен распознавать и генерировать осмысленные тексты, а также другие сложные типы данных (например, код). Такого рода модели обучаются на огромных массивах данных, чаще всего собранных из открытых источников.

Тем не менее LLM все еще имеют ряд проблем, одной из которых является галлюцинирование (придумывание фактов). Сложно винить модель за то, что она не знает, как устроен тот или иной процесс/продукт в вашей компании, и пытается придумать вразумительный ответ. Поэтому нужно подсказать LLM фактическую информацию, а она уже даст нам понятную человеку персонализированную реплику.

Такая система ответов на вопросы с использованием фактической информации называется RAG (Retrieval Augmented Generation).

Данная статья состоит из двух частей:

мы рассмотрим построение RAG-системы на основе библиотеки langchain;

объективно оценим работоспособность созданной системы, используя синтетические данные на русском языке с помощью фреймворка RAGAs.

Читать далее
Всего голосов 10: ↑9.5 и ↓0.5+9
Комментарии10

Генеративные 3D-модели

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров7.6K

Салют, Хабр! На связи Игорь Пасечник — технический лид направления XR RnD SberDevices. Сегодня я хочу рассказать про одно из наших направлений исследований — разработку генеративных моделей для 3D-контента. 

Современные методы генерации 2D-контента, такие, как 2D-диффузионные модели (Kandinsky 3.0, SDXL), уже достигли впечатляющих результатов и несколько лет являются неотъемлемой частью современности, генеративные видео модели также активно развиваются. Кульминацией развития таких подходов, вероятно, станет представленная не так давно модель Sora. Тем не менее большинство из этих моделей до сих пор испытывают проблемы при генерации консистентных 3D-сцен и объектов.

С другой стороны стороны, существует конвенциональная 3D-графика, а также огромная индустрия и множество прикладных областей, включая игры, XR, дизайн, архитектуру, маркетинг, 3D-проектирование, где используются пайплайны на основе 3D-графики и производится контент на их основе. Методы создания 3D-моделей, такие, как ручное моделирование, 3D-сканирование и фотограмметрия, могут быть трудоёмкими, дорогостоящими и требующими специальных навыков. 3D-продакшн в общем виде использует множество инструментов для создания и рендеринга тяжелой фотореалистичной графики, адаптация генеративных 3D-пайплайнов под такие подходы достаточно тяжела из-за множества инструментов, которые такие пайплайны должны поддерживать. Также адаптация больших латентных генеративных 2D-моделей вроде SORA для прикладных задач фотореалистичной графики может стать альтернативой классическми пайплайнам на основе физического моделирования. Тем не менее, на текущий момент пайплайны работы с графикой, использующие базовый набор примитивов, включая меши, PBR-текстуры, простые модели освещения, закрывают множество прикладных задач и также могут быть востребованы у массового пользователя в случае их демократизации.

Читать далее
Всего голосов 31: ↑36.5 и ↓-5.5+42
Комментарии12

Как мы тестируем беспилотные автомобили с помощью симуляций

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров2.4K

Всем привет! Это Александр Чистяков из команды беспилотных автомобилей Яндекса. Мой доклад посвящён симуляторам: что это, зачем, как это устроено изнутри и какие в симуляции есть подводные камни, неожиданные парадоксы. Также расскажу, с помощью каких алгоритмических или архитектурных решений мы со всеми этими парадоксами боремся.

Читать далее
Всего голосов 16: ↑19 и ↓-3+22
Комментарии4

Фича стор, CLTV и как построить много моделей в короткий срок

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров917

Условия задачи: дано число клиентов банка N, число банковских продуктов М, горизонт времени прогноза Т. Нужно посчитать ( Pij ).

Привет, меня зовут Игорь Дойников, в Альфе я CDS — Chief Data Scientist в Розничном Бизнесе. Моя команда строит модели машинного обучения для розничного бизнеса Альфа-Банка. В статье я расскажу как, собственно, эту задачу решать и зачем. Сначала пройдёмся по CLTV, как бизнес постановки задачи мы перешли к задаче машинного обучения, какие при этом возникали проблемы и как мы их решали. А главное — что такое Feature Store и как этот инструмент помогает нам решать задачи СLTV.

Читать далее
Всего голосов 7: ↑8.5 и ↓-1.5+10
Комментарии1
1
23 ...

Вклад авторов

Работа

Data Scientist
61 вакансия