Все потоки
Поиск
Написать публикацию
Обновить
772.16

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Как мы собираемся дать ИИ и гражданам доступ в госуправление: кейс Татарстана

Время на прочтение4 мин
Количество просмотров1.5K

Центр цифровой трансформации Республики Татарстан запустил площадку публичных обсуждений проектов в сфере ИИ, в которой пользователи и предобученная большая языковая модель вместе обсуждают и оценивают инициативы в сфере ИИ.

В статье рассказываем, для чего нужна площадка и как она будет работать.

Читать далее

Поймай меня, если сможешь: как найти хакера в инфраструктуре с помощью ML

Время на прочтение9 мин
Количество просмотров8.1K

По результатам пентестов, проведенных нашими специалистами в 2021–2022 годах, 96% компаний оказались не защищены от проникновения в локальную сеть, причем в 8 из 10 организаций мог бы проникнуть даже низкоквалифицированный злоумышленник. Среди протестированных предприятий каждое пятое — из отрасли промышленности, и инциденты на них гораздо серьезнее и страшнее, чем взлом кассового аппарата продуктового магазина. Остановка турбины АЭС грозит экологической катастрофой, авария на металлургическом заводе практически всегда приводит к человеческим жертвам. А что будет, если хакеры атакуют аэропорт?

Мы проверили и узнали — ничего хорошего. На кибербитве Standoff команда красных взломала SCADA-систему аэропорта виртуального Государства F. Более того, им удалось получить контроль над телетрапом.

Сегодня мы пошагово разберем действия red team, расскажем, как модели машинного обучения могли бы помочь их поймать, и покажем, какими методами можно обнаружить атаку и выявить ее источник.

Читать

Как мы определили веса алгоритмов ранжирования крупнейших маркетплейсов на открытых данных

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров6.1K

Привет, Хабр! Меня зовут Владислав Абрамов, я аналитик в команде разработки компании Easy Commerce. Перед нами стояла задача создать алгоритм, который определяет влияние характеристик карточки товара на поисковую позицию в крупнейших российских маркетплейсах. Большинство из них не раскрывают принципы ранжирования — эту проблему нужно было решить с помощью анализа открытых данных. В этой статье расскажу, как мы прошли этот путь и проверили, что решение действительно работает. 

Читать далее

ИИ выходит на новый уровень: LLM обретают пространственно-временную картину мира

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров36K

Исследователи из MIT под руководством Макса Тегмарка сделали важное открытие в области искусственного интеллекта. Им удалось доказать, что современные языковые модели (LLM), обученные на огромных массивах текстов, формируют внутри себя целостные модели мира, включающие представления о таких фундаментальных понятиях, как пространство и время.

Это открытие имеет принципиальное значение. Считалось, что для искусственного интеллекта недоступны базовые человеческие возможности, такие как самосознание, наличие картины мира и способность к человекоподобному мышлению, в принципе. Но это открытие стало gamechanger’ом в плане понимания того, как у ИИ происходит мыслительный процесс.

Предлагаем и Вам углубиться в это исследование и узнать, что конкретно было сделано и как!

Читать далее

MLOps-инструменты, обзоры рынка и тренды потоковой обработки данных

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров4.9K

Привет, Хабр! В сегодняшнем дайджесте продолжаю делиться материалами, которые помогут вам лучше разобраться в темах ML, искусственного интеллекта и дата-аналитики. Какие перспективы у LLM и BI? Куда Amazon и Google инвестировали более $4 млрд? Как организовать работу аналитических команд? Отвечаем на вопросы в статье.

Еще больше полезных материалов по DataOps и MLOps — в Telegram-сообществе «MLечный путь».
Читать дальше →

От Style Transfer до диффузии: эволюция визуальных эффектов на смартфонах

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров2.8K


Четыре года я занимаюсь разработкой различных спецэффектов для фото и видео в мобильных приложениях. Вроде бы это локальная и как бы несерьезная тема, но одну только плачущую маску в Snapchat посмотрели 9 млрд раз. Такие штуки пользуются бешеной популярностью и здорово повышают виральность мобильных приложений, но с каждым годом удивлять людей становится все сложнее.


В этой статье я разберу эволюцию видеоэффектов, поделюсь наблюдениями и раскрою пару инсайдов о том, как перенести стилизацию изображения из StableDiffusion на смартфоны.

Читать дальше →

Как страшненький лендинг Midjourney втрое повысил конверсию, а банальные тексты Chat GPT оказались вдвое кликабельнее

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров17K

Неочевидный маркетинг с Chat GPT и Midjourney. ИИ придумал УТП для разных ценовых сегментов аудитории, а потом написал скрипт для подмены контента на сайте, и это на 23% повысило конверсию. Рекомендация от нейросети увеличила на 5% бронирования в сети отелей. Как задавать нейросетям правильные запросы и получать классные маркетинговые решения.

Расскажем, о нашем практическом опыте использования нейросетей в контекстной рекламе и интернет-маркетинге. Вы узнаете:

1. Как сделать рекламные объявления в 2 раза более кликабельными при помощи Chat GPT

2. Как рекомендация от нейросети принесла дополнительные 5% бронирований для сети отелей

3. Как ИИ придумал эффективное УТП для разных ценовых сегментов аудитории

4. А потом ИИ написал скрипт для подмены контента на сайте, и это на 23% увеличило его конверсию

5. Как страшненький на вид лендинг от Midjourney оказался в 3 раза более конверсионным

6. Как правильно пользоваться нейросетями: 6 выводов для интернет-маркетолога

Читать далее

Объясняем простым языком, что такое трансформеры

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров62K

Облако предлагает много возможностей для развития ИИ. С помощью облачных вычислений проще масштабировать ML-модели, повышать точность обучения и предоставлять данные удаленно пользователям. Однако масштабное развертывание ML-моделей требует понимания архитектуры нейронных сетей. 

Один из важнейших инструментов машинного обучения — трансформеры. Популярность трансформеров взлетела до небес в связи с появлением больших языковых моделей вроде ChatGPT, GPT-4 и LLama. Эти модели созданы на основе трансформерной архитектуры и демонстрируют отличную производительность в понимании и синтезе естественных языков. 

Хотя в сети уже есть хорошие статьи, в которых разобран принцип действия трансформеров, большинство материалов изобилует запутанными терминами. Мы подготовили перевод статьи, в которой без кода и сложной математики объясняют современную трансформерную архитектуру.

Читать далее

Машинное обучение помогает классическому моделированию квантовых систем

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.9K

Используя «классические тени», обычные компьютеры могут превзойти квантовые компьютеры в сложной задаче понимания квантового поведения. 

Понять квантовую вселенную — задача непростая. Интуитивные представления о пространстве и времени терпят крах в крошечной сфере субатомной физики, допуская поведение, которое нашему макрочувству кажется совершенно странным. 

Квантовые компьютеры должны позволить нам использовать эту странность. Такие машины теоретически могли бы исследовать молекулярные взаимодействия для создания новых лекарств и материалов. Но, возможно, самое важное то, что сам мир построен на этой квантовой вселенной — если мы хотим понять, как она работает, нам, вероятно, понадобятся квантовые инструменты. 

Читать далее

Борьба с несбалансированными данными

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров24K

Привет,Хабр!

Почему несбалансированные данные - это такая большая проблема? Все начинается с того, что в реальном мире классы могут быть не равномерно представлены в наших данных. Например, в задаче обнаружения мошенничества с кредитными картами, обычные транзакции будут составлять большую часть данных, в то время как мошеннические операции будут редкими. Если модель обучается на таких данных, она склонна к смещению в сторону более представленного класса, и это может привести к плохим результатам в реальном мире.

Борьба с несбалансированными данными - это не просто задача улучшения производительности моделей, это вопрос надежности и безопасности.

Что же делает борьбу с несбалансированными данными такой сложной задачей?

Читать далее

Как экспертиза в области мониторинга событий ИБ помогает создавать качественные продукты. Часть 3

Время на прочтение6 мин
Количество просмотров2.9K

Друзья, и снова привет. Меня зовут Алексей Потапов, я представляю отдел обнаружения атак экспертного центра безопасности Positive Technologies (PT Expert Security Center). Продолжу историю о том, как наши знания обогащают продукты Positive Technologies, чтобы они обеспечивали конечную цель — результативную кибербезопасность. Ранее мы уже рассказывали вам о нашем подходе к обнаружению атак в SIEM-системах и, не побоюсь этого слова, киллер-фиче — механизме построения цепочек запускаемых процессов на основе нормализованных событий.

В этот раз поговорим о том, как в продукты для кибербезопасности проникают технологии machine learning (ML, машинное обучение) — на примере использования ML-модуля для поведенческого анализа в MaxPatrol SIEM. О некоторых технических аспектах работы отдельно взятых моделей мы недавно рассказали на Positive Hack Days — запись можно посмотреть тут (также есть в формате статьи). Еще больше подробностей читайте в другом материале на Хабре.

Читать далее

Предсказание остановок оборудования с использованием LSTM и Байесовского подхода

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров4.5K

Привет, дорогие читатели Хабра! 

Исследования выполнено в рамках выпускного проекта на курсе Machine Learning Advanced в OTUS. Рецензенты проекта - @bekemax, @stureiko

Данные были предоставлены ПАО «Северсталь» для хакатона ЛИДЕРЫ ЦИФРОВОЙ ТРАНСФОРМАЦИИ 2023

В проекте развиты и реализованы в коде идеи Давида Пагано (Davide Pagano) из статьи A predictive maintenance model using Long Short-Term Memory Neural Networks and Bayesian inference, опубликованные в Decision Analytics Journal в марте 2023. Из-за соглашения о неразглашении никакие подробности о компании, а также ее данные и какой-либо код для иллюстрации исследования автором в статье предоставлены не были.

Читать далее

Как получить полезную информацию из своих категориальных признаков?

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров12K

В этой статье я выскажу свою точку зрения о том, что из себя представляют категориальные признаки. Расскажу про способы работы с ними, которыми пользуюсь сам как антифрод-аналитик в Каруне.

Читать далее

Ближайшие события

12 лучших инструментов аннотирования изображений на 2023 год

Время на прочтение11 мин
Количество просмотров4.5K

С развитием сферы искусственного интеллекта (AI) увеличивается и спрос на высококачественные инструменты аннотирования изображений. Аннотирование изображений — это процесс добавления в изображения метаданных, например, меток или тэгов, чтобы их было проще распознавать и выполнять по ним поиск машинам. Этот процесс критически важен для обучения моделей ИИ, чтобы они могли точно распознавать и классифицировать изображения.

При таком большом количестве имеющихся инструментов аннотирования изображений может быть сложно понять, какие из них лучше подходят под ваши потребности. Чтобы помочь вам сделать более обоснованное решение, мы составили список двенадцати лучших инструментов аннотирования изображений на 2023 год.

В этой статье мы обсудим критерии, использованные для оценки этих инструментов, их плюсы и минусы, а также сравним их между собой. Также мы приведём отзывы и рейтинги пользователей, варианты цен и тарифов и информацию об интеграции с другим ПО и платформами.
Читать дальше →

Работа с временными рядами в Python. Часть 2

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров17K


Добро пожаловать во вторую часть нашей серии статей "Работа с временными рядами в Python." В первой части, мы ознакомились с основами работы с временными рядами и научились анализировать и визуализировать их. Теперь мы переходим к более продвинутым аспектам этой увлекательной темы.
Читать дальше →

Выявление схожести между произведением искусства из коллекции музея и работами автора методами ML

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров1.6K

Идею работы: «Похоже ли произведение искусства из коллекции музея на работы автора?» я придумала под датасет Музея MoMa. Конечно, хотелось бы установить: оригинал или подделка? Но для ответа на такой категоричный вопрос данных оказалось недостаточно.

У проекта было несколько целей. Разработка модели машинного обучения, способной оценить схожесть произведения искусства из коллекции музея на основе анализа её характеристик и работ автора, её создавшего. Исследование различных моделей машинного обучения для выявления схожести работ, таких как Logistic Regression, Decision Tree, Random Forest, LightGBM, CatBoost. Оценка точности и эффективности моделей, выбор лучшей. Выработка рекомендаций для дальнейшего улучшения системы выявления схожести, чтобы сделать её более точной и полезной для анализа произведений искусства.

Читать далее

Как выбрать GPU для машинного обучения

Время на прочтение5 мин
Количество просмотров18K

Машинное обучение позволяет компьютерам извлекать данные, находить закономерности и принимать решения на их основе в различных отраслях. Например, в медицине его используют для анализа рентгеновских снимков и МРТ. Автономные транспортные средства с их помощью строят маршруты, а в финансисты прогнозируют рыночные тенденции.

Центральные процессоры не подходят для таких сложных задач из-за отсутствия возможности параллельной обработки данных, длительного времени обучения и ограниченной пропускной способности. Поэтому организации все чаще приобретают графические процессоры или арендуют облачные сервисы с GPU.

В этом материале мы рассказали, на какие параметры графических ускорителей стоит обращать внимание, если планируете работать с машинным обучением.

Читать далее

Диффузионные модели в CV. Что за зверь?

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров10K

Всех приветствую! Статья посвещена диффузионным моделям в компьютерном зрение. Цель статьи сформировать понимания (надеюсь) работы данного типа моделей. Попытаемся разобраться что это такое и как это устроено.

Если объяснять в двух словах, то идея заключается в следующем: берем картинку, постепенно добавляем к ней шум в течении некоторого количества шагов, а после обучаем нейронку восстанавливать из зашумленной картинки исходную.

Если хочется узнать побольше, то welcome!

Продолжение смотреть в источнике....

Разработан инструмент, позволяющий художникам «отравлять» свой контент для ИИ

Время на прочтение4 мин
Количество просмотров12K

С тех пор, как год назад вышел ChatGPT, индустрия генерации цифрового контента находится в суматохе. Всех постепенно начинает вытеснять ИИ. Ряд художников, авторов, исполнителей, и даже звукозаписывающие компании подали многочисленные иски против компаний, занимающихся искусственным интеллектом, в основном против OpenAI. Все они касаются одного: обучающих данных. Компании ходят по всему интернету и собирают миллиарды фрагментов текста/звука, а также миллионы изображений в дата-сеты для тренировки своих моделей ИИ. Естественно, авторам или владельцам контента за это никто не платит, и их даже вообще никак не нотифицируют. Развитие технологии превыше всего.

Чтобы пресечь такой сбор данных, Reddit и X этим летом запретили доступ к своим API сторонним приложениям. Но обычные дизайнеры и цифровые художники не имели никакой возможности противостоять использованию их работ для обучения новых коммерческих ИИ. Теперь в их руках появляется более радикальный инструмент: система Nightshade. Которая отравляет любое изображение, которое ИИ просканировал без твоего разрешения.

Читать далее

Без работы не останемся: к 2030 году ИИ добавит семь новых профессий

Время на прочтение9 мин
Количество просмотров15K

ChatGPT стремительно захватывает весь мир. Уже сейчас у нейросети более 100 миллионов пользователей — ни у какого другого приложения не было таких темпов роста. Без сомнения, с его появлением мы будем работать по-другому. 


Другие компании тоже почти не отстают от OpenAI — каждый день мы видим революционные достижения генеративного ИИ. За этими инновациями стоят не только NVIDIA, Midjourney и другие ИТ-гиганты, но и стартапы, и Open-Source-сообщество. В ближайшие годы рынок труда ждут кардинальные перемены. ИИ заменит самые разные работы, но, думаю, он же предложит нам новые очень интересные профессии. 

Читать дальше →

Вклад авторов