Как стать автором
Поиск
Написать публикацию
Обновить
857.42

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Локальные нейросети (генерация картинок, локальный chatGPT). Запуск Stable Diffusion на AMD видеокартах

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров81K

Многие слышали про Midjourney, но про то, что есть локальная Stable Diffusion, которая может даже больше, знает уже куда меньше людей, или они не знают, что она локальная. И если они пробовали её онлайн, то быстро приходили к выводу, что она сильно хуже чем Midjourney и не стоит обращать на неё более внимания. И да, SD появился раньше Midjourney. Для запуска хватит и cpu или 4гб видеопамяти.

Аналогично с chatGPT, про попытку сделать его локальную версию, не требующую супер компьютер, тоже мало кто слышал и знает, несмотря на то, что выходило несколько статей.

Читать далее

Infinityformer: новый подход к обработке длинных последовательностей большими языковыми моделями

Уровень сложностиСложный
Время на прочтение4 мин
Количество просмотров2.4K

Трансформеры - это отличные нейросети для работы с текстом, речью, изображениями и другими типами данных, но они сталкиваются с проблемой ограниченной длины контекста, к которому они могут обращаться. Чем длиннее последовательность, тем больше вычислений требуется для того, чтобы трансформер мог учитывать все элементы. Это приводит к тому, что трансформеры не могут эффективно моделировать долгосрочные зависимости и запоминать важную информацию из прошлого. Infinityformer решает эту проблему, используя непрерывный механизм внимания, который позволяет обращаться к прошлому контексту как к непрерывному сигналу, а не как к дискретной последовательности.

В этой статье я максимально хардкорно расскажу о том, как работает Infinityformer.

Читать далее

Обзор современных автономных технологий в России

Время на прочтение2 мин
Количество просмотров2.5K

Автономные технологии становятся все более актуальными в современном мире, и Россия не остается в стороне от этого процесса. В этой статье мы рассмотрим успешные примеры автономных технологий в России, среди которых проекты компании «Яндекс» в Иннополисе и дроны НТР Томск, демонстрирующие инновационный подход и значительный потенциал для дальнейшего развития.

Читать далее

Скоростной серфинг по библиотеке с помощью ChatGPT

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров3.6K

В прошлой статье в теории были рассмотрены некоторые аспекты использования ChatGPT в узконаправленной области изучения библиотеки Bullet Physics library. Теперь попробую привести практический пример.

Серфим далее

Начинаем работу с PyTorch 2.0 и Hugging Face Transformers

Время на прочтение6 мин
Количество просмотров17K

В этом посте разберем работу с PyTorch 2.0 и Hugging Face Transformers на примере fine‑tune модели BERT для классификации текста.

PyTorch 2.0 лучше по производительности, скорости работы, более удобный для Python, но при этом остается таким же динамическим, как и ранее.

1. Настройка окружения и установка PyTorch 2.0.

2. Загрузка и подготовка датасета.

3. Fine‑tune и оценка модели BERT с помощью Hugging Face Trainer.

4. Запуск инференса и тестирование модели.

Читать далее

Интервью с ChatGPT-4 о критическом мышлении

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров3.6K

Илья - Если человек живет в авторитарном государстве, как обучать его семью критическому мышлению, не подвергая их опасности / не ставя в неблагоприятное социальное положение?

ChatGPT: это возможно сделать осмотрительно и безопасно. Вот несколько стратегий:

В деталях ->

Гонка по развитию ИИ вышла из-под контроля и настолько же опасна, как и Манхэттенский проект

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров5.4K

Подобно созданию атомной бомбы  искусственный интеллект изменит всё - проблема в том, что мы не знаем как.

Автор оригинала: Dan Snow

Читать далее

Выбор слоя активации в нейронных сетях: как правильно выбрать для вашей задачи

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров53K

В машинном обучении и нейронных сетях слои активации играют очень важную роль в процессе обработки данных. В этой статье мы рассмотрим, что такое слои активации, как они работают и как выбрать наиболее подходящий слой для вашей задачи.

Что такое слои активации?

Слои активации - это один из основных типов слоев, которые используются в нейронных сетях. Они представляют собой функцию, которая добавляет нелинейность к выходу предыдущего слоя. Это позволяет нейронной сети лучше моделировать сложные функции и более точно предсказывать результаты.

Как работают слои активации?

Слои активации принимают на вход результаты предыдущего слоя, называемые входом, и преобразуют их в выходное значение, которое передается следующему слою. Для этого они используют функцию активации, которая определяет, каким образом данные будут преобразованы.

Читать далее, чтобы повысить кругозор

Segment Anything: создание первой базисной модели для сегментации изображений

Время на прочтение9 мин
Количество просмотров6.1K

Сегментация, то есть распознавание пикселей изображения, принадлежащих объекту — базовая задача компьютерного зрения, используемая в широком спектре применений, от анализа научных снимков до редактирования фотографий. Однако для создания точной модели сегментации под конкретные задачи обычно требуется высокоспециализированный труд технических экспертов, имеющих доступ к инфраструктуре обучения ИИ и большим объёмам тщательно аннотированных данных, относящихся к предметной области.

Наша лаборатория Meta AI* стремится сделать сегментацию более доступной, основав проект Segment Anything: новую задачу, датасет и модель для сегментации изображений (подробности см. в нашей исследовательской статье). Мы публикуем нашу Segment Anything Model (SAM) и датасет масок Segment Anything 1-Billion mask dataset (SA-1B) (крупнейший в мире датасет сегментации), чтобы их можно было использовать во множестве разных областей и стимулировать дальнейшие исследования базисных моделей компьютерного зрения. Мы открываем доступ к датасету SA-1B, позволяя использовать его в исследовательских целях; модель Segment Anything Model доступна по открытой лицензии (Apache 2.0). Вы можете протестировать демо SAM со своими собственными изображениями.

* Принадлежит корпорации Meta Platforms, которая признана экстремистской организацией, её деятельность в России запрещена.
Читать дальше →

Распознаем автомобильные номера на TorchServe

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров6.7K

Вокруг так много фреймворков для инференса нейронок, что глаза разбегаются. Продолжаем цикл о реализации сервинга задачи распознавания номеров разными инструментами. В прошлый раз это был Triton, а сейчас TorchServe.

Читать далее

Знакомимся с Notion Ai

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров25K

В этой статье мы будем говорить о Notion AI - новой языковой модели, которая недавно была представлена в мире искусственного интеллекта.

Notion AI встроен в Notion, который многие программисты используют для документации и ведения проектов.

Читать далее

ChatGPT: влияем на галлюцинации или как потопаешь, так и полопаешь

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров12K

В этой статье посмотрим как можно влиять на так называемые «галлюцинации» ChatGPT.

А что такое эти «галлюцинации»? По сути это придумывание фактов нейронной сетью, ну или просто — враньё. Управление «галлюцинациями» позволит получать то что мы хотим, ну или по крайней мере улучшит вероятность получения правдивого ответа.

Читать далее

Астрологи объявили неделю нейроарта на Хабре

Время на прочтение5 мин
Количество просмотров26K

Однажды весною, в час небывалого жаркого заката, на Хабре объявили конкурс, посвящённый технологиям искусственного интеллекта. В Сезоне Data Mining мы собрали статьи об обработке больших данных. Из Сезона ML узнали, как работают нейросети и с чем их готовить. В разработке ещё один Сезон на эту тему. Мы решили передохнуть и объявляем неделю нейроарта. Участвовать может любой автор, который опубликует статью с 4 по 14 апреля 2023 года и добавит на картинку в ленте изображение от Kandinsky 2.1. Подробности под катом.

Читать далее

Ближайшие события

Йошуа Бенжио о замедлении развития ИИ-систем, которые проходят тест Тьюринга

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров3.9K

Примечание переводчика: Йошуа Бенжио это один из самых авторитетных и цитируемых исследователей ИИ в мире. Он получил премию Тьюринга в 2018 году вместе с Джеффри Хинтоном и Яном Лекуном за развитие алгоритмов и теории искусственного интеллекта. Из этой троицы, Хинтон, как и Бенжио, тоже, кажется, сильно обеспокоен траекторией развития ИИ. Лекун наиболее оптимистичен и наименее озабочен. Завтра, в пятницу, Лекун вместе с Эндрю Нг проведут вебинар, на котором расскажут, почему они против идеи замедления развития систем, более мощных, чем GPT-4.

Читать далее

Книга «Машинное обучение. Портфолио реальных проектов»

Время на прочтение11 мин
Количество просмотров7.2K
image Привет, Хаброжители!

Изучите ключевые концепции машинного обучения‚ работая над реальными проектами! Машинное обучение — то, что поможет вам в анализе поведения клиентов, прогнозировании тенденций движения цен, оценке рисков и многом другом. Чтобы освоить машинное обучение, вам нужны отличные примеры, четкие объяснения и много практики. В книге все это есть!

Автор описывает реалистичные, практичные сценарии машинного обучения, а также предельно понятно раскрывает ключевые концепции. Вы разберете интересные проекты, такие как сервис прогнозирования цен на автомобили с использованием линейной регрессии и сервис прогнозирования оттока клиентов. Вы выйдете за рамки алгоритмов и изучите важные техники, например развертывание приложений в бессерверных системах и запуск моделей с помощью Kubernetes и Kubeflow. Пришло время закатать рукава и прокачать свои навыки в области машинного обучения!
Читать дальше →

Как я решила попробовать себя в ML: анализ эмоциональной окраски отзывов с Кинопоиска 2.0

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3.1K

Недавно я решила попробовать реализовать задачу анализа эмоциональной окраски отзывов с Кинопоиска. Я бы хотела поделиться своим опытом и описать шаги, которые использовала для реализации стоящей передо мною задачей.

Итак, в самом начале у меня был только датасет и опорный план для дальнейшей реализации всего этого дела, приступим :)

Шаг 1: получение данных | main.py + reviews_data.zip

Скачиваем json-файлы с отзывами и затем читаем данные из файла. Добавляем полученные отзывы в общий список.

Читать далее

Снижаем размерность эмбеддингов предложений для задачи определения семантического сходства

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров3.9K

Привет, Хабр!

Меня зовут Николай Шукан, я Data Scientist и участник профессионального сообщества NTA. Сегодня речь пойдет о методах снижения размерности эмбеддингов для задач определения семантического сходства предложений.

С каждым годом растет сложность моделей, решающих вопросы семантически- и контекстно-ориентированной обработки естественного языка (NLP). Также нельзя забывать и про проблемы мультиязычности моделей. Все это сильно сказывается на увеличении их размеров и системных требований к железу для их обучения, дообучения, да и просто запуска.

Перед мной стояла задача найти и обобщить текстовые данные, представляющие собой массив предложений. Я точно знал, что среди них есть семантически схожие фразы. Однако прямой подход для определения семантического сходства наборов фраз требовал очень много памяти и времени. Чтобы решить эту проблему, я попытался уменьшить размерность векторов признаков предложений, но как понять, когда остановиться и что это даст?

Узнать подробности

Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе

Уровень сложностиПростой
Время на прочтение21 мин
Количество просмотров63K

История про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться – есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?

Читать далее

Шесть экспериментов с нейросетями — от Midjourney до Notion AI

Время на прочтение4 мин
Количество просмотров15K

На Хабре много обзоров нейросетей вроде Midjourney и ChatGPT. Мы пошли дальше и поэкспериментировали с ними: устроили им краш-тест, сравнили между собой и испытали их на нетипичных задачках. В подборке собрали самые интересные результаты. Сохраняйте статью в закладки и пишите в комментариях, какие эксперименты хотели бы увидеть в нашем блоге.
Читать дальше →

Руки на руль: Bus Factor следит за тобой

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров1.9K

Привет, Хабр, меня зовут Антон Рябых, работаю в Doubletapp. Расскажу вам о том, как мы придумали сервис, контролирующий поведение водителей общественного транспорта с помощью алгоритмов машинного обучения и компьютерного зрения.

К нам обратилась компания «Термотех», которая занимается городскими перевозками. Организатору движения нужно было автоматически понимать, что:

водитель общественного транспорта не пользуется телефоном во время движения;
камера, установленная в салоне водителя, снимает с верного ракурса, не отвернута в сторону;
от камеры в целом идет сигнал, она не повреждена, не завешена и не загрязнена.

Ранее задача решалась силами сотрудников «Термотеха» — они вручную просматривали все записи с камер видеонаблюдения, установленных в кабинах водителей. Такой подход занимал огромное количество времени и все равно приводил к ошибкам, основанным на человеческом факторе.

Как мы решали эту задачу?
Как это работает?

Читать далее

Вклад авторов