Машинное обучение *

Развертывание локальной версии нейросети LLaMA с использованием Docker

Привет! В этом руководстве я покажу, как в несколько команд развернуть локальную версию нейросети LLaMA на вашем компьютере или сервере (работает на Windows, macOS и любых дистрибутивах Linux).

Шаг 1: Установка Docker

Для начала, установите Docker. Новичкам рекомендуется установить Docker Desktop.

Шаг 2: Запуск Docker контейнера

Откройте консоль и выполните следующую команду:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Эта команда развернет локальный образ llama, который будет работать исключительно на вашем процессоре. Также существует вариант использования Nvidia GPU, с инструкциями можно ознакомиться здесь.

Шаг 3: Запуск языковой модели

Для запуска самой модели выполните команду:

docker exec -it ollama ollama run llama3:8b

Эта команда загрузит и запустит языковую модель llama3:8b (4.7GB). Также доступна более крупная версия llama3, 70b (40GB). Вы можете запускать и другие модели, список которых доступен здесь.

Чтобы запустить другую модель, используйте команду:

docker exec -it ollama ollama run model_name:tag

Интеграция в проекты

Использование языковой модели в таком формате может показаться неудобным. Более интересно интегрировать ее в свои проекты, например, в Telegram-бота с использованием Python.

Если вам интересно, как это сделать, подписывайтесь на меня. В следующем посте я покажу, как использовать локальную нейросеть (llama3) в Python проектах, включая создание Telegram-бота.

«Яндекс» сообщил Хабру, что компания провела в Алматы фестиваль технологий Yandex Qazaqstan Day, где представила сервис «Нейро» для Казахстана спустя два с половиной месяца после релиза в России.

Проект «Нейро» объединяет возможности поиска и больших генеративных моделей. Пользователь может задать в сервис любой вопрос на казахском или русском языке. «Нейро» изучает информацию из всего казахоязычного и глобального интернета и собирает её в один ёмкий ответ со ссылками на источники. Сервис уже доступен на yandex.kz.

В «Яндексе» пояснил, что «Нейро» понимает естественный язык общения. Чтобы спросить его о чём‑то, не нужно подбирать формулировки: можно писать запросы так, как они приходят в голову. Кроме того, он умеет отвечать на вопросы, для которых обычно нужно изучить несколько источников. Например: «Какие есть популярные туристические направления на юге Казахстана?».

Также к текстовому запросу можно добавить картинки. Например, сфотографировать яблоки и спросить, что это за сорт. «Нейро» может ответить на казахском или на русском, в зависимости от того, на каком языке был задан вопрос.

В ходе конференции GigaConf 2024 вице-президент по кибербезопасности «Сбера» Сергей Лебедь рассказал, что искусственный интеллект (ИИ) в кибербезопасности не заменит человека, а придаст импульс появлению новых профессий, включая оператора кибераватара, тренера моделей, конструктора агентов, специалиста по знаниям.

По данным представителя компании, ежедневно в «Сбере» обрабатывается порядка 500 млрд событий в сфере кибербезопасности — в 10 раз больше, чем четыре года назад. За это же время в 2,5 раза выросло ежемесячное количество транзакций, а число изменений в цифровых продуктах увеличилось в 10 раз.

В «Сбере», сейчас видят три варианта построения процессов кибербезопасности с использованием технологий ИИ:

• традиционные процессы, сконструированные людьми, — ИИ-агенты будут исполнять их и сообщать об отклонениях в их выполнении;

• ИИ самостоятельно конструирует новые процессы, человек берёт на себя роль конструктора «мозга» ИИ;

• наиболее футуристический вариант: человек декларативно ставит задачу и оценивает результативность, ИИ‑система сама от и до определяет, как будет решена задача.

«При этом ключевым умением ИИ должно быть самообучение и переход от процесса обработки данных к применению знаний. Это значит, что ИИ должен уметь получать опыт, обобщать его, познавать и понимать. То есть, по сути, быть мыслящей сущностью, самостоятельно принимающей верные решения и совершающей верные действия в каждом конкретном случае», — пояснил вице-президент по кибербезопасности «Сбера».

Итоги мини-конкурса с Тирексами, комментариями и большой языковой моделью

Три недели назад мы опубликовали статью о sentiment-анализе комментариев в блоге Selectel. И пообещали, что хабраюзеры смогут получить наших плюшевых Тирексов за свои комментарии. Вот только оценивали их не мы, а большая языковая модель с Hugging Face. Кстати, ссылка на модель тоже была в статье.

Итак, что же мы имеем?

Прежде всего, аплодируем находчивости @Galim999. Да, к креативности и осмысленности комментариев есть вопросы, но чисто технически условие конкурса выполнено. LLM посчитала первый комментарий самым негативным, а второй — самым позитивным. С — смекалочка. И мы бы отдали сразу двух Тирексов, но…

Мы не смогли пройти мимо комментария @fenrir1121. 73 лайка говорят сами за себя. Тут однозначно должен быть Тирекс за креатив 😊 Кстати, LLM оценила оставленный комментарий как негативный.

Победители, ваши Тирексы ждут вас! Напишите в личные сообщения @El_Gato_Grande, чтобы уточнить, как вы можете получить свои призы.

Исследователи Штутгартского университета в Берлине выпустили обновление нейросети Toucan для преобразования текста в речь. Теперь модель машинного обучения поддерживает более 7 тыс. языков и диалектов. Код проекта открыт и опубликован на GitHub, а в разработке использовали Python и PyTorch.

Вместе с этим авторы проекта поделились датасетом на 598 ГБ и развернули демо на платформе Hugging Face (есть русский язык).

Где вы будете в следующий четверг? Мы — на GigaConf!

27 июня в креативном пространстве «Дизайн-завод» в Москве соберутся инженеры и разработчики из ведущих технологических компаний: Ozon Банк, Сбер, Huawei, Positive Technologies, МТС Digital, Альфа-банк и Cloud.ru в том числе😉.

На конференции наши эксперты расскажут про:

• платформу для достижения технологического суверенитета, спикер — Михаил Сайнуков;

• секреты разработки и развертывания cloud native-приложений и микросервисов на базе serverless-технологии, спикер — Михаил Бондаревский;

• опыт создания платформы данных с нуля, спикер — Ася Грибанова;

• обучение и инференс больших языковых моделей — как эффективно использовать дорогостоящие GPU-ресурсы, опыт успешного и неудачного применения LLM. Спикер — Дмитрий Юдин;

• внедрение DevSecOps, которое не увеличит время релизов — как добились сканирования кодовой базы в 20 тысяч строк за 30 секунд, с какими проблемами столкнулись и как их решили. Спикеры — Алексей Подольский и Сергей Губарев.

А программу GigaConf откроют старший вице-президент Сбера Андрей Белевцев, лидер сообщества MindSpore Hu Xiaoman, управляющий директор SberDevices Сергей Марков, а также специальный гость — министр цифрового развития Максут Шадаев.

📅 Когда: 27 июня в 10:00 мск — офлайн и 11:00 — онлайн

👉Зарегистрироваться

Будем рады встрече на GigaConf!

Интересное в блоге:

• Что такое free tier и какие облачные ресурсы вы можете бесплатно использовать прямо сейчас

• Запускаем кластер OpenSearch для централизованного хранения лог

MTS AI выводит на рынок ассистента для разработчиков — ИИ-сервис Kodify, созданный на базе собственной большой языковой модели (Large Language Model, LLM) Cotype.

Сообщается, что ИИ-система может сгенерировать исходный код с нуля по текстовому описанию на естественном языке или предложить наиболее релевантное продолжение кода на основании того, что содержится до и после выбранного фрагмента.

Модель не требует дообучения и доступна клиентам сразу после установки. Kodify поддерживает наиболее популярные среды разработки и генерирует код на Python и Java. По запросу клиента разработчики MTS AI могут добавить поддержку Go и других популярных языков программирования. Также Kodify может перевести код с одного языка на другой — например, для оптимизации устаревшего софта или интеграции с другим проектом.

В планах разработчиков добавить в Kodify помочь в анализе и оптимизации кода, например сервис сможет проверить код на наличие ошибок и уязвимостей, проведёт автоматические тесты, предложит варианты рефакторинга, а также автоматически составит документацию по выделенному фрагменту.

Kodify можно запустить в формате on-premise на инфраструктуре заказчика — вся обработка и генерация кода будет происходить только в контуре компании. «Это также позволит дополнительно обучить нейросеть на собственных примерах и полностью управлять источниками информации», — пояснил в MTS AI.

Энтузиаст спроектировал и построил систему Pixelbot 3000. Это принтер Lego, который умеет автоматизировать процесс сборки сложной мозаики размером 32x32 квадратика из разноцветных кубиков (доступно 15 цветов) популярного конструктора с помощью ИИ (DALL-E 3 от OpenAI).

В Китае запустили большой эксперимент по использованию большого парка электротакситакси с автопилотом. В Ухани выпущено на дороги общественного пользования 500 машин без водителей. Эксперты по ИИ и власти города уже решили далее масштабировать эксперимент до 1000 машин после первоначальных тестов. В таких такси на месте водителя никто не сидит.

В лаборатории Jouhou System Kougaku Токийского университета создали прототип робота-гуманоида Musashi, который умеет водить автомобиль. В головной части робота размещены две подвижные камеры: по одной на каждый глаз. С их помощью робот получает данные о том, что происходит вокруг. Камеры могут поворачиваться и наклоняться, например, чтобы Musashi посмотрел в зеркало заднего вида.

С помощью ручных захватов с пальцами робот может управлять рулевым колесом машины, а также включать зажигание и поворотники. На газ и тормоз он нажимает двумя ножными конечностями. Главное преимущество такого решения заключается в том, что роботу не требуются камеры, лидары и прочие датчики и технологии для запуска режима беспилотного вождения в любом типе транспорта.

Пока что этот проект находится на первоначальной стадии разработки. В ходе первых испытаний стало ясно, что роботу нужно научится быстрее двигать руками, особенно в поворотах, чтобы управлять обычной машиной на уровне человека.

Пользователи социальных сетей отмечают, что инженеры Stability AI слишком сильно зацензурили модель машинного обучения Stable Diffusion 3. Компания боролась с генерацией NSFW-контента, и теперь подобные запросы выдают пугающий результат. Люди на таких изображениях обезображены и слабо похожи на людей.

Я думаю, многие уже слышали о том, что в общий доступ выложили Stable Diffusion 3.

Скачать ее можно, например, на Hugging Face. Мое внимание привлект тот факт, что SD3 во-первых достаточно скромная по требованиям к железу - версия Medium влезает в мою старую GTX 1080 с 8 GB памяти, а во-вторых, она наконец-то может рисовать сносный пиксель-арт, который никак не получался у прошлых версий.

Я не мог пройти мимо такой возможности, по-быстрому набросал телеграм-бота, который пинает мою локальную SD3 Medium и постит получившеся в группу Pixel Diffusion в телеграме. Генерация на моей древней видеокарте занимает минут 15, соответственно, постит он примерно каждые 15 минут. Я не думаю, что буду в таком режиме крутить его неделями, но пока пусть поработает и поисследует пространство состояний. Кто любит пиксель-арт - добро пожаловать!

Код, который это все делает - предельно простой. Достаточно установить библиотеку diffusers из pip, а дальше дело техники.

from diffusers import StableDiffusion3Pipeline
from PIL import Image

# отключаем тяжеловесный текстовый энкодер и токенайзер, которые не влезут в 8 GB видеопамяти
pipeline = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", text_encoder_3=None, tokenizer_3=None,  torch_dtype=torch.float16).to('cuda')

# prompt собирается из двух кусков, взятых рандомно из больших списков, сгенеренных ChatGPT

image = pipeline(prompt, width=1024, height=1024).images[0]
image.save(f_name)

Министр просвещения РФ Сергей Кравцов предложил сделать международной олимпиаду по искусственному интеллекту, предназначенную для школьников.

«По поводу международных олимпиад по искусственному интеллекту, наша страна уже несколько лет подряд для школьников такую олимпиаду проводит, мы предлагаем ее сделать международной. Мы уверены, что взаимодействие в проведении такой международной олимпиады позволит нам развивать все перспективные направления, которые мы сегодня обсуждаем», — заявил Кравцов на II Международном форуме министров образования «Формируя будущее».

С 2021 года олимпиада по искусственному интеллекту (ИИ) и программированию проходит для российских школьников в 8-11 классов. За это время в ней приняли участие около 40 тыс. школьников. Участники олимпиады в течение двух дней решают задачи, основанные на реальных данных компании VK, принимают участие в профориентационных и развлекательных мероприятиях, встречаются с экспертами в сфере искусственного интеллекта.

Siri в iOS 18 предупреждает, что ChatGPT может лгать. Уведомления «ChatGPT. Проверьте важную информацию на наличие ошибок» появлялись под каждой демонстрацией интеграции ChatGPT с Siri во время выступления Apple на WWDC 2024.

Эксперты считают, что факт, что Apple поместила в свои устройства то, чему она не полностью доверяет, является огромным шагом для компании.

В iPhone встроили ChatGPT бесплатно и без регистрации. Нейросеть будет встроена прямо в Siri с iOS 18. Все ИИ-функции будут доступны только в США и только на английском.

Система Apple Intelligence будет доступна в iOS 18, iPadOS 18 и macOS Sequoia. ChatGPT 4o появится на iOS, macOS и iPadOS «позже в 2024 году». Siri сможет к нему обратиться, если «не сможет сама выполнить команду». Перед этим система спросит разрешение пользователя. В будущем компания хочет использовать и другие модели искусственного интеллекта.

Илон Маск пригрозил, что в случае массового внедрения презентованного сегодня ИИ-проекта Apple Intelligence он запретит все устройства Apple в своих компаниях.

Маск также добавил, что «Apple понятия не имеет, что на самом деле происходит, когда они передают ваши данные OpenAI», а все посетители в офисах его компаний будут проверяться на предмет наличия устройств Apple, которые планируется помещать в клетку Фарадея.

По словам Маска, самое идеальное решение было бы оставить Apple Intelligence в качестве отдельного приложения, а не встраивать во все сервисы и внутрь iOS 18.

Это просто абсурд, что Apple недостаточно умна, чтобы создать свой собственный ИИ, но при этом каким-то образом может гарантировать, что OpenAI защитит вашу безопасность и конфиденциальность!

Apple понятия не имеет, что на самом деле происходит, когда они передают ваши данные OpenAI. Они продают вас втридорога.

Илон Маск.

В iPhone встроили ChatGPT бесплатно и без регистрации. Нейросеть будет встроена прямо в Siri с iOS 18. Все ИИ-функции будут доступны только в США и только на английском.

Система Apple Intelligence будет доступна в iOS 18, iPadOS 18 и macOS Sequoia. ChatGPT 4o появится на iOS, macOS и iPadOS «позже в 2024 году». Siri сможет к нему обратиться, если «не сможет сама выполнить команду». Перед этим система спросит разрешение пользователя. В будущем компания хочет использовать и другие модели искусственного интеллекта.

Ранее на WWDC 2024 Apple, спустя 14 лет после релиза своего планшета, наконец‑то добавила в iOS 18 штатное приложение «калькулятор» в iPad с возможностью делать «математические заметки».

Сооснователь компании OpenAI, экс-директор по ИИ и бывший глава отдела разработки автопилота Tesla Андрей Карпаты выпустил новую 4-х часовую лекцию на Youtube о том, как создать GPT-2 с нуля на Python.

В ролике Карпаты стартует с пустого файла и далее собирает полноценную рабочую ИИ-модель — с пошаговым объяснением.

Сопроводительный материал к новой лекции с подробными комментариями к используемому коду Карпаты выложил на GitHub.

В феврале Карпаты выпустил лекцию на Youtube под названием Let's build the GPT Tokenizer. Это двухчасовая понятная и доступная лекция о токенах и токенизации в ChatGPT и других нейросетях. В видео Карпаты буквально на пальцах показывает, как именно нейросеть GPT читает текст, как дробит его на единицы и что в нём выделяет. Учебный материал поможет начинающим пользователям углубиться в изучение нейросетей, а также лучше понимать их устройство.

Сопроводительный материал к этой лекции с подробными комментариями к используемому коду Карпаты выложил на GitHub.

Небольшая, но полезная новость для тех, кто интересуется историей. Мы добавили в Поиск по архивам новый тип документов — справочники XIX–XX веков из фондов Национальной электронной библиотеки и Российской государственной библиотеки. 

Историки, социологи и журналисты смогут получить доступ к новым сведениям об исторических событиях и личностях, а обычные пользователи — ещё больше узнать о своих предках. В новых источниках можно найти биографические факты, которые раньше были доступны только в бумажном виде. Например, памятные книжки содержат списки ключевых персон губерний с их должностями. Из адресных книг можно узнать, где они жили, а из торгово-промышленных справочников — каким делом занимались.

Для этого нейросеть Яндекса расшифровала почти 600 книг или 275 тысяч страниц. Причём она узнаёт даже утратившие актуальность знаки (например, исчезнувшие из алфавита буквы) и учитывает особенности почерка. А для работы с вёрсткой газетных страниц нейросеть специально адаптировали: она научилась распознавать текст на огромных полосах, набранный мелким шрифтом на бумаге низкой плотности. Кстати, более подробно о нашей технологии мы рассказывали на Хабре в отдельной статье.

К 225-летию Александра Пушкина «Яндекс» опубликовал проект «Наше всё». В компании исследовали, что интересует пользователей в жизни и творчестве классика. Также «Яндекс» создал нейросетевые трейлеры по произведениям Пушкина.

Журналисты The Wall Street Journal рассказали, что Apple начала заниматься разработкой ИИ-функций после того, как Крейг Федериги попробовал GitHub Copilot. Сообщается, что старший вице-президент по разработке программного обеспечения компании экспериментировал с функцией автоматического завершения кода во время рождественских праздников в конце 2022 года. Он впечатлился ей и сразу начал мотивировать разработчиков Apple начать придумывать что-то своё. После этого события взгляды компании на генеративные модели машинного обучения поменялись в лучшую сторону, но Apple всё ещё занимает отстающую позицию среди международных технологических компаний.