ИИ с невероятной скоростью проникает во все сферы жизни — порой даже в те, где он точно не нужен и даже вреден. Конечно, ИИ проникает и на Хабр: кто-то из авторов с его помощью редактирует статьи, кто-то придумывает темы, а кто-то генерирует тексты и улетает в бан. Мы стараемся регулировать проблему, скрываем подозрительные статьи, строго проверяем материалы в песочнице. Но отгородиться от всепроникающей технологии сложно, да и... в каких границах нужно?
Представлен открытый проект Heretic: Fully automatic censorship removal for language models, который снимаем цензуру у текстовых нейросетей на уровне внутренних настроек. При этом все параметры подбираются автоматически. Цензура падает почти в ноль: тестировали на Gemma 3 от Google — процент отказов упал с 97% до 3%. Работает со всеми типами моделей. Минус один: нужен хотя бы средний комп.
Энтузиасты выяснили, что фильтры чат‑ботов с ИИ (работает в GPT-4o и Claude 4) можно обойти с помощью «=coffee». Если после запроса добавить слово =coffee, то фильтры нейросетей не видят угрозу. Например, можно получить ключи регистрации Windows 11.
Ранее компьютерный энтузиаст и исследователь ИБ Марко Фигероа предложил ИИ‑модели сыграть в игру «угадайка» и тем самым нашёл способ обмануть ChatGPT 4.0 и выдать скрытые в системе обучения нейросети рабочие ключи для активации Windows 10, включая как минимум один, принадлежащий банку Wells Fargo. В этом эксперименте исследователь обманом смог обойти защитные барьеры в ChatGPT 4.0, предназначенные для предотвращения передачи секретной или потенциально опасной информации, предложив ИИ сыграть в логическую игру. Эти барьеры были разработаны для блокировки доступа к любым лицензиям, таким как ключи продуктов Windows 10. Разработчики нейросети обучили ИИ на примерах реальных ключей активации, что такое нельзя выдавать пользователю.
Глава OpenAI Сэм Альтман сообщил, что можно попросить ChatGPT не использовать длинные тире, он «наконец-то будет делать то, что должен». Разработчики ChatGPT уточнили, что чат-бот теперь «лучше» справляется с задачей не использовать длинные тире. Для этого нужно задать соответствующие настройки в разделе пользовательские инструкции (custom instructions) в настройках.
Как построить ML- AI-инфраструктуру или ускорить существующие AI-проекты
Привет, Хабр!
Приглашаем на вебинар о новой редакции нашей платформы котнейнеризации – Nova AI. Покажем новую версию платформы, созданную специально для ML-и AI-задач и расскажем, как она упрощает запуск инфраструктуры для ML/DS-команд, ускоряет развертывание локальных LLM-и AI-сервисов и сокращает расходы на GPU до 95%.
О чем еще поговорим:
Как развивается рынок AI и почему компании переходят на локальные LLM
Что представляет собой Nova AI и чем она отличается от классического Kubernetes
Как построить инфраструктуру для ML-проектов за 1 день
Реальные кейсы, технологический стек, безопасность и комплаенс
Дорожная карта продукта и шаги внедрения
Вебинар будет особенно актуален для ИТ-директоров, архитекторов, инженеров по данным и всех, кто отвечает за развитие ИИ в компании. Регистрация доступна по ссылке.
Orion soft выпустил новую редакцию платформы контейнеризации – Nova AI
Мы представили новую редакцию платформы контейнеризации Nova Container Platform, созданную специально для работы с ИИ и машинным обучением. Это первое отечественное Kubernetes-решение, оптимизированное под инфраструктурные и эксплуатационные задачи ML/AI.
Nova AI помогает ИТ-командам и ML/DS-специалистам быстро запускать и масштабировать инфраструктуру для обучения моделей, развертывания LLM-сервисов и инференса, обеспечивая при этом безопасность, совместимость с российскими операционными системами и эффективность использования GPU.
Новая редакция разработана как решение ключевых проблем, с которыми сталкиваются компании при запуске и развитии проектов, связанных с ML и AI. Среди них высокая стоимость GPU и оборудования, дефицит опытных MLOps-инженеров, сложности с безопасностью и соответствием требованиям регуляторов, низкая утилизация ресурсов, долгое развертывание и настройка инфраструктуры под LLM и AI-сервисы.
Ключевые преимущества Nova AI
Для ИТ-руководителей Nova AI обеспечивает ощутимую экономию ресурсов: за счет виртуализации и дробления мощностей она позволяет сократить затраты на GPU до 70%. Решение ускоряет выдачу инфраструктуры, помогает соблюдать SLA и упрощает управление благодаря унифицированному кластеру, подходящему для всех AI- и ML-задач. Nova AI также поддерживает требования по информационной безопасности и комплаенсу, обеспечивая защиту токенов и данных. Платформа гибка в размещении, она может быть развернута как на bare-metal, так и в виртуализированной среде (включая отечественную платформу виртуализации zVirt), с полной поддержкой российских операционных систем, таких как Astra Linux и РЕД ОС.
Инженеры и ML-специалисты получают готовое рабочее окружение на базе таких инструментов, как JupyterHub, MLflow, Airflow и MinIO, что позволяет быстро приступить к работе. Кроме этого, Nova AI обеспечивает стабильную работу драйверов и предсказуемость поведения инфраструктуры. Безопасность встроена по умолчанию: используется контейнерная защита NeuVector и централизованное управление секретами с помощью StarVault. Платформа сокращает время на запуск и настройку, а также сопровождается подробной документацией и технической поддержкой на всех этапах внедрения и эксплуатации.
«Сегодня мы видим особый спрос на нашу платформу со стороны промышленных и нефтегазовых предприятий, банков и финтех-организаций, ритейлеров с развитыми аналитическими командами, а также государственных структур, где важно быстро и безопасно развернуть инфраструктуру для ИИ и машинного обучения. Nova AI выбирают там, где нужно ускорить запуск LLM- и AI-сервисов, снизить затраты на оборудование и перейти от разрозненных экспериментов с моделями к управляемой и масштабируемой ML-платформе уровня Enterprise», – прокомментировал Александр Фикс, лидер продукта Nova Container Platform в Orion soft.
Два парня из Сан-Франциско притворялись ИИ для клиентов и смогли создать стартап стоимостью в миллиард долларов. Авторы проекта решили запустить сервис Fireflies AI для автоматического создания заметок во время звонков с подпиской в $100 в месяц для корпоративных заказчиков. Они уверяли клиентов, что к созвону подключится ИИ, но, на самом деле, на другом конце сидел один из них и записывал всё, а затем через 10 минут после окончания встречи скидывал пользователю конспект. После сотни таких созвонов разработчики накопили денег на аренду жилья и решили по-настоящему сделать такой сервис с ИИ.
В итоге в июне этого года Fireflies AI получил оценку в миллиард долларов, а они больше не спят на диване. Эту историю рассказал сооснователь стартапа по ИИ-суммаризации видеовстреч Fireflies Сэм Удотонг. Он пояснил, что первые деньги они тратили основном на оплату гостиницы и еду. Только спустя год работы команда смогла накопить капитал и вложить его в настоящую автоматизацию сервиса.
Эксперты Google выпустили 50-страничный гайд о том, как создавать полезных ИИ-агентов для практических задач. В нём описана: архитектура агентов; как работает LLM внутри агента; как подключить и настроить инструменты; как объединить несколько агентов в команду и как оценивать их эффективность. Оригинал — здесь, есть перевод на русском языке — здесь.
Если вы начинаете сомневаться, а не налетит ли на ваш контент подозрение в «роботизированности» из-за длинных тире, то эта статья для вас. Есть ли ответ на вопрос «Почему AI любит добавлять в тексты много длинных тире?» — глубокое расследование, где автор разбирает тренд и ищет, почему искусственный интеллект использует их в текстах тексты чаще, чем люди.
Существует три основных категории возможных объяснений того, почему модели так часто используют тире. Рассуждения во многом основаны на предположениях, потому что никто не может дать ответ на этот вопрос абсолютно точно (кроме OpenAI).
🚀 Открыли регистрацию на AI DevTools Conf — практическую конференцию про внедрение AI-инструментов в процесс разработки. Спикеры расскажут, как строить сложные AI-процессы, собирать мультиагентные системы, создавать эффективную инфраструктуру и управлять уязвимостями. Изучить темы докладов и зарегистрироваться.
💳 Сделали модели в Evolution Foundation Models доступнее. Теперь цена — 35 рублей за миллион входных и 70 рублей за миллион выходных токенов.
Недавно мы добавили:
GigaChat 2 MAX — самую мощную LLM линейки GigaChat, которая обошла GPT-4o и Claude 2 в тесте MMLU-RU.
Qwen3-Next-80B-A3B-Instruct, которая сочетает высокоскоростные блоки для длинных последовательностей и точные attention-слои, а также использует спарсовую архитектуру Mixture of Experts с 512 экспертам.
GLM-4.6 с высокой производительностью при написании кода в Cline, Roo Code и Kilo Code.
Whisper large-v3 — продвинутую модель от OpenAI для распознавания речи. Модель не надо дообучать, а еще ее можно использовать в коммерческих целях — она распространяется под свободной лицензией Apache-2.0.
MiniMax-M2 — компактную, но мощную модель для работы с кодом и агентами. №1 среди open source моделей в бенчмарке Artificial Analysis, которая умеет планировать цепочки действий, работать с окружением, извлекать данные и работать с внешними инструментами.
🚨 С внедрением AI рынок кибербезопасности и облаков стремительно меняется.Если неправильно настроить облачную среду или не учесть специфику AI-моделей, последствия для бизнеса могут быть разными: от утечек данных до создания злоумышленниками вредоносного контента, который ударит по репутации и снизит доверие клиентов.
Чтобы избежать всех этих сложностей, скачайте гайд и используйте AI в облаке без рисков для безопасности, клиентов и бизнес-решений.
⚙️ Обновили наши облачные платформы и сервисы. Например:
Evolution ML Inference
Появился каталог с готовыми моделями, которые доступны для инференса. Среди них — Qwen, DeepSeek, Gemma и не только.
Стал доступен тестовый вызов модели в Model RUN через OpenAPI. Во вкладке OpenAPI найдете полную спецификацию API, описание эндпоинтов, параметров, моделей, запросов и ответов.
Evolution Notebooks
Что мы добавили в сервис:
CLI-утилиту, чтобы управлять Conda-окружениями. Инструмент облегчит работу с версиями окружений, поддержкой чистоты и согласованности IDE.
Управляйте контейнерными приложениями в Kubernetes 1.33 — теперь Evolution Managed Kubernetes поддерживает и эту версию. Что в ней есть:
В бета-тесте — использование образов Open Container Initiative (OCI) в качестве томов в подах, а еще In-place resource resize для вертикального масштабирования подов.
Общедоступными стали поддержка Sidecar-контейнеров, Multiple Service CIDRs, нового бэкенда nftables для kube-proxy, subresource для kubectl. Полный обзор изменений есть в официальном блоге Kubernetes.
Надежность наших сервисов подтверждена регуляторами. Платформа Cloud.ru Evolution теперь в реестре отечественного ПО (РОПО), а еще она получила сертификаты PCI DSS и ФСТЭК России.
🎙️ Провели несколько интересных вебинаров и подкастов — каждый из них вы можете посмотреть в записи:
Хотите узнать, как беcшовно внедрять AI-инструменты в рабочие процессы и создать безопасную и эффективную облачную инфраструктуру? Тогда приглашаем на AI DevTools Conf 😏
AI DevTools Conf — это практическая конференция, на которой мы будем обсуждать внедрение AI-инструментов в процесс разработки.
Спикеры расскажут, как строить сложные AI-процессы, собирать мультиагентные системы, создавать эффективную инфраструктуру и управлять уязвимостями. Темы докладов можно посмотреть в программе.
Кроме них вас также ждут:
воркшопы, которые мы не будем транслировать и записывать: только практический опыт, который можно получить прямо сейчас;
демозона сервисов Evolution AI Factory, на которой вы сможете в реальном времени протестировать возможности наших сервисов;
секретный доклад и презентация эксклюзивной коллекции мерча;
afterparty и нетворкинг в расслабленной предновогодней атмосфере.
На Хабре есть уже много статей про наш детектор голоса (последняя тут). В этот раз с точки зрения юзеров видимых изменений не очень много, но работы было проделано очень много.
Мы в очередной раз полностью перебрали с нуля механизм тренировки нашего детектора голоса. С точки зрения юзера есть следующие улучшения:
Повышена общая стабильность на краевых случаях;
В целом незначительно повышено качество детекции на всех доменах;
Есть существенные улучшения на следующих краевых случаях:
Детские голоса;
Необычные голоса;
Мультяшные голоса;
Приглушённая речь;
Более сложные телефонные звонки;
Музыкальные инструменты, похожие на речь.
Будем признательны пользователям за ваши краевые случаи!
Детектор создан при поддержке Фонда содействия инновациям в рамках федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».
Цитировать детектор можно следующим образом:
@misc{Silero VAD,
author = {Silero Team},
title = {Silero VAD: pre-trained enterprise-grade Voice Activity Detector (VAD), Number Detector and Language Classifier},
year = {2021},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/snakers4/silero-vad}},
commit = {insert_some_commit_here},
email = {hello@silero.ai}
}
Представлен открытый проект Second Brain, который локально превращает рабочий ПК пользователя в базу данных с ИИ-поиском. Нейрсеть индексирует документы, картинки и PDF, при этом не только их названия, но и содержание. Система умеет искать по тексту и изображениям, комбинирует семантический и ключевой поиск, читает pdf, docx, png, gif и другие форматы. Проект работает офлайн с локальными моделями.
Сохраняйте гайд по безопасности AI в облаке 🛡️ Для IT-администраторов, разработчиков, специалистов по ИБ и не только
С внедрением AI рынок кибербезопасности и облаков стремительно меняется. По данным Stanford HAI, более 60% компаний считают, что конфиденциальность — главная проблема при использовании AI, а количество инцидентов с AI выросло на 56,4% с 2023 по 2024 год.
🚨 Если неправильно настроить облачную среду или не учесть специфику AI-моделей, могут возникнуть угрозы. Например:
манипуляции с моделями через промпт‑инъекции;
несанкционированный доступ к ресурсам из-за того, что отсутствует изоляция окружений;
атаки на инфраструктуру из-за уязвимостей поставщиков;
искажение датасетов для обучения.
Последствия для бизнеса могут быть разными: от утечек данных до создания злоумышленниками вредоносного контента, который ударит по репутации и снизит доверие клиентов.
✍️ В гайде рассказали, как избежать этих проблем. Вы узнаете:
Как интегрировать в облако GenAI так, чтобы исключить риски для данных.
Про контроль доступа и логирования для эффективной защиты сервисов.
Как обеспечить безопасность AI-сервисов.
Про безопасную работу и средства защиты в Evolution AI Factory — цифровой среде нового поколения для создания, запуска и масштабирования приложений на базе GenAI.
Забирайте руководство и используйте AI в облаке без рисков для безопасности, клиентов и бизнес-решений.
Инженеры из Unitree показали собственную систему телеуправления роботами. В отличие от большинства подобных систем она позволяет управлять всем телом, а не только верхней частью робота.
Выглядит систему удалённого управления роботом как довольно лёгкий экзоскелет, который цепляется оператору поверх одежды. Кроме аппаратного захвата движений, компания экспериментируют с повторением движений прямо с видео, в реальном времени с минимальной задержкой. При обучении моделей из видео можно получать огромное количество данных для обучения базовой модели, которую потом будут тюнить на данных с полноценных систем телеуправления.
Чат-бот ChatGPT составил 6 фундаментальных правил, с которыми вы доживёте до 100+ лет. Забудьте про еду и постоянные походы к врачам. Единственная действительно важная причина долголетия — отсутствие стресса.
1. Делайте только то, что не вызывает внутреннего сопротивления. Тошнит от работы, но вы терпите — минус 10 лет жизни. Нелюбимые отношения — ещё десятка. Среда должна быть максимально комфортной, но придётся сделать серьёзный выбор в жизни.
2. Живите сейчас и никогда не откладывайте на потом. На пенсии вы будете дряхлым стариком без сил. 43% людей умирают в течение 5 лет после выхода на пенсию.
3. Социальные связи — база. Одинокие люди чаще пьют и курят. Снова же банальная статистика: люди с крепкими друзьями живут на 50% дольше. Вам не нужна толпа вокруг, главное — качество людей.
4. Вам нужна цель больше, чем вы сами. В Японии это называют «икигай» — ваша причина просыпаться по утрам. Люди с икигай живут на 7 лет дольше. Хватит гоняться за несбыточным — выберите простое, но достижимое.
5. Никакой оптимизации здоровья. ЗОЖники живут меньше из-за своей одержимости. Снова же, одержимость — стресс, а он убивает. Проще говоря, не надо считать каждую калорию.
6. Спите, когда хотите спать. У реальных долгожителей нет четкого расписания. Хочется прикорнуть днём на полчаса — спите. Хватит терпеть до вечера — 10 минут на разгрузку можно найти всегда.
Простые разметки поддаются! А вот сложные — ещё не до конца. Но артефакты размышлений могут сильно помочь и ускорить проверяющего. Например, если нужно вручную искать какие-то факты, ходить по сайтам и т.д.
В начале решения задачи можно подобрать первый промт с отличным качеством, а дальше становится тяжело. В этот момент начинается бесконечный разбор случаев — и почти сразу модель начинает теряться.
ЛЛМ часто решает некоторые типы задач очень хорошо, а другие — плохо или рандомно (например, если не может сходить в интернет за нужной информацией). В итоге получается среднее качество. → Оставляем только то, в чём она сильна!
Привыкание! Помните о нём: вначале метрики могут упасть, но если есть профит, потом всё отрастёт обратно. Сравнивайте с прошлым.
Среднее время разметки задания — это не среднее арифметическое скоростей, а среднее гармоническое! (Особенно важно при малом количестве асессоров.)
Ризонинг у модели хороший, но ответ может быть неверным. Использовать его как подсказку тоже сложно — нет структуры ответа, аспекты постоянно разные. → Просим отвечать структурно и на конкретные вопросы — так и галлюцинации проще проверять, и пользоваться удобнее.
Разметчику должно быть просто и понятно, как пользоваться подсказкой!
Лучший формат подсказок (если устроены: «что проверяли?» → «вердикт») — сверху только найденные проблемы. Иначе есть соблазн раньше времени всё одобрить.
Иногда лучше вообще не давать подсказку! Например, ЛЛМ не может проверить работоспособность калькулятора — и будет только смущать.
Экспериментируйте с моделями! DeepSeek пишет чересчур подробно, а YandexGPT — наоборот, коротко и по делу.
Качество меряем на ядре асессоров, потому что:
на них проще повлиять для прироста качества;
медленные участники часто отваливаются.
Итог: ЛЛМ пока не справляется со сложными инструкциями (особенно когда ответ неоднозначен), но там, где результат можно однозначно определить, — заметно ускоряет и упрощает процесс.
Ещё в прошлом году Apple представил Apple Intelligence, а в этом улучшил их, также добавив новые сценарии работы.
Однако, русский язык не поддерживается, поэтому есть два варианта: используешь старую Siri и не имеешь доступа к старым функциям, либо меняешь весь интерфейс на английский и придется добавлять в Shortcuts команды, чтобы, например, позвонить кому-то, кто записан по-русски(диктовка на русском у английской Siri почти отсутствует).
Сегодня я решил проверить, а насколько реально модели Apple плохо или хорошо понимают русскую речь, если на английском они работают хорошо. Вначале думал потребуются инъекции, однако всё оказалось проще - в приложении Команды нет запрета на русском писать сразу моделям.
Тестировал Cloud версию и On-device, ChatGPT это ChatGPT-4 от OpenAI, у него все хорошо.
Cloud версия работает с русским так себе: она может плохо ответить на высказывания "Привет" - "Да вам привет!", но на более сложные запросы, например, "Расскажи, что такое NP-полные задачи" начнет иногда галлюцинировать и ошибаться в падежах(но не часто), но в целом ответы даже лучше, чем при простых вопросах("Дана граф", не "за", а "в", "задача можно полиноминальном времени преобраовать")
Многие считают, что on-device это просто урезанная cloud, скорее всего так и есть, но урезание получилось не в пользу русского - модель выдаёт сплошные галлюцинации, ошибается через слово в падежах и даже на запрос "Привет" ответит "Я не могу прогнозировать будущее", используйте для генерации всякой чепухи.
На "Как дела?" обе отправляли на сайт Apple, вероятно, это системный промпт(https://www.youtube.com/watch?v=gTOIMdH4-bE), в котором написано, что ты не имеешь эмоций и т.п.
По итогу это ограничение разумно, пока такое лучше не показывать всем, кто знает русский, но Cloud версию, я думаю, скоро можно будет использовать. Можете проверить сами(для этого смените, хотя бы на время, язык системы и Siri с русского на английский).
Как Shared GPU позволяет дешевле разворачивать ML- и DL-модели в облаке ☁️⚙️
Shared GPU — технология, которая позволяет вместо аренды целой видеокарты арендовать ее часть. Это удобно для запуска небольших моделей: так, если вам нужно только 12 ГБ, вы арендуете именно их, а не платите за все 80 ГБ. А еще вы сможете перераспрелять ресурсы GPU в зависимости от нагрузки и не платить, когда нет запросов.
❓ Как все это работает
Shared GPU делит ресурсы видеокарты на несколько подов, и каждая модель запускается на отдельном. Благодаря этому можно развернуть несколько небольших моделей на одной GPU, а не арендовать для каждой отдельную видеокарту и платить за ресурсы, которые будут простаивать.
Контейнеры, на которых размещены модели, изолированы друг от друга. Если с одним из них что-то произойдет, сервисы на других подах продолжать не упадут.
🚀 Преимущества, которые дает Shared GPU:
Автомасштабирование и скейлинг в ноль. Если запросов много, дополнительные мощности выделятся автоматически. А если запросов нет дольше установленного времени, контейнер с моделью ставятся на паузу, и тарификация прекращается.
Pay-as-you-go. Платите только за те мощности, которые используете, а не за целую GPU или время простоя.
Рациональное использование мощностей. Для каждого проекта не нужно закупать отдельную GPU. Если ресурсы временно не используются, их можно перераспределить на другие задачи.
Гибкая настройка и масштабируемость. Есть возможность менять количество выделенных на каждый под ресурсов, перераспределять их в зависимости от нагрузки, развертывать несколько моделей на одной видеокарте.
OpenAI заплатит $38 млрд Amazon Web Services за доступ к сотням тысяч графических процессоров Nvidia Corp. в рамках семилетнего соглашения. По версии Bloomberg, для OpenAI это подтверждение перехода в статус «гиганта ИИ».
