Искусственный интеллект

США, Великобритания и Австралия провели совместные испытания БПЛА с искусственным интеллектом. Что нового?

Понятие ИИ, конечно, подзатёрли. Формально под него подходит и распознавание изображений, и даже автоматический выбор частот связи. Но в данном случае поясняется, что встроенный в БПЛА искусственный интеллект позволяет «оператору выявлять, выводить из строя и уничтожать цели на земле».

Такие дроны пригодятся не только для военных, но и для гражданских целей. Только условия связи не всегда стабильные, ёмкость канала лучше сэкономить, поэтому следующее поколение БПЛА сейчас стремятся наделить следующими возможностями:

1. Интеллектуальное определение сигнала. Не просто скинуть картинку оператору, а показать, где пожар, где дачники шашлыком развлекаются, а где — извержение вулкана.

2. Оптимальное реагирование на ситуацию. Если дрон идентифицирует человека в лесу как заблудившегося, а корабль в море — как терпящий бедствие, то в идеале сам должен сделать вираж и как минимум передать более подробное изображение, точные координаты.

3. Групповое взаимодействие. Если несколько дронов наблюдают за районом, они могут самостоятельно поделить зоны ответственности и сконфигурироваться так, чтобы получить максимум информации в минимальные сроки.

Мы не зря не стали уточнять тип БПЛА, это вполне могут быть и спутники. За счёт первичной обработки информации небольшие кубсаты смогут передать из космоса более полную картину, чем громоздкие спутники прежних поколений.

YandexGPT в OpenWebUI

Недавно я решил погонять нейросети от Yandex. До этого момента я активно использовал OpenWebUI для взаимодействия с локальными моделями и моделями от OpenAI. Этот интерфейс оказался весьма удобным и функциональным, его можно легко запустить через Docker или установить с помощью pip.

Для интеграции YandexGPT в OpenWebUI я создал форк популярного проекта LiteLLM, который, кстати, используется в OpenWebUI, и добавил поддержку YandexGPT.

Для тех, кто хотел бы повторить мой опыт, вот краткое руководство:

1. Клонируем мой репозиторий.

2. Настраиваем файл конфигурации

Содержимое конфигурационного файла ./litellm/proxy/config_yandex.yml:

model_list: 
  - model_name: yandexgpt-lite
    litellm_params: 
      model: yandex/yandexgpt-lite   
      api_key: AQVN30_PoL8sF6Yz-gzYLcwRV

  - model_name: yandexgpt-pro  
    litellm_params: 
      model: yandex/yandexgpt   
      api_key: AQVN30_PoL8sF6Yz-gzY1cwRV

3. Запускаем Docker командой:

docker-compose -f docker-compose-yandex.yml up --build

Так же можно без Docker.

1. Установливаем все необходимые зависимости через pip и запускаем проект напрямую:

cd litellm/litellm/proxy/
YANDEX_FOLDER_ID=<Ваш FolderID> python3 proxy_cli.py --config config.yml

Не забудьте настрить файл конфигурации, указав свои значения для Folder_ID и Token.

Репозиторий проекта можно найти по ссылке.

Друзья, приглашаем на новый бесплатный вебинар «Пределы промпт-инжиниринга и как за них выйти». Поговорим про типичные сценарии использования нейросетей, подходящие под них структуры промптов, а также универсальные принципы составления запросов, выявленные и подтвержденные множеством исследований. 

📅 Дата: 23.08.2024

⏰ Время: 15:00-16:00 (Мск)

На вебинаре:

✔️ Зачем нужны промпты.

✔️ Типы запросов к генеративным нейросетям.

✔️ Структуры промптов.

✔️ Техники промптинга.

✔️ Принципы составления промптов.

👨‍🎓 Спикер: Брейман Александр — эксперт Учебного центра IBS, кандидат технических наук, доцент департамента программной инженерии ФКН ВШЭ.

👉 Записаться 👈

Компании Content AI и «РЕД СОФТ» провели комплексное тестирование, подтверждающее корректность и работоспособность всех компонентов IDP‑платформы ContentCapture в операционной системе РЕД ОС. По итогам тестирования компании подписали сертификат о совместимости продуктов.

ContentCapture — это система, предназначенная для автоматизации извлечения данных из любых типов документов: отсканированных бумаг, фотографий, электронных документов, текстов писем и вложений. Решение на основе технологий искусственного интеллекта распознает и классифицирует документы, извлекает нужные данные, проверяет корректность и экспортирует в корпоративные информационные системы. ContentCapture включена в реестр отечественного ПО (№ 17 598) и рекомендована для замещения иностранных решений ABBYY FlexiСapture, Kofax Capture, IBM Datacap.

РЕД ОС — российская ОС общего назначения семейства Linux для серверов и рабочих станций. Продукт обладает сертификатом ФСТЭК России и входит в Реестр российского программного обеспечения Минцифры России. Разработка РЕД ОС ведется в закрытом контуре РЕД СОФТ, а исходные коды и пакеты находятся в собственном репозитории, расположенном на территории РФ.

Всем привет!

Ну что, началось)
https://www.piter.com/collection/all/product/programmirovanie-na-python-s-pomoschyu-github-copilot-i-chatgpt

Ок, ещё одна книжка про ChatGPT. Смотрим аннотацию: «Используя GitHub Copilot, можно простым языком описать, что должна делать программа, а искусственный интеллект тут же сгенерирует ее. Узнайте, как создавать и улучшать программы на Python с помощью ИИ, даже если прежде вы не написали ни строчки компьютерного кода.».

И ещё: « Глава 4 — первая из двух глав, в которых вы научитесь читать код на языке Python. Действительно, Copilot будет писать код за вас, но вам нужно уметь читать его, чтобы определить, будет ли он делать то, что вы хотите. И не волнуйтесь: Copilot поможет вам читать код!»

И это не ролик, не статья, целая книга... Войти в IT, если с первого раза не получилось) Интересно, на собесах Copylot уже используют?)

Меня только один вопрос мучает: если человек не захотел или не смог освоить язык программирования или фреймворк - как хорошо он сможет спроектировать сервис или алгоритм?

Дьявол — падший ангел. А ангелы — бесплодны (т. е. не могут сотворить чего‑то нового). Поэтому, по одной из версий, у Булгакова в «Мастере и Маргарите» Воланду нужен был Мастер, чтобы написать «Евангелие от Сатаны» — нужен был человек, потому что людям Бог дал возможность творить.

Искусственный интеллект в наши дни не может сотворить нового — он только комбинирует то, что было создано человеком, создавая причудливые сочетания из многократно повторяемых образов, мыслей, звуков...
Получается ИИ — это наш рукотворный дьявол? ...

P. S.: дальше каждый продолжает сам... Особенно я думаю Никита Сергеевич М. оценит аллегорию:)

P.P. S.: и да — картинка сгенернирована ИИ (Playground AI), но выбирал вариант человек.

Пресс‑службы VK сообщила Хабру, что новая умная колонка «VK Капсула Про» с голосовым помощником «Маруся» будет представлена в первой половине осени.

Устройство получило обновлённый внешний вид и мощность звука до 65 Вт.

В колонке «VK Капсула Про» будут реализованы новые возможности управления умным домом, а также встроены датчики температуры, влажности и освещённости. Устройство будет иметь датчик присутствия, который работает на алгоритмах обработки ультразвуковых волн.

Фактически, приобретая новую колонку, пользователи получат базовый умный дом. Кроме того, команда «Маруси» работает над улучшением функциональности голосовых AI‑технологий».

По информации VK, в первом квартале 2024 года пользователи совокупно провели на 50% больше времени, используя голосового помощника в сервисах VK, чем в первом квартале 2023 года. Общий time spent "Маруси" в VK Капсулах вырос на 53% год к году.

Команды «Маруси» и «VK Капсулы» с прошлого года начали объединение в единое направление, которое развивает контентные и рекомендательные системы во всех сервисах VK, искусственный интеллект и умные устройства. В мае были запущены продажи «VK Капсул» в Беларуси, а в июле — новая функциональность: «Маруся» научилась читать статьи из «Дзена».

Лаборатория искусственного интеллекта «Сбера» совместно с Центром индустрии здоровья «Сбербанка» и Лабораторией рентгенэндоваскулярных методов диагностики и лечения Тюменского кардиологического научного центра — филиала Томского НИМЦ РАН предложили решение, которое позволяет по видеофайлам коронарографии автоматизировать расчёт SYNTAX‑балла — методики оценки тяжести поражения при ишемической болезни сердца.

Система уже работает в информационно-справочном режиме, результат модели искусственного интеллекта (AI) не является медицинским заключением и не заменяет его.

Врачи и пациенты могут загрузить своё исследование на сайт Тюменского кардиологического научного центра. AI‑модель в тестовом режиме рассчитает значение по шкале SYNTAX. Медицинским работникам сервис будет полезен как второе мнение по интерпретации результатов исследования, а пациенты смогут использовать результаты оценки при обращении к врачу за дополнительной консультацией.

Научная работа End-to-end SYNTAX score prediction: benchmark and methods о проведённом исследовании рецензируется на крупной международной конференции по компьютерному зрению WACV 2025.

Программист из Индонезии разработал небольшой шуточный проект GitHub Profile Roast. Как следует из употреблённого в разговорном оттенке слова «roast» в названии, целью сервиса является творчески и с шутками оскорбить пользователя, максимально используя для этого личные детали. Делать это сервис пытается на основе аккаунта GitHub.

Посетителю предлагается ввести имя своего аккаунта на GitHub. Затем сервис подтянет данные из GitHub и страница выплюнет несколько абзацев креативных оскорблений, умело связанных с личными данными и проектами на заданном аккаунте. К примеру, сервис может ехидно высказаться о низкой популярности профиля или попсовости выбранного стека технологий.

Сервис работает на английском и французском языках, а также на нескольких неевропейских, популярных в Юго-Восточной Азии (хинди, индонезийский, корейский, японский, китайский). Русского в этом списке нет.

Работает это всё через доступ к API компании OpenAI. Какой-либо умной защиты промпта нет. Как продемонстрировали в микроблогах, провести инъекции в промпт было относительно легко.

Из других любопытных наблюдений: сервис отказывается работать с некоторыми профилями. Среди замеченных в подобном Линус Торвальдс (имя пользователя torvalds) и часть аккаунтов компаний, к примеру, Microsoft и Google. Вместо череды колкостей сайт выдаёт вежливый отказ оскорблять этого пользователя. Возможно, это некий чёрный список, который автор сервиса заложил, чтобы сохранить механическую целостность фронтальной части своей головы.

Представлен бесплатный нейроапскейлер AuraSR-v2 с бустом разрешения любых изображений в восемь раз. Заливаете шакал — получаете качество профессионального фотоаппарата.

Проект работает из браузера, в нём нет рекламы, нет водяных знаков и не требуется кредитов на апскейл.

В «Яндексе» научили нейросеть YandexART восстанавливать архивные видеозаписи и кинохронику. Эта опция может быть полезна кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием. Например, нейросеть уже восстановила видеохронику из материалов «Мосфильма» и Российского государственного архива кинофотодокументов для нового сериала Кинопоиска «Игры» о подготовке и организации Олимпиады-80.

Благодаря новой возможности YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве. Нейросеть помогла добавить на размытый и нечёткий кадр фактуру и недостающие детали. Например, она прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно. Также нейросеть увеличила разрешение и резкость и повысила качество видеокадров.

Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть,
которая создаёт и улучшает изображения и анимацию, а также обрабатывает
загруженные фотографии. Разработчики научили модель не «галлюцинировать» для этого проекта. YandexART теперь умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.

Над восстановлением архивных видео с помощью нейросетевых технологий и компьютерной графики работали команды компьютерного зрения «Яндекса», Yandex Research и «Плюс Студии».

Астрономы нашли новый способ обнаружения дипфейков

Новые исследования, представленные на Национальной астрономической конференции доказывают, что дипфейки можно идентифицировать путем анализа бликов в человеческих глазах, аналогично тому, как астрономы изучают изображения галактик. 

Сначала исследователи проанализировали отражения света на глазных яблоках на реальных изображениях людей и изображениях, созданных искусственным интеллектом. Затем они использовали методы, основанные на индексах CAS (концентрация, асимметрия, гладкость) и Джини (с их помощью астрономы обычно изучают распределение света в галактиках, тем самым определяя их морфологию). 

В общем случае значение индекса Джини равное 0 соответствует равномерному распределению света среди всех пикселей изображения, а значение равное 1 означает, что весь свет сосредоточен в одном пикселе. 

Сравнивая индексы Джини бликов в глазах, можно определить, насколько они согласованы между собой. Соответственно, дипфейки часто не имеют согласованности в бликах между каждым глазом, в то время как настоящие изображения показывают одинаковые отражения в обоих глазах.

Стоит отметить, что этот метод не безупречен, и существуют как ложноположительные, так и ложноотрицательные результаты. С другой стороны, дополнительный инструмент для определения дипфейков не может быть лишним, учитывая потенциальную опасность этой технологии.

OpenAI: триумф и шаг к пропасти

OpenAI заставили весь мир поверить, что ИИ способен заменить человека во многих вопросах. В один день про компанию вышли две новости, противоположные по настроению. OpenAI запустила прототип поискового сервиса SearchGPT. И в тот же день медиа New York Post сообщило, что убытки OpenAI за год могут достигнуть $5 млрд. Идёт большая игра, но каковы расклады?

Зачем OpenAI поисковик? Компания сотрудничает с Microsoft, у которой есть свой — Bing. Коммерческий продукт должен учитывать интересы пользователей, привыкших к его интерфейсу и функциональности, любые резкие изменения могут вызвать их отток. Для стартапа выпустить новый продукт нормально: OpenAI может проверить, насколько хорошо их решение, и уже потом договориться с Microsoft по использованию нового поисковика. Враг-то общий — Google.

Кому мог помешать новый поисковик? Многим. Например, СМИ очень волнуются за использование их контента для обучения нейросетей. Поэтому OpenAI официально заплатило миллионы долларов для доступа к архивам ведущих медиа США.
Сумма убытков велика, но они ожидаемы. Тот же ChatGPT для пользователей компания предоставляет бесплатно. Доходы небольшие, а надо тратиться на серверные мощности, плюс в компании собраны дорогие специалисты по нейросетям.

OpenAI — типичный стартап, который может вызвать передел рынка или даже создание нового — как сделали Uber и TikTok. Они требуют миллиардных вложений, но в случае успеха могут стать лидерами с триллионной капитализацией.

Для обучения Llama 4 наверняка потребуется почти в 10 раз больше вычислительных мощностей, чем для Llama 3. Такое заявление во время конференц-звонка по доходам за второй квартал 2024 года сделал Марк Закерберг, глава экстремисткой организации Meta, деятельность которой запрещена.

Совсем недавно вышла Llama 3.1 в нескольких вариантах, в одном из которых у большой языковой модели 405 млрд параметров. Для предобучения этой БЯМ 16 тыс. ускорителей Nvidia H100 обрабатывали датасет из 15 трлн токенов в течение 54 дней. Кстати, у варианта Llama 3.1 на 405 млрд параметров совсем недемократичные требования к инференсу: даже на RTX 4090 токен она будет выдавать по полчаса.

Стоимость предобучения настолько огромных БЯМ составляет сотни миллионов долларов. Блогеры прикидывают, что на обучение Llama 3.1 было потрачено никак не меньше $100 млн. Ресурс Information утверждает, что OpenAI тратит в год на обучение и запуск моделей по $7 млрд.

При этом БЯМ семейства Llama 3 бесплатно вышли для всех желающих, а продукты OpenAI проприетарны и работают через платный API. Впрочем, это никак не помогает последней выйти в плюс по деньгам. Если текущая финансовая траектория сохранится, OpenAI потеряет в этом году $5 млрд.

Не можем не поделиться... На прошлой неделе у нас вышла статья про скины к Winamp. Мы получили от вас массу ностальгических комментариев и решили превратить их... в песню!

Вы лучшие :)

Сайт с вакансиями правительства Соединённого Королевства Великобритании и Северной Ирландии опубликовал вакансию инженера промптинга больших языковых моделей. Трудоустроят специалиста в AI Safety Institute — организации, которую открыли на Саммите по безопасности ИИ 2023 года. Институт занимается оценкой продвинутых систем искусственного интеллекта, разрабатывает инструменты для контроля государства в этой сфере и помогает обмену информацией.

От специалиста ждут навыков в достижении нужного поведения БЯМ с помощью составления текстовых промптов, хорошее понимание БЯМ и их архитектуры, а также владение различными технологиями промптинга (chain of thought, ReAct, автоматическая генерация промптов и так далее). Нужно уметь оценивать БЯМ по таким метрикам, как BLEU, ROUGE и разнообразным бенчмаркам способности размышлять и писать код.

За плечами у соискателя должен быть реальный практический опыт построения приложений, которые полагаются на БЯМ для ответов на вопросы, генерации текста, помощи с кодом и других схожих задач. В вакансии также просят уметь писать на Python и вообще программировать. Будущий инженер промптов должен обладать хорошими навыками коммуникации, анализа показателей производительности моделей и их визуализации.

Размер суммарной финансовой компенсации составляет от 65 до 135 тыс. фунтов стерлингов.

OpenAI начинает развёртывание нового голосового режима для ChatGPT. Он станет доступен небольшому числу подписчиков ChatGPT Plus. 

Функция, которую OpenAI продемонстрировала на своем мероприятии по запуску GPT-4o в мае, подверглась критике за голос, похожий на Скарлетт Йоханссон. Позднее компания отложила его внедрение из-за соображений безопасности.

Представитель OpenAI Тая Кристиансон говорит, что возможности голосовой модели тестировали с участием более 100 внешних представителей red team, чтобы выявить все уязвимости. Компания также «добавила новые фильтры, которые будут распознавать и блокировать определённые запросы на создание музыки или другого защищённого авторским правом аудио».

В OpenAI заявили, что новый режим ChatGPT будет использовать только четыре предустановленных голоса, созданных с помощью актеров озвучивания, добавив: «Мы сделали так, что ChatGPT не сможет имитировать голоса других людей, как отдельных лиц, так и общественных деятелей, и будет блокировать выходные данные, которые отличаются от одного из этих предустановленных голосов». Новый режим станет доступен всем пользователям ChatGPT Plus осенью.

На русскоязычной платформе LLM Arena появилась языковая модель YandexGPT Experimental. «Яндекс» пока не анонсировала её, а на платформе отмечен статус In training. Вероятно, компания работает над новой более мощной версией YandexGPT.

История IT: как появилась первая нейросеть

В 2024 году никого уже не удивить возможностями ИИ — люди используют его в обыденной жизни. Но еще несколько десятилетий назад нейросети оставались загадкой для человечества, а термин «искусственный интеллект» приравнивался к научной фантастике. Как все изменилось? Откуда появились нейросети и кто их придумал? Ответим на эти вопросы сегодня в посте. 

С чего все зародилось 

Сегодня мы не будет уходить далеко в историю, вместо этого рассмотрим основные события, которые повлияли на появление нейросетей. 

В 1943 году Уоррен Мак-Каллок и Уолтер Питтс опубликовали исследование «Логическое исчисление идей, относящихся к нервной активности». В нем вывели математическую модель и поделились, как она может выполнять логические операции. По сути, искусственная нейронная сеть приравнивалась к упрощенной модели естественного нейрона.

В 1957 году Фрэнк Розенблатт разработал компьютерную модель восприятия информации мозгом «Перцептрон», основанную на исследованиях Мак-Каллока и Питтса. Впоследствии ее можно было использовать в виде электронной машины «Марк-1». 

Перцептрон стал одной из первых моделей нейронных сетей, которая могла обучаться на данных. Он состоит из сенсоров, ассоциативных и реагирующих элементов.

На сегодня модель устарела, однако на ее примере можно изучить основные понятия и простые алгоритмы обучения нейронных сетей.

С остальными событиями, которые повлияли на развитие нейросетей, можно ознакомиться по ссылке.

Представлен проект MathGPT Pro для для студентов и школьников. Нейросеть бесплатно решит и пояснит большинство математических задач. ИИ принимает примеры в любом формате: текст, фото и даже голосовое описание — выбирайте подходящий и получайте детальное решение.