Машинное обучение *

Уважаемые читатели!

На этом сайте размещена десятая ежегодная “карта” и обзор состояния экосистемы данных, аналитики, машинного обучения и искусственного интеллекта (MAD) на 2024 год в масштабируемом формате pdf.

Всего представлено более 2 000 компаний.

Экосистема MAD (ML, AI & Data) превратилась из нишевой и технической в массовую. Похоже, что смена парадигмы ускоряется, и ее последствия выходят далеко за рамки технических или даже деловых вопросов и влияют на общество, геополитику и, возможно, на человеческую жизнь.

Этот мощнейший тренд, который длится уже несколько десятилетий и станет причиной возникновения множества продуктов и технологий. Как и в предыдущие годы, этот обзор является попыткой осмыслить то, где сейчас находится общество в разрезе продуктов, компаний и отраслевых тенденций.

Предыдущие версии: 2012, 2014, 2016, 2017, 2018, 2019(часть I и часть II), 2020, 2021 и 2023(часть I, часть II, часть III, часть IV).

Важность внедрения нейросетей невозможно переоценить. Все тенденции, о которых шёл разговор на протяжении многих лет, сходятся: данные переведены в цифру, их можно хранить, обрабатывать и анализировать с помощью современных инструментов, а главное, их можно подавать на все более производительные модели машинного обучения и искусственного интеллекта. Эти модели способны выявлять закономерности, делать прогнозы и даже генерировать текст, код, изображения, звуки и видео.

Нейросетевые технологии становятся неотъемлемой частью научного прогресса и будущего.

По Интернету распространяют песни с сайта Suno. Этот сервис генерирует песни по текстовому промпту. Suno берёт на себя всё: генерирование слов, зачитывающих их голосов и музыки. В марте у Suno вышла третья версия.

Новая версия неплохо справляется с разными жанрами: электроника с женским вокалом, исполняющий фолк мужской хор или симфонический рок. Как демонстрирует композиция в стиле блатного рэпа про загрузку Linux, сервис генерирует и русский язык.

Впрочем, увлекательного мало. Треки звучат похоже на человеческие и ничем не запоминаются. Куда интереснее заставить Suno спеть что-то похабное.

К примеру, так появилась песенка I glued my balls to my butthole («Я приклеил свои яйца к анусу»), которую жизнерадостный мужской голос исполняет под музыку в стиле рок-н-ролла 50-х годов прошлого века. У песни даже вышло продолжение I Glued My Balls to My Butthole Again («Я опять приклеил мои яйца к анусу»), в которой лирический герой сокрушается о своей глупости.

Другой пример — песня про игру с сосками Rubbin' and a Tuggin' My Nips, где вокалист рассказывает, что даже врач просит прекратить стимуляцию своего тела.

На самом деле удивительного мало. Как рассказывает энтузиаст винтажных компьютеров Дэвид Мюррей, когда в 80-х годах прошлого века появились первые системы генерации речи, дети развлекались тем, что заставляли их зачитывать ругательные слова.

Наконец, такие песни с непристойностями реально существовали в первой половине прошлого века. Подобное проходило под жанром «грязный блюз».

Эксперты по ИИ Matt Turck, Aman Kabeer и FirstMark представили все нейросети мира на одной картинке. Они собрали 2011 ИИ-стартапа и сервиса, разделённых на сферы применения.

В отдельных разделах есть ИИ-ассистенты для кодинга, продаж, копирайтинга, генераторы картинок, аудио, анимаций и многое другое.

Полный ландшафт ИИ-мира доступен в PDF.

​​Встречайте: облачные серверы с GPU кастомной конфигурации ⚡️

Теперь вы можете собрать произвольную конфигурацию, идеально подходящую под ваши задачи. Для этого доступны такие карты, как: А2, А30, A100, A2000, A5000, Tesla T4 и GTX1080. 

Используйте облачные серверы с GPU для решения задач, требующих серьезных вычислительных мощностей — они ускорят процессы машинного обучения, аналитики и работы с графикой.

Соберите сервер с GPU в конфигураторе →

Всем привет!

Небольшая ремарка по использованию Copylot, ChatGPT и аналогов.
На мой взгляд самая большая проблема с ними возникает не тогда, когда они генерируют ерунду - это сразу видно. Ну например, отсутствующие классы или методы. Такой код или отбрасывается, или благодаря подсказкам IDE дописывается.

Плохо, когда генерируемый код похож на правильный. Или даже очень похож. Тогда ты принимаешь рекомендацию, мысленно помечаешь задачу как выполненную и пытаешься идти дальше. А приложение падает в неожиданном месте. Пример из моей практики - сгенерированный shell скрипт. Выглядит как настоящий, отличается одним отсутствующим пробелом. Такие же проблемы возможны с RegExp. Да и с обычным кодом, например, если в цепочке вызовов выбран один неправильный метод.

Да, часто ошибки находятся благодаря тестам. И конечно же сгенерированный код надо проверять. Но, например, есть тривиальный код, который с одной стороны не хочется писать самому, т.к. он тривиальный, а с другой стороны он часто покрывается не модульными, а интеграционными тестами. А condition coverage у интеграционных тестов по понятным причинам хуже, чем у модульных.

Можно ли решить эту проблему - не уверен. Суть работы LLM в том, что они дают не точный ответ, а выведенный из данных модели под конкретный контекст. Поэтому добавление второй модели, которая будет проверять ответы первой, кажется не поможет. Добавлять валидаторы ответа - потребуется очень много валидаторов...

Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ) запустил конкурс дипломных работ с использованием искусственного интеллекта. Стать участниками проекта могут студенты всех программ бакалавриата и магистратуры НИУ ВШЭ, которые защищают выпускную квалификационную работу в 2024 году.

Студентам нужно рассказать, как ИИ помог им в подготовке выпускной квалификационной работы за 2024 год. Экспертная комиссия оценит результаты по нескольким критериям: сложность решаемых задач, этичность и целесообразность использования ИИ. Победители получат стипендии и право на участие в образовательных интенсивах по искусственному интеллекту от ВШЭ.

Положение о конкурсе ИИ-решений выпускных работ студентов Национального исследовательского университета «Высшая школа экономики».

Призы (присуждаются авторам работ при условии продолжения обучения в НИУ ВШЭ в 2024/25 году):

• стипендия на 10 месяцев для авторов трёх работ-победителей;

• курсы НИУ ВШЭ по использованию ИИ-инструментов для авторов работ-победителей и работ-лауреатов;

• дипломы и сувениры победителям и лауреатам.

Календарь конкурса:

• 2 апреля cтарт приёма заявок;

• 15 июня завершение приёма заявок;

• 15 сентября подведение итогов.

Исследователи из Лёвенского католического университета в Бельгии раскрыли современный способ улучшить вкус пива при помощи искусственного интеллекта.

В рамках многолетнего исследования учёные проанализировали химический состав 250 сортов бельгийского пива, а также провели дегустацию среди 16 участников эксперимента, которые детально охарактеризовали каждый вид по 50 параметрам, таким как хмельной вкус, сладость и кислотность.

Процесс анализа материалов по этому проекту занял три года. Помимо этого, исследователи собрали 180 тыс. комментариев о разных видах пива с его характеристиками на площадке для отзывов RateBeer.

В итоге на основе различных датасетов и дополнительных материалах исследователи создали модели машинного обучения для предсказания того, каким будет вкус напитка и принятие у потребителей, исходя из его состава. Результаты исследования учёные использовали для улучшения существующих на рынке сортов, после чего дали попробовать их потребителям. «Исправленное» с помощью ИИ пиво получило более высокие рейтинги, причём как алкогольное, так и безалкогольное. В настоящее время учёные из университета в Бельгии планируют развивать свой проект в сотрудничестве с пивоварами.

«Модели искусственного интеллекта предсказывают химические изменения, которые могли бы оптимизировать пиво, но это по-прежнему зависит от пивоваров, начиная с рецепта и методов пивоварения», — пояснили исследователи.

«Яндекс» в 2024 году запустит языковую модель YandexGPT, которая умеет писать и перерабатывать тексты на казахском языке, запоминать ход беседы и отвечать на уточняющие вопросы пользователя. YandexGPT станет первой публичной генеративной нейросетью, специально обученной понимать казахский язык и говорить на нём.

Нейросеть будет доступна пользователям через виртуального ассистента в приложении «Яндекс», а также в «Поиске» и «Яндекс Браузере» в Казахстане.

Также на облачной платформе Yandex Cloud планируется запуск коммерческой версии YandexGPT на казахском для бизнеса. Она позволит казахстанским компаниям и разработчикам развивать продукты и сервисы на основе генеративных нейросетей.

За основу взяли базовую модель YandexGPT. Для её дообучения на первом этапе подготовили сотни тысяч запросов и ответов на казахском языке, охватывающих различные темы и контексты бесед. Это обеспечивает модели необходимую основу для понимания языка и культурного кода.

В обучении нейросети участвуют AI‑тренеры «Яндекс Казахстан». Они оценивают ответы нейросети — точность, полноту, фактическую правильность, грамматику и стиль — и пишут эталонные запросы и ответы на казахском языке. Затем на них обучают нейросеть и таким образом повышают точность её ответов.

Модель Claude 3 Opus опередила GPT-4 в глобальном рейтинге LMSYS. Нейросеть от OpenAI отстала всего на два пункта (1251 против 1253). Пятёрка лидеров с показателями Arena Elo выглядит следующим образом:

• Claude 3 Opus — 1253;

• GPT-4-1106-preview — 1251;

• GPT-4-0125-preview — 1248;

• Bard (Gemini Pro) — 1203;

• Claude 3 Sonnet — 1198.

«Яндекс» анонсировал третье поколение YandexGPT, а YandexGPT 3 Pro стала первой большой языковой моделью семейства и уже доступна в сервисе Yandex Cloud.

YandexGPT 3 Pro лучше работает со сложными задачами и более точно следует запросам. Это позволяет компаниям использовать языковую модель в своей работе и продуктах. При необходимости нейросеть можно дообучить на собственных данных. Доступна интеграция в продукты через API. Уже сейчас можно попробовать языковую модель в демо-режиме. Зарегистрированные пользователи могут отправлять до 100 бесплатных запросов в час. В ближайшее время нейросеть станет доступна в сервисах «Яндекса».

Для тестирования YandexGPT 3 Pro разработчики использовали тест YaMMLU_ru — локализованную на русский язык версию международного теста MMLU. Кроме того, возможности нейросети проверяли по методике Side by Side (SBS), чтобы оценить, как она справляется с общением, созданием контента и генерацией идей. YandexGPT 3 отвечала лучше, чем YandexGPT 2 в 67% случаев.

Компания рассказала, что стоимость использования нейросети снизилась почти в два раза. Дообучение будет доступно в сервисе ML-разработки Yandex DataSphere.

Проверьте, используются ли ваши репозитории GitHub и исходный код ваших проектов для обучения различных больших языковых моделей (БЯМ — LLM).

На huggingface появилась вторая версия проекта Stack. Это открытый интерфейс управления между сообществом искусственного интеллекта и сообществом открытого исходного кода.

В рамках проекта BigCode выпущен и поддерживается The Stack V2 — набор данных исходного кода объёмом 67 ТБ для более чем 600 языков программирования. Одна из целей в этом проекте — предоставить людям свободу действий в отношении их исходного кода, позволяя им решать, следует ли использовать его для разработки и оценки моделей машинного обучения, поскольку сообщество признает, что не все разработчики могут захотеть, чтобы их данные использовались для этого.

Этот инструмент позволяет проверить, является ли репозиторий под именем пользователя частью набора данных The Stack. Хотели бы вы удалить свои данные из будущих версий The Stack? Вы можете это сделать, следуя инструкциям здесь.

Примечание. Stack v2.0 создан на основе общедоступного кода GitHub, предоставленного Software Heriage Archive. Он может включать репозитории, которых больше нет на GitHub, но которые были ранее заархивированы Software Heritage. Перед обучением моделей StarCoder 1 и 2 был запущен дополнительный конвейер PII для удаления имён, адресов электронной почты, паролей и ключей API из файлов доступных репозиториев исходного кода.

Financial Times запустила собственного чат-бота с генеративным ИИ под названием Ask FT, который обучен отвечать на различные вопросы подписчиков издания.

Для тренировки чат-бота разработчики из FT использовали только собственные материалы, полученные из базы данных сайта издания.

Nvidia опубликовала в открытом доступе бесплатные обучающие курсы для пользователей любого уровня подготовки по нейросетям и нейромоделям для понимания работы ИИ.

Список курсов:

• объяснение генеративного ИИ: базовый 2-часовой курс, который подробно объяснит устройство нейронок, их применение и возможности;

• создаём «мозг» за 10 минут: объяснит, как нейронка обучается на данных и покажет всю математику у неё под капотом;

• введение в ИИ в центре обработки данных: всё про машинное обучение и глубокое обучение; какие есть фреймворки и как видеокарты двигают ИИ;

• усиляем свою LLM с помощью RAG: объяснит всю базу по генерации с дополненной выборкой;

• создание своих RAG-агентов: мощнейший 8-часовой курс про масштабируемые стратегии развертывания для LLM и векторные базы данных;

• ускорение работы с Data Science без изменения кода: всё об обработке данных и машинном обучении без переписываний кода;

• усиление рекомендательных систем с помощью ИИ: курс-коллаб NVIDIA и YouTube;

• устройство сетей: база про протоколы TCP/IP и Ethernet — необходимо для понимания процессов обработки данных.

Выше пользовательского сообщения ChatGPT получает немного текста, который самому пользователю не виден. Этот текст — системный промпт. Он инициализирует бота: рассказывает, кто он такой, какой сегодня день и какие возможности доступны.

Получить системный промпт всё же можно, если попросить модель процитировать сообщение выше. Кстати, именно из-за изменений системного промпта качество работы ChatGPT могло ухудшаться. А меняться там есть чему: системный промпт у OpenAI составляет в длину 1700 токенов.

Аманда Аскелл [Amanda Askell], специалист по этике в Anthropic, показала системный промпт бота Claude 3 и объяснила, что содержит каждый из абзацев:

1. Имя, компания-создатель и текущая дата.

2. Временная отсечка базы знаний и инструкция отвечать с учётом того, что данные уже устаревшие.

3. Инструкция отвечать подробно, но не слишком длинно.

4. Claude чаще отказывается выполнять задачи, связанные с правыми взглядами, чем с левыми. Четвёртый абзац призван с этим бороться.

5. Аналогично, пятый абзац борется с тенденцией Claude стереотипно высказываться о группах, представляющих большинство, но уходить от стереотипов, если речь идёт про различные меньшинства.

6. Четвёртый абзац приводит к тому, что Claude часто говорит, что обе стороны в чём-то правы. Шестой абзац это исправляет.

7. Инструкция всячески помогать и писать код в Markdown.

8. Восьмой абзац призван не спрятать системный промпт, а снизить его избыточную цитируемость.

Впрочем, системные промпты часто и быстро меняются.

Источники СМИ сообщили, что OpenAI уже некоторое время активно тестирует в закрытом формате следующее поколение модели искусственного интеллекта под названием GPT-5.

Ожидается, что перевод этого проекта в доступный режим произойдёт в середине 2024 года, предположительно, летом.

По словам тестировщиков, эта модель существенно лучше GPT-4. Там доступны новые опции типа интеллектуального агента, который умеет самостоятельно выполнять задания человека в течение длительных промежутков времени, а также различные системы для автономного выполнения задач.

СМИ выяснили, что в OpenAI продолжают обучать новый ИИ, затем он будет проходить тесты на безопасность: отвечать на наводящие вопросы от разных команд тестеров, проходить проверки на токсичность и так далее, прежде чем к этой системе получат доступ обычные пользователи.

Ранее глава OpenAI Сэм Альтман заявил, что разработчики обучают ИИ-модель пятого поколения не только на открытой информации и комбинациях общедоступных наборов данных в интернете, но и на внутренних базах данных многих крупных IT-компаний, которые сотрудничают с OpenAI.

В начале марта 2024 года исследователи обнаружили, что OpenAI работает над нейросетью GPT-4.5 Turbo, у которой окно длины контекста в 256 КБ токенов, что вдвое превышает текущие 128 КБ GPT-4 Turbo.

В марте 2023 года OpenAI представила модель ИИ интерпретации изображений и текста GPT-4, которую компания назвала «последней вехой в своих усилиях по расширению масштабов глубокого обучения».

OpenAI блокирует доступ к своим продуктам на территории РФ. В какой-то момент стало невозможным открыть даже документацию.

Доступ через VPN пока работает, но мы с друзьями подумали, что это неудобно, и опубликовали документацию OpenAI у себя:

https://openai-docs.ru

Более того, с помощью GPT-4 мы перевели содержание на русский язык и где возможно, заменили ссылки на дополнительные статьи (Wikipedia и подобные) на русскоязычные версии. За бесплатный доступ к GPT-4 для нашего проекта благодарим  ProxyAPI — доступ к OpenAI API в России. 

Мы продолжаем работать над проектом, будем дополнять документацию время от времени. Но уже сейчас все основные методы и гайды у нас доступны. Приглашаем всех желающих ознакомиться!

17 марта 2024 года ИИ-стартап xAI открыл исходный код чат-бота Grok-1.

Проект Grok-1 опубликован на GitHub под лицензией Apache 2.0, а скачать архив с кодом чат-бота можно, вставив эту ссылку в торрент-клиент (300 ГБ файлов с весами MoE-модели c 314 млрд параметров):

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

4 ноября 2023 года xAI запустила своего чат-бота Grok с генеративным искусственным интеллектом для ограниченной аудитории. В компании планировали сделать языковую модель xAI доступной для всех платных подписчиков соцсети X.

В июле прошлого года Маск объявил о начале работы xAI. Главная цель проекта — «понять истинную природу Вселенной».

11 марта 2024 года Илон Маск пообещал, что ИИ-стартап xAI откроет исходный код чат-бота Grok на неделе. Маск сделал это заявление через несколько суток после того, как подал в суд на OpenAI и пожаловался, что поддерживаемый Microsoft стартап отклонился от своих корней и не выложил в открытом доступе исходный код ChatGPT.

Согласно новым данным из «утечки» от OpenAI, одним из существенных обновлений в GPT-4.5 Turbo является окно длины контекста в 256 КБ токенов, что вдвое превышает текущие 128 КБ GPT-4 Turbo. Этот шаг, похоже, является ответом OpenAI на конкурентов, запускающих модели со все более большими контекстными окнами, включая Google Gemini. Вероятно, что новая модель GPT изменит ситуацию для OpenAI или даже продвинет её впереди чат-бота Google.

OpenAI пока официально не раскрыла информацию об утечке, поэтому статус GPT-4.5 Turbo и дата выпуска в июне 2024 года окутаны тайной.

12 марта 2024 года исследователи обнаружили в кэше Bing, что OpenAI готовится представить нейросеть GPT-4.5 Turbo. Но ссылка на эту страницу на сайте OpenAI выдаёт ошибку 404. Также из поисковой выдачи пропало упоминание о новом чат-боте.

Неясно, был ли это какой-то тест или OpenAI решила придержать релиз новой версии чат-бота.

В марте 2023 года OpenAI представила новую модель ИИ интерпретации изображений и текста GPT-4, которую компания назвала «последней вехой в своих усилиях по расширению масштабов глубокого обучения».

Ожидается, что с помощью чат‑бота GPT-4.5 OpenAI стремится устранить некоторые ограничения и проблемы, с которыми столкнулись его предшественники. Это включает в себя уменьшение предвзятости в сгенерированном тексте, улучшение понимания моделью неоднозначных запросов и значительное улучшение её способности решать задачи, специфичные для определённой предметной области.

Компания Figure в рамках сотрудничества OpenAI показала интеграцию своего робота-гуманоида Figure 01 с наработками компании-партнёра. Ранее представленный робот, который выполняет задачи автономно, теперь успешно делает многое с помощью нейросети.

Благодаря OpenAI Figure 01 теперь может полноценно общаться с людьми, так как ИИ-модель OpenAI даёт высокий уровень визуального и языкового интеллекта, а нейронные сети обеспечивают быстрые, низкоуровневые и ловкие действия робота. Производитель пояснил, что всё в этом видео — работа нейросети:

Робот научился описывать то, что видит, и рассуждать, что можно сделать с предметами. В ролике робот сам понял, что тарелки и стаканы надо ставить в одно место. Также он умеет анализировать ситуацию. Если попросить робота передать еду, а на столе из съедобного только яблоко, то он даст именно яблоко. С ИИ робот держит в памяти всю нужную информацию. В конце видео робот пересказал свои действия и даже дал им оценку.

У Figure 01 будут роборуки с силиконовыми кончиками пальцев. Прототип уже способен выполнять манипуляции как одной, так и двумя руками, хватая объекты и перемещая их. Так, он может манипулировать коробками, контейнерами и другими предметами на складах и на производстве. Кроме того, робот может захватывать обычные предметы, например пачку чипсов. При этом большая часть работы связана с полностью комплексными системами, которые не поддерживаются телеуправлением.

Илон Маск пообещал, что ИИ-стартап xAI откроет исходный код чат-бота Grok на этой неделе.

Маск сделал это заявление через несколько суток после того, как подал в суд на OpenAI и пожаловался, что поддерживаемый Microsoft стартап отклонился от своих корней и не выложил в открытом доступе исходный код ChatGPT.

В декабре прошлого года нейросеть Grok стартапа xAI Илона Маска уличили в плагиате. Исследователь Джакс Уинтерборн заметил, что чат-бот отказался выполнять запрос, потому что «он противоречит правилам пользования OpenAI».

В xAI заявили, что в Интернете есть множество ответов, сгенерированных ChatGPT, поэтому разработчики могли использовать некоторые из них при обучении Grok. «Для нас стало огромной неожиданностью, когда мы впервые столкнулись с этим. Как бы там ни было, проблема довольно редкая, мы о ней знаем и сделаем так, чтобы в будущих версиях Grok её не было», — заявил сотрудник xAI. Он уверяет, что при создании чат-бота не использовали код OpenAI.

4 ноября 2023 года xAI запустила своего чат-бота Grok с генеративным искусственным интеллектом для ограниченной аудитории. В компании планировали сделать языковую модель xAI доступной для всех платных подписчиков соцсети X.

В июле прошлого года Маск объявил о начале работы xAI. Главная цель проекта — «понять истинную природу Вселенной». До этого OpenAI выкупила доменное имя ai.com, чтобы популяризировать веб-интерфейс ChatGPT. Теперь там работает перенаправление на x.ai.