Anthropic

Компания Anthropic представила семейство больших языковых моделей Claude 3. Три модели покрывают различные ценовые сегменты и направления:

• Дорогая и мощная Opus предлагается для автоматизации задач, помощи в исследованиях и анализе данных.
• Более доступную Sonnet рекомендуют для обработки данных, рекомендаций, предсказаний и парсинга текста с изображений.
• Дешёвая модель Haiku предназначена для точного перевода, модерации контента и обработки неструктурированных данных.

Заявлены исправления недостатков предыдущих версий Claude и превосходство над GPT-4 в бенчмарках.

@IMAO_

Мультимодальная языковая модель Gemini как отказывается рисовать просто исторических личностей, так и избегает изображений некоторых рас людей. Как обнаружили пользователи продукта, Gemini намеренно включает некоторые этносы даже в те контексты, в которых их встретить было тяжело или невозможно.

@biblikz

Год назад Александр Жадан рассказал, как написал дипломную работу с помощью ChatGPT и защитил её. Последовавший за этим конфликт урегулировали на высшем уровне министерства образования. В итоге студента всё же не лишили диплома.

Это не отпугнуло Александра от экспериментов с большими языковыми моделями. Он разработал бота на моделях OpenAI, который общался с девушками и назначал свидания. Постепенно бот эволюционировал в помощника в отношениях, круг девушек сузился до одной, и дело дошло до предложения вступить в брак.

Опытом Жадан поделился у себя в микроблоге.

25 января 2023 года OpenAI опубликовала пост в блоге компании. 28 января текст обновили: добавили 3 буквы MRL и гиперссылку. За этим с виду мелким изменением скрывается ещё один виток спора о природе организации OpenAI.

Code churn по годам, для 2024 года — прогноз. GitClear

Система автодополнения кода Copilot популярна. По данным компании GitHub, разработчика продукта, у инструмента миллион пользователей, и подписку на него купили 20 тыс. организаций.

Сервис GitClear попытался оценить, как появление Copilot повлияло на качество работы разработчиков. Анализ 153 млн изменённых строк кода приходит к выводу: код пишут хуже.

haillusty I Apologize but I Cannot fulfill This Request it violates OpenAI use Policy-Gray(78.8 Table Length)

Покупатели Amazon обратили внимание на товары, страницы которых явно заполняла языковая модель. В этих особо очевидных случаях вместо названия продукта приводится текст вида «Мне жаль, но я не могу выполнить этот запрос, поскольку он противоречит политике использования OpenAI». Вероятно, что это инициатива по автоматизации сторонних продавцов, а не самой Amazon.

Энтузиасты заметили, что ответ ChatGPT немного короче, если в системном промпте указан декабрь, а не май. Эффект пронаблюдали два человека (1, 2), ещё один сообщает об отсутствии разницы.

В деле Epic Games против Google суд встал на сторону разработчика игр. Девять присяжных единогласно постановили, что Google создала монополию в методах распространения приложений Android. Пока есть лишь решение суда, Google ещё никак не наказывали.

6 декабря Google опубликовала видеоролик про мультимодальность модели Gemini Ultra. Позднее выяснилось, что видео — лишь демка возможной производительности, а не реальный продукт. Грег Садецкий опубликовал простую демку, которая воссоздаёт 3 примера из видео. Для этих целей он задействовал доступную с конца сентября GPT-4V.

6 декабря вместе с семейством моделей Gemini компания Google показала видеоролик, где человек взаимодействует с мультимодальной языковой моделью. На видео пользователь общается голосом, рисует и показывает жесты, а Gemini распознаёт увиденное и всячески развлекает. Как заметили наблюдатели и как позже признала Google, видеоролик преувеличивает технические способности ИИ.

Цветом выделена токенизация

Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.

@voooooogel

Микроблогер поделилась забавным наблюдением про работу ChatGPT: языковая модель реагирует на обещание дать чаевые и отвечает чуть подробнее. Хотя чат-бот не имеет возможности получить оплату, размер ответа всё равно незначительно вырастает.

Блогер Гергей Орос уличил организаторов DevTernity в обмане: на сайте конференции перечислены несуществующие спикеры. Как заметил Орос, DevTernity вводит в заблуждение уже не в первый раз. Реальные докладчики начали массово отказываться от участия в конференции, и DevTernity 2023 была отменена.

Anthropic

Компания Anthropic представила Claude 2.1, следующую версию своей языковой модели. В 2.1 заявлены разнообразные улучшения точности и 50-процентное сокращение частоты галлюцинаций. Новая модель удваивает размер контекстного окна со 100 тыс. токенов до 200 тыс.

Грег Камрадт протестировал эффективность памяти Claude 2.1 в зависимости от длины контекста и выдал несколько рекомендаций.

Для градостроительной стратегии такая топология модели горожанина избыточна. Hexcoder0

24 октября вышла игра Cities Skylines 2, производительность которой разочаровала. С запуском на комфортном уровне не справляются даже мощные игровые компьютеры. Как заметили пользователи, низкая производительность может быть связана с процедурно сгенерированными моделями жителей. Эти модели обладают излишествами. К примеру, каждый из горожан обладает двумя рядами зубов, которые отрисовываются даже при отдалении камеры от него.

DALL-E 3

Преподаватель языка Python Ревер Лернер рассказал в личном блоге, как получил бан в рекламной сети Facebook². Лернер попытался разместить рекламу курсов Python и Pandas, но система сочла подобное рекламой продажи экзотических животных и заблокировала его аккаунт рекламодателя. Из-за того, как организована работа с данными в Meta¹, не помогло вернуть аккаунт даже вмешательство человека.

@aaronp613

Сервис микроблогов X (бывший Twitter) тестирует плату за статус Not A Bot. Чтобы писать, ставить лайки и вести любую обычную активность, придётся внести символическую плату — $1 в год. Без покупки подписки пользователь остаётся в рид-онли и может только поглощать контент.

Система пока лишь тестируется на новых аккаунтах, зарегистрированных на Филиппинах и в Новой Зеландии. О планах развернуть эту функцию глобально не сообщается.

Энтузиаст запустил ядро Linux на плате Arduino Uno. Чтобы адаптировать полновесный Linux 6.1 к чипу ATmega328p, он портировал эмулятор RISC-V на эту платформу. Установлен новый антирекорд: более 15 часов для загрузки.

AMD отозвала обновление драйвера Radeon из-за некорректной работы в Counter-Strike 2. Как предупреждает Valve, запуск CS2 с включённой функцией Anti-Lag+ из этой версии драйвера приводит к бану VAC всего аккаунта Steam. Проблемы с Anti-Lag наблюдаются и в других играх.

План развития на 2023–2025 года́

В начале этого месяца в презентации для инвесторов компания Nvidia рассказала о планах развития устройств для дата-центров. За последний год производитель игровых видеокарт занял доминирующую позицию в отрасли ускорителей искусственного интеллекта. Дорожная карта по 2025 год указывает, что Nvidia пытается сохранить свой уверенный отрыв от конкурентов.