Акиёси Китаока — японский специалист в области экспериментальной психологии, который изучает чужие и создаёт собственные зрительные иллюзиии. В личном микроблоге он публикует примеры подобных изображений и анимаций.
Вчера Китаока опубликовал загадку, чем отличаются две с виду полностью одинаковые картинки. Сегодня микроблогер раскрыл ответ. Верхняя картинка состоит из множества различных оттенков, нижняя — всего из шести цветов различной насыщенности.
Всего шести цветов было достаточно, чтобы передать всю красочность оригинальной картинки
Впрочем, сжимать файл это никак не помогло. Файловый размер изображения сверху составил 2,11 МиБ, нижнего — вырос до 2,21 МиБ. Китаока не указывает формат данных и размер в пикселях оригинальных фотографий.
ИИ AlphaProof в комбинации с Gemini достигает высокого уровня понимания математики. Google даже заявляет, что на Международной математической олимпиаде такая система получила бы серебряную медаль.
В реальном мире неточность больших языковых моделей удивляет. В Сети распространяют очередной тест на тупость БЯМ: просьбу сравнить числа 9,9 и 9,11.
Чаты по типу ChatGPT скармливают ввод от пользователя в БЯМ с неким ненулевым значением температуры, поэтому результаты генерации в ответ на один и тот же запрос могут различаться. К тому же не все скриншоты показывают полный контекст чатов. Тем не менее для почти всех доступных моделей есть примеры, где ИИ уверенным тоном объясняет, что 9,11 больше, чем 9,9. К примеру, эту ошибку демонстрируют ChatGPT, Claude и даже новая модель Llama 3.1 в варианте на 405 млрд параметров.
Объяснение ошибке найти просто. Как минимум в одном контексте 9.11 будет больше, чем 9.9 — версионирование программного обеспечения. Без дополнительного контекста математических вычислений БЯМ могут понимать вопрос неправильно.
Ошибка проявляется редко и может исчезать при изменении порядка слов в вопросе. Тем не менее пользователей крайне забавляет, когда ChatGPT вычитает 9,9 из 9,11 и получает 0,21, а отличный от собственного результат от API Python объясняет ошибками арифметики чисел с плавающей запятой. В другом случае модель Llama 3.1-405B согласилась, что совершила ошибку, но от утверждения «9,11 больше 9,9» не отказалась, придумав новое доказательство.
28 мая 2020 года на сайте препринтов arXiv.org опубликовали легендарную научную статью «Language Models are Few-Shot Learners», более известную как «статья про GPT-3». Позднее OpenAI улучшила большую языковую модель до GPT-3.5 и построила на ней сервис ChatGPT, чем привлекла 100 миллионов пользователей и миллиарды долларов инвестиций.
У оригинальной статьи про GPT-3 всего 31 автор. Некто Арун Пракаш составил элементарную статистику, как развернулась судьба этих людей в дальнейшем.
Как оказалось, за 4 года в OpenAI осталось менее половины оригинального состава авторов той статьи. Четверть из них ушли в Anthropic, ещё 29 % — в другие компании.
Разрешение экрана портативного компьютера Steam Deck составляет всего 1280×800. Это вполне нормально для 7-дюймового дисплея и игрового устройства. Если сравнивать Steam Deck с ближайшим конкурентом в своей идеологической нише карманного гейминга, то у Nintendo Switch экран имеет схожее разрешение 1280×720 при диагонали в те же 7 дюймов.
Тем не менее это устраивает не всех. По крайней мере недовольных набралось достаточно, чтобы коммерческий успех имели соответствующие модификации Steam Deck. Так, проект DeckHD завёл собственный сайт, где продаёт наборы для замены штатного экрана Steam Deck на дисплей разрешением 1920×1200.
Как указали в микроблогах, Valve, компания-разработчик Steam Deck, в курсе подобных аппаратных модов. Deck работает на операционной системе SteamOS, исходные коды которой открыты. В том числе любой желающий может прислать пулл-реквест в репозиторий Gamescope, менеджера окон SteamOS. На днях код программы немного изменили.
Вчера Джошуа Эштон, сотрудник Valve, смёрджил в мастер github.com/ValveSoftware/gamescope пулл-реквест #1281, который вообще начинался как #1021. В коде основной ветки Gamescope появилась поддержка нескольких сторонних экранов: заданы нужные тайминги, часто́ты работы и прочие параметры этих панелей.
В полку́ мусора от ИИ в науке прибыло. На ещё один вопиющий случай обратил внимание некто Морган Пфиффнер, специалист нутрициологии.
Морган — главный редактор отдела кратких содержаний исследований сервиса поиска информации про БАДы Examine.com. Пфиффнер занимался своей работой — отслеживал поток научных публикаций — и в одной из статей наткнулся на необычную иллюстрацию человеческих костей. Здесь явно постарался генеративный искусственный интеллект.
Рисунок 2 из статьи
Выдаёт сгенерированность не только характерный стиль (похоже на творение пера DALL‑E 3). Костей в конечностях слишком много, а в голени появились несуществующие суставы. Наконец, весь текст на изображении — нечитаемая абракадабра, что характерно для художеств многих диффузионных моделей.
Если судить по подписи в самой статье, картинка показывает механизм работы лечения хронического подагрического артрита с помощью щелочной воды.
В комментариях к твиту Моргана рассказали о попытке пробить текст научной статьи на детекторах больших языковых моделей. Некий детектор на 100% уверен, что первый абзац введения писала БЯМ. Впрочем, обнаружение работы текстового ИИ — не самая тривиальная задача, и подобные инструменты могут сбоить.
До этого похожий случай наблюдался в статье про сперматогониальные стволовые клетки, где одна из картинок была явно сгенерирована нейросетью. Ныне эта статья с огромными мышиными тестикулами уже отозвана.
Как обратили внимание в микроблогах, Amazon умудрилась запатентовать обработку естественного языка. Выданный и опубликованный 7 мая 2024 года патент US11978437B1 так и называется: «Natural language processing».
Патент касается устройств и техник, которые «обычно описываются для изучения персонализированных концепций естественной обработки языка». В описании патента также упоминается такая сущность, как сессия диалога с пользователем. В тексте документа агенту с искусственным интеллектом предлагают переспрашивать пользователя и учиться на основе предыдущих предпочтений.
Рисунок 2 из текста патента
Что это всё должно значить, Amazon не поясняет. В СМИ про патент тоже не писали.
Уже не впервые в индустрии искусственного интеллекта что-то регистрируют настолько широкими мазками. К примеру, у Google с 2019 года есть патент на трансформеры — ныне широко известную технологию ИИ. Впрочем, современные большие языковые модели под патент Google чаще всего не подпадают.
Дело в том, что патент Google касается оригинальных трансформеров на архитектуре с комбинацией энкодеров и декодеров. Текущие популярные БЯМ построены либо только на декодерах (семейство GPT), либо только на энкодерах (BERT и похожие).
13 июня американское космическое агентство НАСА отменило плановый выход в открытый космос астронавтов Мэттью Доминика и Трейси Дайсон. Работы за бортом Международной космической станции отложили неожиданно и поздно — примерно за час до планируемого открытия люка модуля «Квест».
Причины изначально не назывались. Чуть позднее НАСА рассказало, что произошло это из-за некоей «проблемы дискомфорта» [discomfort issue]. Ни подробности инцидента, ни виновника агентство не назвало.
Что скрывается за этим деликатным термином, попытался выяснить репортёр CNBC Майкл Шиц. Впрочем, и на его запрос НАСА не ответило, сославшись на защиту частной жизни члена экипажа станции.
Следующие два американских выхода в открытый космос — 24 июня и 2 июля. У отмённого выхода были две группы задач: обслуживание станции (демонтаж электрического оборудования и антенны связи) и научные (забор образцов микроорганизмов с поверхности МКС). Первую группу уже перенесли на 24 июня, а про научные задачи НАСА пока не пишет.
НАСА успокаивает, что члены экипажа здоровы, а скафандры функционируют без аномалий.
31 июля 2020 года влогер MattKC опубликовал видеоролик, в котором попытался уместить игру в QR-коде. В результате он написал вариант «Змейки», которая занимает 2953 байта. Исполняемый файл такого размера возможно уместить в QR-коде, поскольку этот формат кодирует до 3 КиБ данных.
Эксперимент влогера не остался без внимания. Уже 3 августа свой вариант показал Брайан Каллахан. Эта «Змейка» требует всего 2024 байта. Впрочем, вариант MattKC ужимается с помощью Crinkler до 1,4 КиБ.
Дальнейшие эксперименты ушли ниже тысячи, а потом и сотни байтов. В последние месяцы развернулась борьба за каждый байт. В ноябре 2023 года удалось заменить ассемблерную инструкцию и выиграть целый байт. Ещё два байта сэкономили две недели назад за счёт замены jae и xor на adc.
Итоговый вариант — это «Змейка» на 58 байт для Microsoft DOS. Для сравнения: ничего не выполняющая программа на C gcc -Os -w -xc - <<< "main;"на 64-битном Linux займёт 15 776 Б. 58 байт — это немного даже для текстовых данных: хватит на небольшое предложение или последовательность эмодзи по типу «??❤️?????♀️??❤️???».
58-байтная «Змейка»
Конечно, в QR-коде эта игра тоже уместится. Также автор выложил онлайн-демку (управление по стрелкам клавиатуры на ПК или свайпу на мобильных устройствах).
6 апреля верхняя ступень ракеты-носителя «Восток-2М» вошла в плотные слои атмосферы над Антарктикой. Об этом рассказал астроном Джонатан Макдауэлл.
17 декабря 1970 года эта ракета запустила на орбиту спутник радиотехнической разведки «Целина-Д». Сам спутник упал ещё 20 лет назад, 24 ноября 2011 года, а ступень оставалась на орбите куда дольше, почти 53,5 лет после старта.
Расчёты космических сил США показывают, что объект упал в море Уэддела.
Как поясняет Макдауэлл, на графике высоты орбиты объекта космического мусора заметны года, когда солнечная активность была особенно высока. Из-за усиления солнечной активности граница атмосферы повышается. Даже за пределами атмосферы окружающее пространство становится чуть плотнее, что сильнее тормозит объекты на орбите.
Заметно, что падение случилось всего через год после достижения отметки в примерно 400 км.
Также Макдауэлл сообщает, что 5 апреля около 14:30 по московскому времени на Землю над западом Тихого океана упал спутник радиотехнической разведки «Целина-Д» под кодовым названием «Космос-1633». Спутник запустили 39 лет назад, 5 марта 1985 года.
По Интернету распространяют песни с сайта Suno. Этот сервис генерирует песни по текстовому промпту. Suno берёт на себя всё: генерирование слов, зачитывающих их голосов и музыки. В марте у Suno вышла третья версия.
Впрочем, увлекательного мало. Треки звучат похоже на человеческие и ничем не запоминаются. Куда интереснее заставить Suno спеть что-то похабное.
К примеру, так появилась песенка I glued my balls to my butthole («Я приклеил свои яйца к анусу»), которую жизнерадостный мужской голос исполняет под музыку в стиле рок-н-ролла 50-х годов прошлого века. У песни даже вышло продолжение I Glued My Balls to My Butthole Again («Я опять приклеил мои яйца к анусу»), в которой лирический герой сокрушается о своей глупости.
Другой пример — песня про игру с сосками Rubbin' and a Tuggin' My Nips, где вокалист рассказывает, что даже врач просит прекратить стимуляцию своего тела.
На самом деле удивительного мало. Как рассказывает энтузиаст винтажных компьютеров Дэвид Мюррей, когда в 80-х годах прошлого века появились первые системы генерации речи, дети развлекались тем, что заставляли их зачитывать ругательные слова.
Наконец, такие песни с непристойностями реально существовали в первой половине прошлого века. Подобное проходило под жанром «грязный блюз».
Вышедшая сегодня статья в Wall Street Journal (есть в зеркале на MSN) рассказывает про стартап Cognition Labs. Компания пытается получить оценку стоимости $2 млрд, смело отклоняя предложения инвестиций с оценкой в жалкий миллиард.
На данный момент у Cognition Labs нет выпущенного продукта. Сайт www.cognition-labs.com совсем не похож на страницу организации ни на два, ни на один миллиард долларов. В марте компания угрожала в своём блоге создать первого ИИ-программиста. Почему у Cognition Labs всё ещё открыты вакансии на разработчиков программного обеспечения, пояснений не дают.
Впрочем, интересно не это. Статья из Wall Street Journal в последнем абзаце упоминает, что в презентации от этого месяца инвестиционная фирма Sequioa оценила направление искусственного интеллекта. За прошлый год индустрия ИИ потратила $50 млрд на микросхемы Nvidia для обучения моделей. При этом суммарная выручка за год составила всего $3 млрд.
Конечно, напрашиваются сравнения с лопнувшим в 2001 году пузырём доткомов. На самом деле стоит вспомнить, что через несколько недель за ним последовало куда более масштабное падение телекомов, нанёсшее смертельный удар такому несокрушимому гиганту канадской экономики, как Nortel.
На данный момент капитализация Nvidia составляет более $2 трлн. Соотношение капитализация/выручка (P/S ratio) компании выросло до 36,96. Это меньше, чем в середине прошлого года, но всё равно необычно высокое значение.
27 и 28 марта в Лондоне проходила конференция Rust Nation 24. На конференции выступал Ларс Бергстром [Lars Bergstrom], который занимает в Google пост технического директора. Доклад Ларса носил название «Beyond Safety and Speed: How Rust Fuels Team Productivity» (дословно «Кроме безопасности и скорости: как Rust заряжает команду продуктивностью»).
Во время выступления технический директор Google заявил, что команды Rust в Google в два раза продуктивнее команд C++. Этот мощный посыл успел разлететься фотографией с конференции.
Ларс пояснил, что подразумевается под производительностью. Google — компания, где часто переписывают проекты, а иногда две команды работают над похожими задачами. Поэтому подобный анализ в масштабах Google возможен.
Как выяснилось, на переписывание на Rust нужно примерно столько же времени и людей, сколько уходит на написание продукта на Go. При этом памяти приложения на Rust используют куда меньше, в них меньше дефектов. Когда компонент на C++ переписывают на Rust при одинаковом размере команд, в два или более раз сокращаются время и усилия как для написания, так и поддержки кода.
Слегка портит картину то, что Бергстром — это ещё и председатель совета директоров Rust Foundation, поэтому делать такие заявления он непосредственно заинтересован.
На записи видеотрансляции с конференции обсуждение деталей производительности идёт с отметки 7:30:13.
Пользователи Linux бывают самые разные. В последние несколько дней алгоритм рекомендаций YouTube вытолкнул на главную страницу канал некой Андреа Борман [Andrea Borman], что многие заметили (1, 2, 3, 4) и оценили позитивно.
Выше пользовательского сообщения ChatGPT получает немного текста, который самому пользователю не виден. Этот текст — системный промпт. Он инициализирует бота: рассказывает, кто он такой, какой сегодня день и какие возможности доступны.
Получить системный промпт всё же можно, если попросить модель процитировать сообщение выше. Кстати, именно из-за изменений системного промпта качество работы ChatGPT могло ухудшаться. А меняться там есть чему: системный промпт у OpenAI составляет в длину 1700 токенов.
Аманда Аскелл [Amanda Askell], специалист по этике в Anthropic, показала системный промпт бота Claude 3 и объяснила, что содержит каждый из абзацев:
Имя, компания-создатель и текущая дата.
Временная отсечка базы знаний и инструкция отвечать с учётом того, что данные уже устаревшие.
Инструкция отвечать подробно, но не слишком длинно.
Claude чаще отказывается выполнять задачи, связанные с правыми взглядами, чем с левыми. Четвёртый абзац призван с этим бороться.
Аналогично, пятый абзац борется с тенденцией Claude стереотипно высказываться о группах, представляющих большинство, но уходить от стереотипов, если речь идёт про различные меньшинства.
Четвёртый абзац приводит к тому, что Claude часто говорит, что обе стороны в чём-то правы. Шестой абзац это исправляет.
Инструкция всячески помогать и писать код в Markdown.
Восьмой абзац призван не спрятать системный промпт, а снизить его избыточную цитируемость.
Впрочем, системные промпты часто и быстро меняются.
Джереми Синклер поделился видеозаписью с демонстрации во время eXperience Day в кампусе Qualcomm.
Сравнению подвергли два ноутбука. Их полные спецификации названы не были, да и тест не настолько глубокий. Условно ситуацию можно описать так: справа находился новейший мобильный процессор Intel Core Ultra 7 155H, слева — Snapdragon X Elite. На обоих ноутбуках было запущено приложение для редактирования видео DaVinci Resolve, популярный в профессиональных кругах пакет цветокоррекции, визуальных эффектов и постобработки аудио для macOS, Windows и Linux.
Нетрудно разглядеть, что на обоих ноутбуках работала Windows. Разница лишь в том, что слева запустили версию DaVinci Resolve не для x86, а специально перекомпилированную под ARM. Релиз подобной версии пока лишь только намечается.
Тест касался NPU, нейроускорителя системы на кристалле Qualcomm. Представитель компании хвастает, что это самый мощный NPU на ноутбучном чипе, 45 TOPS. Для бенчмарка на ноутбуках одновременно запустили Magic Mask, нейросетевую функцию DaVinci Resolve для отслеживания объекта на видео.
За счёт нейроускорителя ноутбук на Snapdragon X Elite оказался значительно быстрее: он работал на скорости в 7 кадров в секунду против 3 у чипа Intel. При этом энергопотребление у системы на кристалле Qualcomm меньше. Точные числа названы не были; в другом видео на ARM показана категория энергопотребления «Умеренная» из «Диспетчера задач» Windows против «Очень высокой» у Intel.
Главное зеркало «Уэбба» состоит из 18 сегментов из бериллия с покрытием из золота. Как правило, указывают, что зеркало изготовила Ball Aerospace. На деле к зеркалам приложили руку несколько других субподрядчиков: заготовки из бериллия поставила Brush Wellman, Axsys Technologies проводила точную обработку, в подразделении Tisnkey компании L3 Integrated Optical Systems занимались полировкой, Quantum Coating Incorporated проводила покрытие золотом и так далее.
Кстати, географически производственные помещения этих организаций находились далеко, поэтому сегменты путешествовали по США вдоль и поперёк.
18 сегментов поставляли не сразу, а тремя партиями по 6 штук. В 2011 году в Центре космических полётов Годдарда во время проведения испытаний сделали забавный снимок. 25 мая 2011 года фотографию опубликовали в аккаунте Flickr Центра. Человек в одежде для чистого помещения (на сленге — bunny suit), лицо которого отражается в сегментах, в подписи назван «учёный проекта Марк Клэмпин».
В 2011 году считалось, что «Уэбб» будет готов к полёту в 2018 году. На деле сборка и запуск телескопа затянутся — в точку Лагранжа L2 аппарат улетит лишь 25 декабря 2021 года. Карьера Клэмпина в это время тоже не стоит на месте: он получает должность директора отдела астрофизических исследований, а позднее и вовсе переезжает в Вашингтон, столицу США, где возглавляет отдел астрофизики в директорате научных миссий в главном офисе НАСА.
Claude 3 можно научить черкесскому языку. Из-за принадлежности к адыгской подгруппе язык относительно изолирован от других. А ещё изучать его не так-то просто из-за сложной морфологии и ограниченности данных.
С таким необычным заявлением выступил энтузиаст hahahahohohe. В длинном твите он описал свою работу последних нескольких лет: из скудных источников он собрал 64 тыс. переведённых терминов и выражений, чтобы обучить модели русско-кабардинского машинного перевода.
Экспериментатор вставил в промпт справочные случайно выбранные 5,7 тыс. пар кабардинский – русский, затем попросил Claude 3 перевести текст. Казалось, что даже с малой толикой датасета БЯМ немедленно освоила то, на что у энтузиаста ушло 2 года.
Модель Opus продемонстрировала глубокое понимание структуры языка, правильно использовала заимствованные термины и проводила правдоподобный этимологический анализ. По запросу она могла даже сочинять новые термины.
Действительно, язык представлен в Интернете относительно слабо: в «Кабардино-черкесской Википедии» на сегодняшний день 1635 статей и 232 482 слов. Но в датасете предобучения язык всё же был в некотором объёме.
Как признался энтузиаст на следующий день, Claude 3 знает черкесский и так. Opus умеет переводить и общаться на языке, пусть и с ошибками. И вообще, поначалу модель переводить с черкесского просто отказывается, что и подкрепило иллюзию изучения языка из промпта.
Впрочем, предоставление дополнительных данных в промпте действительно улучшает качество работы модели.
Немецкая железнодорожная компания ищет администратора. Вакансия не самая обычная: придётся поддерживать работу софта из девяностых.
Перечислен конкретный технологический стэк: Windows 3.11, Windows for Workgroups и Microsoft DOS. Вероятно, придётся сталкиваться с древней СУБД Sibas, поскольку в пожеланиях она тоже упоминается. Опыт работы в железнодорожной сфере приветствуется.
Где конкретно работает настолько древняя система на железных дорогах Германии, вакансия не уточняет. Указано лишь, что это некий софт для отображения информации, который подключается к системе управления транспортным средством. Это дисплей, который показывает технические данные машинисту высокоскоростного или пригородного поезда.
Если подумать, всё вполне ожидаемо: кому-то ведь приходится поддерживать настолько старые системы. Но особую необычность вакансии придаёт то, что для работы указана удалёнка.
Microsoft ведёт аккаунты в социальных сетях, наполняя их разнообразным контентом. К примеру, в микроблог Microsoft Dev Docs иногда заливают развлекаловки. На этот раз попросили выступить легендарного ветерана компании Рэймонда Чена.
На фоне хромакея Чен зачитал одну из своих айтишных баек, вернее, вторую часть текста 2019 года.
Менеджеры по работе с клиентами часто путешествуют. В Microsoft у сотрудников этой должности когда-то был популярен мобильный компьютер Compaq Portable 486. Такая машина не ноутбук в современном понимании: это переносной, но невыносимо тяжёлый ящик, который работает не от встроенных батарей, а от бытовой сети переменного тока.
Как следует из названия, машину оснастили процессором 80486DX2 с частотой работы 66 МГц, а также экраном 640×480, 4 МиБ ОЗУ и жёстким диском на 120 МиБ. В 1992 году это чудо стоило $5899 — эквивалент $13 тыс. сегодня.
Один из менеджеров компании однажды прибыл в Сантьяго и забыл свой Portable 486 у бордюра возле аэропорта. На неожиданную лёгкость багажа он обратил внимание лишь в гостинице.
Тем временем чилийцы приняли компьютер за бомбу и вызвали сапёров, те успели заложить взрывчатку около отверстий вентиляторов и взорвать её. На самом деле ситуация распространённая: у Чена в посте есть ещё один похожий пример, который в видео он не зачитал.
Любопытно другое. Сотрудник съездил обратно в аэропорт, где ему вернули обезвреженную «бомбу». В отеле он попытался включить компьютер. Взорванный Compaq Portable 486 заработал.
1 января 2024 года на 90-м году жизни ушел из жизни швейцарский учёный Никлаус Вирт, создатель языков программирования Паскаль, Модула, Оберон и других. Также Вирт — автор нескольких мемов информатики. Часто вспоминают про закон его имени, но вообще-то даже «X is considered harmful» отлил в граните Вирт.
Как рассказывает Эдсгер Дейкстра в EWD1308, в 1968 году Ассоциация вычислительной техники опубликовала его легендарную статью «The goto statement considered harmful», которая навсегда запятнала оператор безусловного перехода. Однако оригинал Дейкстры был озаглавлен куда менее вызывающе: «A case against the goto statement». Новый заголовок поставил редактор журнала — Никлаус Вирт. В последующие десятилетия навыходило ещё очень много статей под заголовками вида «considered harfmul», где низвергалась какая-нибудь распространённая практика.
Заслуги и имя известны по всему миру, а вот произношение имени может отличаться. К примеру, на сайте HowToPronounce представлены два образца, звучащие как «Никлоус Уорт» или вообще как «Никельс Уорт». По-английски последний вариант звучит похоже на словосочетание «nickel's worth», что значит буквально «достоинством в пятицентовую монету».
С этим связан каламбур. В 1965 году Адриан ван Вейнгаарден представлял Вирта на съезде Международной федерации по обработке информации. Ван Вейнгаарден пошутил, что европейцы вызывают Вирта по имени, а американцы — по значению. (По-английски глагол «to call» также имеет значение «называть», «давать имя».)
