В 2011 году после облавы на резиденцию Усамы бен Ладена в Абботтабаде и его последующего убийства спецслужбы США разжились личными пожитками террориста №1. Среди нажитого непосильным трудом оказались компьютеры, носители которых были наполнены файлами.

Один из популярных форматов мемов — запостить какую-нибудь абсурдную картинку и заявить, что ЦРУ обнаружило её на жёстком диске бен Ладена. Такой вид шутки популярен и всегда вызывает улыбку.

Корни этот мем берёт из реальных отчётов ЦРУ. Рассказывается не только про переписку Усамы, его дневники и личный видеоархив, но также про видеоигры, фильмы и даже порнографию на его компьютере.

Последний тип файлов ЦРУ никогда не опубликовало, несмотря на все публичные законные запросы. Остальные данные выложены в 2017 году на сайте ЦРУ на специальной странице. В числе прочего в архиве собрана 121 серия «Тома и Джерри».

С 1940 по 1967 год был снят 161 выпуск про бытовые конфликты кота и мышонка. Сайт ЦРУ — один из самых полных законных источников классических эпизодов «Тома и Джерри» в американском Интернете. Второе место принадлежит сервису HBOMax, где за плату предлагают лишь 82 серии.

Таковы издержки копирайта, который учитывает мнение всех правообладателей.

НАСА развивает частный космос. Годы субсидий и контрактов на снабжение МКС как дали миру несколько кораблей (Cygnus, Dragon, Dragon 2, Starliner), так и вырастили новую компанию (SpaceX).

Вообще-то НАСА и так никогда ничего не строит, а лишь распределяет деньги. Вопрос в организации процесса. До этого НАСА планировало будущие аппараты и искало подрядчиков для их реализации. Теперь дизайн и строительство полностью отдают сторонним компаниям. Американское космическое агентство флотом космических кораблей не владеет и лишь покупает места в запусках.

Взамен дряхлеющей МКС НАСА потихоньку пытается двигаться тоже в сторону коммерческих решений. В 2021 году, например, агентство провело отбор компаний для строительства будущей орбитальной станции-замены.

Один из будущих проектов — Orbital Reef, детище Blue Origin и Sierra Space. В августе прошлого года проект прошёл стадию System Definition Review. Казалось, «Орбитальный риф» ровно идёт по долгому пути к запуску.

В сентябре этого года издание CNBC отчиталось, что у компаний Blue Origin и Sierra Space возникли разногласия. Источники издания утверждали, что партнёрство под угрозой.

Что в реальности происходит между двумя компаниями, остаётся только гадать. Недавно из Интернета исчез отдельный сайт по адресу www.orbitalreef.com. Вместо этого теперь открывается редирект на страницу www.blueorigin.com/destinations.

Как выглядел сайт, теперь можно судить лишь по копиям в «Архиве Интернета». Последний слепок сайта в архиве — от конца ноября.

В пригороде Далласа расположен центральный офис id Software (г. Ричардсон) и Armadillo Aerospace (г. Мескит). Неудивительно, что и Джон Кармак, сооснователь обеих компаний, живёт (или хотя бы жил) где-то рядом. Местные рассказывают, что до сих пор иногда видят его в Далласе.

Международный аэропорт Даллас/Форт-Уэрт расположен, как следует из названия, между городами Даллас и Форт-Уэрт. В аэропорте установлены сразу несколько объектов искусства, все из которых перечислены на специальной странице на сайте аэропорта.

Один из объектов — инсталляция без названия от художника Тома Орра. Это серия алюминиевых труб, расположенных перед узором из параллельных линий. Когда глаза наблюдателя скользят по этому прямоугольнику 6×12 метров, возникает иллюзия движения.

Однако у Кармака совсем иные ассоциации. Когда он снял и выложил инсталляцию у себя в микроблоге, он снабдил её подписью «похожа на алиасинг компьютерной графики». Как пишет профессионал и ветеран CGI Джон Кармак, эффект ему глубоко неприятен.

Парейдолия — зрительная иллюзия, когда восприятие обнаруживает объекты, узоры или значения там, где их нет и быть не может. Чаще всего под этим словом понимают то, как мы обнаруживаем человеческие лица в самых неожиданных местах — на снимках Марса, например. Хотя вообще-то это может любой другой объект.

На странице replicate.com/fofr/sdxl-hidden-faces запущен файнтюн для Stable Diffusion XL, который специально заточен для встраивания парейдолии на разные объекты.

Под «встраивать парейдолии» в данном случае понимается «добавлять лица на фотографии еды». Во всяком случае, в примерах только разнообразные блюда (бургеры, салат, блины и так далее). Впрочем, генерация неплохо работает и для других объектов.

Более общий смысл термина не рассматривается. Вообще-то разновидностей парейдолии много: к примеру, в «Гамлете» Шекспира персонажи разглядывают зверей в облаках, что намекает на скрытые качества героев. Здесь же просто дорисываются два круглых глазика и что-то, похожее на рот.

Чтобы работало лучше, в промпте приходится явно упоминать pareidolia и hidden face.

Джейсон Вэй — известный исследователь направления языковых моделей. Имя Джейсона стоит первым на различных научных докладах Google: про эмерджентные способности (arXiv:2206.07682), промптинг в стиле цепочки рассуждений (arXiv:2201.11903) и FLAN (arXiv:2109.01652).

У Джейсона есть брат Джерри Вэй, который стажировался в различных структурах Google. С мая Джерри проходил стажировку в Google DeepMind, а с июля 2023 года работает там на постоянной основе. Джерри тоже успел отличиться и выпустил доклад про symbol tuning (arXiv:2305.08298).

Джейсон же в феврале этого года перешёл из Google в отдел ChatGPT в компании OpenAI. Как рассказывает перебежчик, культура в компаниях заметно отличается: вместо небольших исследовательских групп Google пришлось привыкать к крупным командам OpenAI. Чтобы адаптироваться, Джейсон рекомендует больше внимания уделять документации, простоте дизайна и качеству инструментов разработки. Также, если верить Джейсону, в OpenAI кормят лучше, чем в Маунтин-Вью, хотя ещё вкуснее еда в сингапурском офисе Google.

Братья не прекращают общение и регулярно видятся, но не забывают подтрунивать мемами в социальных сетях друг над другом.

На личном сайте Брендана Байкрофта на странице bbycroft.net/llm опубликована интерактивная визуализация работы большой языковой модели.

Всё работает прямо в браузере с пошаговой обработкой промпта. По нажатию пробела происходит переход от одной стадии к другой. Алгоритмическая сложность разнообразных структур демонстрируется в трёхмерном пространстве. Архитектура модели наглядно разбита на отдельные составляющие, будто это конвейер мебельной фабрики.

Код проекта выложен на аккаунте Байкрофта на GitHub.

github.com/bbycroft/llm-viz

Начиная с прошлого десятилетия смартфоны постепенно уничтожили рынок дешёвых «фотомыльниц». Компактные камеры никому не нужны, поскольку любой телефон умеет фотографировать в схожем качестве.

Да что фото — в последние годы у шестидюймовых смартфонов получается неплохо конкурировать даже с профессиональной видеоаппаратурой. К примеру, всю свою последнюю презентацию Apple сняла на iPhone 15 Pro Max.

Смартфоны вовсю хозяйничают даже там, где раньше требовались «зеркалки». Бороться честно с огромными фотоаппаратами с крупной оптикой и большими матрицами невозможно. Преодолевать недостатки крошечным смартфонам приходится за счёт ухищрений вычислительной фотографии.

Иногда случаются ошибки.

К примеру, Тесса Коутс недавно обнаружила изъян камеры iPhone. Британка сфотографировалась в свадебном платье перед двумя зеркалами. Результат напугал островитянку до тошноты: в одном зеркале обе верхние конечности опущены, в другом — сложены у живота, а в реальности она якобы опустила левую руку параллельно туловищу, а другую согнула. Лишь в магазине Apple ей объяснили ситуацию.

Даже для одного снимка iPhone быстро снимает серию фотографий слева направо, а потом выбирает лучшие фрагменты и склеивает всё воедино. Суммарно на фото три версии невесты: одна настоящая, две в отражениях. Вероятно, Тесса двигала руками во время съёмки.

Консультант магазина заверил, что такие случаи — редкость порядка единицы на миллион.

Яри Комппа уже давно жалуется, что графические API усложнились и что молодому разработчику будет тяжело в них разобраться.

Впрочем, кому как не ему об этом задумываться? Яри вошёл в мир программирования без высшего образования. Первую работу после армии ему помогла найти победа в конкурсе Assembly1998. (В Технологический университет Эспоо-Вантаа Комппа поступил куда позднее, лишь в 2004 году.)

На протяжении своей карьеры Комппа занимался разработкой 3D-движков, портированием игр, просто программным и аппаратным обеспечением. Разработчик по сей день принимает участие в исследованиях и читает лекции.

В сентябре этого года Unity Technologies сменила тарифы, испытала волну негодования от разработчиков и была вынуждена пойти на попятную. Но многие задумались: а нужен ли вообще кем-то написанный движок? Почему бы не написать движок самостоятельно?

Комппа достал из загашников одну свою старую картинку. На ней представлен код Hello Triangle, демонстрационной программы для вывода на экран треугольника, для различных спецификаций программных интерфейсов. Яри сравнил шесть API графики: OpenGL 1.x, OpenGL 3, Vulkan и DirectX трёх версий.

Комппа признаёт, что картинка сугубо развлекательная, но тенденция его всё равно пугает.

Полная версия этой картинки по длине выходит за 20 тысяч пикселей.

14 октября 2023 года случилось кольцеобразное солнечное затмение. Лучше всего его было видно на территории США, Центральной Америки, Колумбии и Бразилии.

В американских СМИ (особенно, космической тематики) этому событию уделялось огромное внимание. НАСА, например, завело для этого отдельную страницу с объяснениями, где, как и когда посмотреть на событие. Не требует объяснения, какую рекламную шумиху наводили аккаунты космического агентства на сайтах социальных сетей.

Энтузиаст Эндрю Маккарти увлекается астрофотографией. До этого он, к примеру, снял МКС на фоне дневной Луны. Разумеется, событие такого масштаба он пропустить не мог.

В этот раз Эндрю пронаблюдал затмение на 5 различных телескопах. Для съёмки он даже съездил в штат Юта. Снимки и все данные он собирается объединить в одну большую картинку.

Пока что Маккарти поделился в микроблоге фотографией затмения на 20-сантиметровом (с зеркалом диаметром 8 дюймов) телескопе.

В микроблогах предлагают угадать по списку референсов, кто написал научную работу.

Список состоит из работ Юргена Шмидхубера — одного из самых цитируемых исследователей ИИ. На Google Scholar у него более 200 тыс. цитирований, индекс Хирша — 116.

Шмидхубер не стесняется своего статуса. Он даже хвастает им у себя на странице на сайте Института исследований искусственного интеллекта Далле Молле. Страница называется «Все самые цитируемые нейросети построены на работе, выполненной в моих лабораториях». В микроблоге Шмидхубер ещё более скромен: он говорит «нашей работе», а не «моей».

Вообще, преувеличить роль Шмидхубера сложно. Он мог бы побороться с Яном Гудфеллоу за право называть себя изобретателем генеративно-состязательных сетей.

Трансформеры — тоже развитие идей Юргена. 26 марта 1991 года он представил технику neural fast weight programmers. Аналог из наших дней — трансформеры с механизмом внутреннего внимания. Разве что ключ и значение в 1991 году назывались FROM и TO, соответственно. Как известно, термин «трансформеры» закрепился из работы 2017 года «Attention Is All You Need» Ашиша Васвани и других.

Впрочем, Юрген признаёт: это лишь демонстрирует ограниченность и самозацикленность англоязычного мира. На деле глубинное обучение зародилось в 1965 году в «Кибернетических предсказывающих устройствах» Алексея Ивахненко и Валентина Лапы академии наук УССР, считает Юрген.

Что касается документа со скриншота, это работа «One Big Net For Everything» 2018 года. Написал её тоже Шмидхубер.

Индонезиец рассказал на Reddit, что ему по ошибке продали процессор i7-14700K. Как пишет пользователь PantatRebus, он три раза спросил, продаётся ли процессор, и все три раза ему ответили утвердительно.

14700K стоил 7 450 000 индонезийских рупий (эквивалент 480 долларов США).

В i7-14700K 20 ядер (8 P-ядер и 12 E-ядер) на 28 потоков. Максимальная частота работы — 5,6 ГГц, что явно вызовет интерес у геймеров.

Выставлять этот товар на полке и уж тем более его продавать — крупная ошибка со стороны магазина. Intel лишь готовится выпустить i7-14700K, официального релиза пока не было. Сейчас образцы процессора находятся разве что у обзорщиков на тестировании, которые временно не могут ничего рассказывать о продукте.

Удачливый индонезиец никаким эмбарго не подчиняется, поэтому поделился скриншотами CPU-Z, Cinebench 2024 и HWiNFO. На данный момент это первые бенчмарки i7-14700K.

Создатели Raspberry Pi показали, как выглядел прототип пятой версии одноплатного компьютера. На этой печатной плате тестировался RP1 — кастомный чип, который стал новинкой Raspberry Pi 5.

Южный мост RP1 управляет внешними устройствами. Выделение функций ввода-вывода на отдельную микросхему не только помогло разгрузить систему на кристалле, но и упростило разработку.

Raspberry Pi 4 вышла четыре года назад, но RP1 разрабатывали с 2015. Изначально внутри компании поговаривали, что RP1 поставят в Raspberry Pi 3B+, затем проект сдвинули на Pi 4, но RP1 был готов только для Raspberry Pi 5.

Кстати, именно с этой задержкой связано то, как порты USB и Ethernet расположены на пятой модели как на 3B+, а не на 4: распиновку чипов планировали с прицелом на B+. В центре у Raspberry Pi 5 расположены дорожки для четырёх линий шины PCIe. Двигать их было нежелательно.

В 2015 году планировалось использовать незадействованные каналы MIPI камеры и дисплея на BCM2837 для передачи гигабитного Ethernet и других быстрых интерфейсов. Система на кристалле BCM2837 стояла на третьей модели одноплатника.

Однако на Raspberry Pi 4 поставили новый, более мощный чип BCM2711, который включил в себя эти интерфейсы и содержал контроллер Ethernet. Тем не менее разработка RP1 всё равно продолжилась. Стандарт связи с процессором поменяли на PCI Express.

За семь лет RP1 преобразился за две стадии прототипов в кремнии до релизной версии, которая контролирует периферийные устройства в Raspberry Pi 5.

Fred the Frenchy любит анализировать продукты Apple и электронику вообще. У себя в микроблоге он иногда публикует разбор кристаллов, где пытается выделить конкретные блоки и оценить сложность производства.

На этот раз энтузиаст добрался до A17 Pro, системы на кристалле смартфонов iPhone 15 Pro и 15 Pro Max.

Анализ указывает на отдельные элементы:

• Шесть ядер видеоускорителя выделены сизым.

• Кэш SLC (system level cache, не путать с single-level cell в твердотельниках) размечен жёлтым.

• Энергоэффективные ядра центрального процессора и его кэш — зелёным.

• Нейроускоритель Neural Engine — оранжевым.

• Два высокопроизводительных ядра и их кэш — красным.

• Наконец, серым размечен интерфейс для памяти LPDDR5x, фиолетовым — 10-гигабитный контроллер USB 3 и прочие интерфейсы ввода-вывода.

Дополнительно Фред прикидывает, что процент брака нового 3-нм техпроцесса составляет 40–50 %. При этом на одной пластине умещается всего 420–500 чипов — на 30–40 % меньше, чем у A16 Bionic. Это ещё сильнее увеличивает себестоимость A17 Pro.

В качестве причины этих и прочих проблем (неожиданно малый рост числа транзисторов на кристалле относительно предшественника и жалобы на перегрев) Фред называет то, что техпроцесс 3 нм ещё не оптимизирован до конца. TSMC надо браться за ум, чтобы успеть к M3, считает микроблогер.

А вот работу дизайнеров микросхемы — Тима Миллета и его команды — Фред оценивает высоко. Различные источники энергии находятся на кристалле физически далеко друг от друга, чтобы было удобнее отводить тепло.

Умеете ли вы быстро передвигаться между популярными и высокооплачиваемыми сферами? Пратик Такар умеет. Судите сами, за последние два года он сменил три направления, оставаясь в Coca-Cola Company:

• С января 2021 года — лидер отдела метавселенной.

• Позднее — глава отдела по кампаниям NFT.

• С июня 2023 года — глобальный руководитель направления генеративного ИИ.

В рамках своих обязанностей Такар запускал рекламные кампании в Web 3.0 и выпускал NFT. Все эти отрасли находились на пике популярности СМИ. Похоже, что Пратик каждый раз удачно менял роль в компании, когда очередная модная технология сходила на нет, уступая место чему-то ещё. Как прикидывают наблюдатели со стороны, годовой оклад маркетолога исчисляется миллионами долларов.

Впрочем, стоит учитывать, что его карьера шла к этому давно. Если судить по резюме, мимолётный хайпожор на деле уже больше десятилетия проработал в Coca-Cola Company и занимался, например, продвижением на рынке Азии.

Профессор Университета Дрекселя Дарий Гринберг выложил на arXiv.org 422-страничный конспект по теории графов. Документ на английском «An introduction to graph theory» рекомендует себя как материал на курс Math 530 в Дрекселе длиной в четверть. Текущая редакция датируется 2 августа 2023 года.

Рассматриваются простые графы и мультиграфы, эйлеровы циклы, гамильтоновы циклы, остовные деревья, матричная теорема о деревьях, теорема де Брёйна — Эренефест — Смита — Татта, правильная раскраска, теорема Турана, двудольные графы, теорема Менгера и теорема Галлая — Мильграма. Также включены около сотни задач (без решений).

Гринберг вообще любит свободно распространять информацию. У себя на странице на сайте университета он непринуждённо ссылается на книги на пиратской библиотеке Library Genesis.

arXiv:2308.04512

Джарет Баркетт [Jarett Burkett] представил LoRA для Stable Diffusion XL, которая помогает генерировать картинки в стиле инструкций «ИКЕА».

К многим предметам нидерландской компании приложены инструкции по сборке, выполненные в характерном стиле. Для простоты локализации товаров транснациональной сети магазинов слова на буклете (кроме названия) отсутствуют, что только усиливает запоминаемость образов. Поэтому икеевские инструкции любят пародировать за простоту и узнаваемость графического языка.

К файлам проекта Ikea Instructions Баркетт приложил примеры работ. С этой LoRA он сгенерировал как людей, персонажей или предметы (хиппи, Барби с Кеном, гамбургер), так и процессы (сон).

Забавно, что модель с удовольствием вставляет в инструкцию шестигранник даже там, где он вряд ли нужен. В примерах он появляется в гардеробе Кена.

huggingface.co/ostris/ikea-instructions-lora-sdxl

Страница на Civitai

Bing Chat AI заблокировала генерацию картинок с Дрейком. Если упомянуть Drake в запросе на картинку, фильтр по стоп-слову выдаст предупреждение о невозможности генерации.

Встроенный в чат генератор картинок DALL-E 3 от OpenAI хорошо приспособлен выдавать любые образы по запросу пользователя. Этим незамедлительно воспользовались сетевые шутники. Канадский рэпер в их воображении ржёт как конь над детьми в снежных шарах, пилотирует Евангелион или просто (видимо, фантазия кончилась) руководит Третьим рейхом.

Вообще, у Microsoft хватает проблем с новым инструментом. Bing Chat AI с трудом пытается отфильтровать башни-близнецы Всемирного торгового центра в Нью-Йорке, на которые повадились запускать самолёты с Марио и Спанч Бобом за штурвалом.

Комбо, где атаки 11 сентября проводит Дрейк, тоже есть.

Секта водохлёбов добралась до искусственного интеллекта. Любители посчитать расход аш-два-о до этого с удовольствием приводили статистику, сколько ценного вещества нужно для выращивания, к примеру, говядины. Получается страшное: на килограмм стейка нужно более 15 тонн влаги — куда больше, чем для выращивания бобов сои или пшеницы. Предполагается, что затем такими числами нужно стыдить наглых любителей вкусить чужой плоти.

На деле речь идёт про осадки. Дождь и снег всё равно выпадут на лужайку, будет на ней пастись корова или нет. А вот выпас скота качество почвы лишь улучшит. (Про негативный эффект от засева огромных полей монокультурой говорить не принято вовсе.) Также внутри бурёнки не встроен портал в параллельное измерение, куда вода исчезает — всё потреблённое она рано или поздно отдаст обратно.

Некий микроблогер приводит график, согласно которому на обучение GPT-4 ушло в разы больше воды, чем потребляет в неделю аквапарк. Вывод простой: эдак скоро пить нечего будет.

Впрочем, к твиту приделали успокоительную пометку сообщества. Огромная корпорация Microsoft, которая хостит вычислительные мощности OpenAI, тратит на охлаждение своих многочисленных вычислительных центров лишь одну стотысячную процента потребления пресной воды США.

С само́й статистикой мало кто спорит: на обучение предыдущей версии GPT, GPT-3, ушло 700 тонн воды.

Как обычно, речь идёт про расход. Вода при этом уходит в почву или атмосферу, но не исчезает с планеты. Очевидно, что из цикла обмена воду не изымают.

Инженер стартапа Airchat Сигил Уэн портировал GPT-2 на Apple Watch Ultra 2. Большая языковая модель запускается локально, прямо на запястье, на всех 4 ядрах нейроускорителя Neural Engine системы в корпусе Apple S9.

Здесь тяжело отыскать практическую ценность. Нейросеть пытается продолжать промпт. Для видеоролика выбор пал на фразу «The meaning of life is», которую GPT-2 развивает в связный текст с законченной мыслью. Генерация идёт медленно: заметно, что на токен уходит больше секунды. По достижении отметки в 30 токенов приложение падает.

Как предполагает Уэн, кончается память — у Ultra 2 всего 1 ГиБ ОЗУ. Автор проекта считает, что такая демонстрация на умных часах доказывает, что в дальнейшем часть вычислений искусственного интеллекта станет граничными (on edge), то есть будет выполняться в пределах конечных устройств.

Разработчик поделился произведённым на своём аккаунте GitHub.

github.com/Sigil-Wen/WatchGPT2

Разработчик Фрэнк А. Крюгер обратил внимание, что иконка «Пункта управления» в тулбаре macOS нагружает процессор на 1,0 %. Поначалу эта постоянная активность Фрэнка беспокоила слабо, и он её игнорировал.

Но любопытство одержало верх. Разработчик, похоже, поковырялся в «Мониторинге системы» и проанализировал процесс. Как оказалось, приложение постоянно перерисовывает свои компоненты SwiftUI — в том числе тогда, когда его интерфейс скрыт.

Впрочем, как заметили в комментариях, непрекращающаяся работа функции с выразительным названием [NSView _updateConstraintsForSubtreeIfNeededCollectingViewsWithInvalidBaselines:] может быть нужна для отзывчивости системы. Если постоянно повторно рендерить интерфейс, то получится выводить элементы в тот же момент, как пользователь их вызывает.