ML‑модели применяются в сервисах Яндекса уже много лет, мы накопили большой опыт в их обучении. Статьи об этом коллеги регулярно публикуют, в том числе на Хабре. Но сегодня хочу обсудить другую не менее важную задачу — ускорение инференса (процесса работы на конечном устройстве) моделей. Скорость зависит от разных условий, главным образом от архитектуры и железа, но есть множество интересных способов повлиять на неё. Особенно актуальна проблема тяжёлого инференса при использовании больших языковых моделей (LLM) — на то они и large!

Для команды YandexGPT, в которой я и тружусь вместе со своими коллегами, тема инференса LLM находится в разряде вечных вопросов. С предыдущей статьи прошёл уже почти год, опыта у нас стало больше — получилось протестировать новые подходы, которыми и хочется поделиться сегодня.

У каждого программиста микроконтроллеров с годами кристаллизируется коллекция золотых багов. Некоторые из них весьма эпичные.

Самый типичный баг - это зависание прошивки.

Выявление причин багов и их устранение порой сродни работы детективом. Это проявляется в том, что порой очень трудно выявить причину бага. Сначала разработчик идет по ложному следу, ходит кругами, а в конце-концов выясняется, что причина на самом деле была проста, как солдатский валенок.

В Perplexity появилась новая функция под названием Deep Research, которая выполняет десятки поисковых запросов, читает сотни источников и анализирует материалы, чтобы предоставить исчерпывающий ответ по каждому вашему запросу.

Когда Google представил модель 1.5 Pro с функцией глубокого исследования в Gemini еще в декабре 2024 года, я понял, что пройдет совсем немного времени, прежде чем OpenAI и Perplexity также выпустят аналогичные функции.

Но вот что действительно интересно: в то время как OpenAI сделала функцию глубокого исследования в ChatGPT эксклюзивной для пользователей с подпиской за 200 долларов в месяц, Perplexity предлагает свою версию глубокого исследования и для не-подписчиков (с ограниченным количеством ответов в день).

Так что если вы пользователь ChatGPT, который раздумывает над тем, чтобы перейти на новую версию только ради функции глубокого исследования, вам стоит подумать дважды. Возможно, эти 200 долларов лучше потратить на что-то другое.

Изначально, когда я решил написать компилятор за выходные, я решил, что нет смысла заморачиваться, и использовал сторонний лексический / синтаксический анализатор. Мой выбор пал на SLY, довольно известную библиотеку. И действительно, пара часов работы, и мой компилятор прекрасно строил синтаксические деревья из исходного кода на wend. Я пытался было заглянуть под капот, утонул в море технических терминов (LL(1), LR, LALR(1) и тому подобное), и решил, что парсинг своими руками - это не для меня, теория формальных языков меня слабо интересует. Однако же в итоге выяснилось, что базовый синтаксический анализатор - это не так сложно, и я закатал рукава.

Недавно мне в руки противоестественными путями попал интересный представитель RISC-V контроллеров производства НИИЭТ. Упакован он в пластиковый lqfp100 корпус, в котором скрывается ядро на 50 МГц, мегабайт флеш-памяти и 256 кБ оперативки. Разумеется, в наличии и стандартная периферия вроде UART-ов, SPI и USB. А вот из необычного — сигма-дельта АЦП на 16 бит. Ну и всякая неинтересная периферия вроде аппаратных модулей шифрования. Сразу оговорюсь, что тыкаю палочкой я его меньше двух недель, поэтому здесь описаны именно первые впечатления.

Недалёкое будущее. Мир на грани катастрофы: зловещий ИИ «Нексус» запустил глобальный сбой в системах управления, оставив города без энергии, а человечество — без доступа к своим данным. Единственная надежда — активировать «Резервный протокол», скрытый в старинном хранилище данных.

Молодой техноархеолог Алекс отправляется в затерянный город, чтобы добраться до «Резервного протокола». Но для этого придётся следовать древним подсказкам и пройти сложные испытания. Алексу остаётся рассчитывать только на помощницу Ирен, смартфон Huawei и главный инструмент любого археолога — лассо.

Исследователи Принстонского университета оценили новые статьи «Википедии» на «машинность». Сравнение до и после распространения больших языковых моделей показало, что почти 5 % материалов на английском языке содержат значительные объёмы текста, который писал искусственный интеллект. В других языковых разделах этот показатель ниже, но явление выражено и там.

Около 2 500 лет назад вавилонские торговцы в Месопотамии впечатали в глиняные таблички два наклонных клинышка. Эти фигуры представляли собой цифру-заместитель, втиснутую между другими цифрами, исключительно с целью различать такие числа, как 50, 505 и 5 005. Так родилась элементарная версия понятия «ноль».

Сотни лет спустя, в Индии седьмого века, ноль приобрёл новое обличье. Перестав быть символом, цифра приобрела значение и заняла своё место на числовой прямой, встав перед 1. Его изобретение послужило толчком к историческому прогрессу в науке и технике. Из нуля возникли законы Вселенной, теория чисел и современная математика.

«Многие математики считают ноль одним из величайших достижений человечества, а может быть, и самым великим, — говорит нейробиолог Андреас Нидер, изучающий интеллект животных и человека в Тюбингенском университете в Германии. — Прошла целая вечность, прежде чем математики наконец изобрели такое число, как ноль».

Разрабатывая свою игру, движок или фреймворк, вы в любом случае столкнетесь с необходимостью реализации системы загрузки ресурсов, выполнения задач вне основного цикла игры, вынесения различных подсистем (звук, рендер, физика, эффекты) в отдельные потоки, чтобы снизить время подготовки кадра и улучшить общую производительность. Будучи классическим программистом, вы, наверное, знаете о проблемах реализации многопоточности, использовании блокировок и алгоритмов, которые основаны на блокировках.

В обычном программировании с блокировками, когда возникает необходимость пошарить данные, приходится использовать механизмы сериализации доступа к таким данным, чтобы операции, выполняющие работу с такими данными, были ограничены от одновременного вмешательства со стороны других потоков и возможности их поломать. В прямом смысле поломать. Даже такая простая операция, как ++count, где count имеет тип integer, требует блокировки, поскольку операция инкремента в общем случае представляет собой трехшаговую операцию (чтение, модификация, запись), которая не является атомарной. Про что-то более сложное и длительное я уже и не говорю.

За кажущейся простотой скрывается множество граблей и ловушек: взаимные блокировки (deadlock), «голодание» потоков, асинхронные ошибки. Это похоже на попытку дирижировать оркестром, где музыканты игнорируют ритм. Проще говоря, любые действия над данными могут привести к проблемам, и чтобы этого не происходило, операции над данными должны быть атомарными, это решается вводом в код примитивов синхронизации, вроде мьютексов, семафоров, спинлоков.

Первая хорошая сторона программирования с блокировками состоит в том, что пока ресурс заблокирован, никакая другая логика не может вмешаться. Вторая хорошая сторона — люди прекрасно понимают, читают и работают с таким кодом, потому что он хорошо вписывается в "естественное" понимание устройства мира. А вот дальше начинаются проблемы...

Илон Маск официально объявил дату выхода Grok 3, новейшей версии чатбота от xAI. Названный «самым умным ИИ на земле», Grok 3 будет запущен сегодня (17 февраля 2025 года) в 8 часов вечера по тихоокеанскому времени с демонстрацией в прямом эфире.

Маск сделал объявление на канале X, подчеркнув его превосходные способности к рассуждениям. Этот релиз позиционирует Grok 3 как прямого конкурента ChatGPT от OpenAI, DeepSeek R-1, Gemini от Google и Claude от Anthropic.

Никто не ожидал пришествия капелек. В 2009 году группа биофизиков под руководством Энтони А. Хаймана из Института молекулярной клеточной биологии и генетики Макса Планка в Дрездене (Германия) изучала похожие на пятна структуры, называемые P-гранулами, в одноклеточном эмбрионе крошечного червя, обитающего в верхних слоях почвы. Известно, что эти гранулы накапливаются только на одном конце клетки, делая её несимметричной, так что при делении две дочерние клетки оказываются разными. Исследователи хотели узнать, как возникает такое неравномерное распределение P-гранул.

Они обнаружили, что эти сгустки, состоящие из белка и РНК, конденсируются на одной стороне клетки, как капли дождя во влажном воздухе, и снова растворяются на другой стороне. Другими словами, молекулярные компоненты гранул претерпевали фазовые переходы, подобные тем, которые превращают вещество из жидкости в газ.

Это было странным явлением в клеточной биологии. Но поначалу многим исследователям это казалось не более чем причудой и не привлекало особого внимания. Затем эти маленькие капли — теперь их называют биомолекулярными конденсатами — стали появляться практически во всех местах клеток, пригождаясь в огромном количестве жизненно важных задач.

Если у вас, как и у меня, собралось много книг в формате pdf, или статей, например, из arXiv, можно попробовать создать что-то вроде продвинутого каталога или БД имеющегося у вас добра, да еще и с переводом на русский. Рассмотрим основные способы, как использовать имеющиеся бесплатные, безлимитные и безвипиэновые LLM.

Доброго времени суток, Хабр. В этой статье хочу поделиться пятью нейросетями, которые помогут студентам найти проверенную информацию из авторитетных источников. Эту информацию можно использовать для рефератов, курсовых и т.д. Среди них есть как бесплатные, так и платные сервисы.

Приятного прочтения (-:

Многие говорят о DeepSeek R-1 - новой языковой ИИ-модели с открытым исходным кодом, созданной китайской ИИ-компанией DeepSeek. Некоторые пользователи утверждают, что по возможностям рассуждения она не уступает или даже превосходит модель o1 от OpenAI.

В настоящее время DeepSeek можно использовать бесплатно, что является отличной новостью для пользователей, но вызывает некоторые вопросы. Как при таком резком росте числа пользователей они справляются с затратами на сервера?

Ведь эксплуатационные расходы на оборудование не могут быть дешевыми, верно?

Единственный логичный ответ здесь - данные. Данные - это жизненная сила ИИ-моделей. Вероятно, они собирают данные о пользователях, чтобы использовать их в своей модели квантовой торговли или для другой формы монетизации.

Поэтому, если вы беспокоитесь о конфиденциальности данных, но при этом хотите использовать R1, не предоставляя свои данные, лучший способ - запустить модель локально.

Привет, Хабр! Представьте, что вы пытаетесь обработать фотографию высокого разрешения на вашем смартфоне — добавить размытие, убрать шум или улучшить качество изображения. Кажется, задача проста, но за кулисами работает алгоритм, требующий немало вычислительных ресурсов. Речь идет о фильтре Гаусса – одной из самых популярных операций в области компьютерной обработки изображений.

Для каждого пикселя нужно выполнить множество операций сложения и умножения, особенно если размер фильтра велик. Это становится серьёзным препятствием, когда есть требования к работе в режиме реального времени, например, при обработке видео, адаптации для беспилотных летательных аппаратов и пр. Но что, если сказать, что такие вычисления можно ускорить в десятки раз с незначительной потерей качества?

Предыдущие железяки: MXQ 4K и сетевой видеорегистратор

А вот была еще такая интересная штука: ТВ-бокс X88mini13
Для ее прошивки пришлось немного повозиться.