Все потоки

Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито. Мы строим систему общего назначения, которая одновременно обслуживает ETL, витрины, BI, ad-hoc аналитику и продуктовые платформы.

И в какой-то момент мы столкнулись с неприятным эффектом: объём данных начал расти заметно быстрее, чем органический рост, на который мы ориентировались раньше. Модель классического on-prem DWH перестала масштабироваться линейно: борьба за ресурсы мешала давать гарантии готовности данных; локальные оптимизации давали всё меньший эффект; любой рост требовал масштабирования “по месту” и приводил к длительным простоям аналитики.

Стало понятно, что дальнейший рост в рамках прежней архитектуры будет только усиливать эти эффекты. Именно так мы пришли к необходимости сменить базовую парадигму хранилища и начать движение в сторону Lakehouse-архитектуры. О том, как это было, читайте под катом.

Аннотация

Данное исследование представляет собой концептуальный мост между, казалось бы, удаленными областями: теорией чисел и компьютерным зрением. В его центре — не попытка формального доказательства или инженерной реализации, а методологическая гипотеза. Предлагаю рассмотреть гипотезу Римана не только как математическую проблему, но и как мощную метафору и структурный шаблон для понимания фундаментальных ограничений и принципов в машинном обучении.

Ключевая аналогия строится на идее глубинного порядка, скрытого в кажущемся хаосе. Распределение простых чисел выглядит стохастическим, но гипотеза Римана утверждает, что оно управляется строгим законом — положением нулей дзета-функции на критической линии (Re(s)=1/2). Параллельно, поток визуальных данных (пиксели) представляется хаотическим, однако глубокие нейронные сети (DNN) демонстрируют способность извлекать из него жесткую иерархию абстрактных признаков (края → текстуры → паттерны → части объектов → объекты). Возникает вопрос: является ли эта способность чисто эмпирическим феноменом, или за ней стоит некий неизвестный «закон организации признаков», подобный закону для простых чисел? Существует ли для пространства визуальных концепций своя «критическая линия» — фундаментальное ограничение, диктующее, какие иерархии признаков устойчивы, обобщаемы и эффективно вычислимы?

Работа структурирована вокруг трех центральных тем, исследуемых через призму этой аналогии:

Последние несколько лет в IT происходило то, что десятилетиями считалось фантастикой. АI перестал быть игрушкой исследовательских лабораторий и превратился в реальный рабочий инструмент, который меняет подход к написанию кода, проектированию архитектур и само мышление о разработке.

Мы стоим на пороге когнитивной автоматизации — эпохи, где рутинные и шаблонные задачи делегируются машинам, освобождая нас для решения по-настоящему сложных и креативных проблем. Это не про замену, а про суперпозицию: ИИ в роли младшего разработчика, ревьюера, QA-инженера и даже архитектора, работающего 24/7.

Если раньше программист «общался» с компьютером через документацию, StackOverflow и IT-чаты в мессенджерах, то сегодня он общается с самим компьютером, который умеет анализировать контекст, продолжать мысли, предлагать решения и даже писать код.

Продолжаем строить финансового AI-ассистента на базе MCP-сервера Finam. Сначала создадим классического MCP-агента на LangChain, затем эволюционируем его в CodeAct-архитектуру, где AI пишет Python-код вместо прямых вызовов функций. В итоге получим агента, способного анализировать тысячи акций, строить графики и не переполнять контекстное окно.

Пара коротких ночей подряд, еще одна серия перед сном, поздняя работа и кажется, что это просто стиль жизни современного человека. Мы научились считать легкую усталость нормой, но организм с этим категорически не согласен. За последние годы ученые довольно убедительно показали: хронический недосып — это не про “терплю и держусь”, а про конкретные риски для мозга, сердца, обмена веществ и психики. 

В этой статье разберемся, что именно доказано про вред недосыпа и почему режим сна — это уже не про комфорт, а про стратегию сохранения здоровья и работоспособности на дистанции.

Зумеров считают слишком нежными и нетерпимыми к токсичности. Тех, кто постарше, — преданными трудоголиками и ценителями стабильности. Так ли это на самом деле?

Мы в Мегаплане решили сравнить взгляды двух наших разработчиков разного возраста. 

Приглашаем присоединиться к дискуссии в комментариях — интересно, что вы думаете на этот счёт. 

Нестабильность – это часть нашей жизни, и, конечно, невозможно избежать нестабильности в вопросах разработки. В современном, постоянно меняющемся мире непрерывно что-то происходит: новые требования закона, новые бизнес-процессы, новые библиотеки и интерфейсы. В этой статье я разбираю принципы проектирования ПО на основе нестабильности. Всех, кто устал переделывать компоненты, а также тех, кто уже научился не переделывать лишнее, приглашаю поговорить про принцип обратных зависимостей, оси нестабильности и принципы архитектурной устойчивости проекта.

Эта статья является продолжением моей первой публикации, в которой я уже рассказывал о функциональном хаосе и поиске архитектурной устойчивости. Прочитать ее можно здесь. Сегодня же мы рассмотрим вопрос с более практической стороны и начнем с более гибкого архитектурного принципа.

С появлением виртуальных потоков в Java благодаря Project Loom, параллельное программирование стало проще, а производительность — выше. Однако за этой простотой кроются новые вызовы для инструментов отладки и анализа. Как читать тред-дампы, если их теперь тысячи — или миллионы? Какие средства реально помогают найти взаимные блокировки и аномалии в асинхронном коде? Рассмотрим в новом переводе от команды Spring АйО.

В мире есть вещи, от которых невозможно оторвать взгляд. Среди окружающего нас хаоса можно встретить удивительно гармоничные структуры, обладающие какой-то мистической притягательной силой. От закрутки спиральных рукавов галактики до расположения атомов в кристаллической решётке, от соотношения звеньев молекулы ДНК до ветвления кроны дерева, от строения оболочки вируса до пропорций человеческого тела – кажется, везде и сквозь всё проходит красной нитью некий основополагающий принцип. В чём же секрет вселенской гармонии? Есть ли математическая формула красоты? Как мы отличаем настоящие произведения искусства от дешёвого уличного арта? По какому критерию мы выбираем свои идеалы? Почему мы считаем одни лица привлекательными, а другие – нет? Что заставляет нас покупать фирменные вещи с узнаваемыми логотипами?

Так и хочется найти один простой ответ на все эти вопросы. И за вас его уже давно нашли! Оказывается, всё разнообразие проявлений естественной красоты и весь секрет наших попыток воссоздать эту красоту в искусстве сводятся к единственному иррациональному числу. Золотое сечение – вот разгадка совершенства форм и баланса отношений. Так что же получается, учёные открыли универсальную формулу гармонии и красоты? Может, золотое сечение – наглядное доказательство разумного замысла и существования Творца-Архитектора? Тогда зачем нужны эти законы физики, химии и биологии, если в основе всего лежит геометрия? Что-то здесь не так. Неужели нас обманывают? Похоже, что да. Но не те, на кого обычно указывают конспирологи. Давайте разберёмся в этом вопросе и узнаем, не слишком ли переоценена роль золотого сечения в нашей жизни.

Вам нужно показать презентацию коллегам на удалёнке. Или провести код ревью с командой разработки. А может быть, вы договорились посмотреть фильм с друзьями онлайн. Или помочь родителям разобраться с настройками компьютера. Во всех этих случаях нужна демонстрация экрана.

Discord позволяет делиться экраном на компьютере, через браузер и в телефоне. В статье — инструкции для всех платформ с учётом обновлений 2025 года. В конце разбираем частые проблемы: чёрный экран, отсутствие звука и неактивные кнопки.

В этой статье я изложу то, что почерпнул из чтения RFC 9111 (2022 год) — последнего стандарта по HTTP-кэшингу.

Он определяет HTTP-заголовок Cache-Control, предписывающий способ хранения и повторного использования HTTP-запросов касательно не только кэша браузера, но и всех промежуточных кэшей наподобие прокси и CDN, которые могут существовать между клиентом и исходным сервером.

Когда я только пришла в Kaiten, нам нужно было выстроить четкую структуру HR-процессов. За 3 месяца мы создали эффективную систему с канбан-досками и автоматизацией задач. В статье расскажу, как у нас все устроено.

Представьте, что вы предоставляете своему ИИ конкретные релевантные документы (или фрагменты), которые он может быстро просмотреть, чтобы найти необходимую информацию, прежде чем ответить на ваши вопросы. То есть, вместо поиска по всей базе данных (которая может не поместиться в контекстное окно модели LLM, или даже если поместится, это потребует много токенов для ответов), мы предоставляем LLM только релевантные документы (фрагменты), которые ему необходимо найти, чтобы ответить на вопрос пользователя.

Для того, чтобы решить эту проблему, мы построим простую систему RAG (Retrieval-Augmented Generation) – в которой генеративная языковая модель (LLM) получает доступ к внешним источникам информации для улучшения точности и достоверности ответов. То есть, вместо того чтобы использовать только внутренние знания модели, RAG будет обращаться к внешним источникам: базам данных, текстовым архивам и другим.

Привет, с наступающим 🎄 Это последний выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий. Но последний лишь в этом году.

Неделя выдалась насыщенной: Gemini 3 Flash, GLM-4.7 от китайцев и даже LLM от NVIDIA. Alibaba показали свой ИИ-фотошоп с генерацией по слоям, а в ChatGPT завезли итоги года. Perplexity отключают россиянам Pro-подписки, а роботы уже упаковывают ваши подарки.

Всё самое важное — в одном месте. Поехали!

Искусственный интеллект произведёт революцию во всём. Он станет новой мега-индустрией. Он возвестит о начале новой, автоматизированной промышленной революции. Он отделит экономический рост от труда и создаст несметные богатства. Именно этот нарратив мы регулярно встречаем. Эту байку использовали, чтобы привлечь столько долгов и инвестиций в ИИ, что мы, по сути, поставили на его успех всю экономику Запада. Но есть одна проблема: эта история - попросту ложь, и индустрия ИИ начинает постигать это на собственном горьком опыте.

Возьмём Microsoft. С 2020 года компания вложила многие сотни миллиардов долларов в инфраструктуру ИИ и в OpenAI. Флагманский продукт этих колоссальных инвестиций - Copilot, агентный ИИ, призванный помогать вам выполнять задачи в Windows. Этакий Скрепыш на стероидах (боже, как я скучаю по Скрепышу; он был ужасен в лучшем смысле этого слова).

И вот оказывается, что Copilot никто не покупает.

Меня зовут Иван Стародубцев, я автор курса для новичков «Лучший по Python» на Stepik. Он не просто так называется: за год его прошли почти 30 тысяч учеников, которые оставили 3,8 тысячи отзывов со средней оценкой 5 звёзд. Это курс, написанный максимально простым языком в формате диалога, без снобизма и математики. Вместо скучных формул там интересные задачи из жизни, а уже на второй неделе студенты пишут первые игры.

В какой-то момент я столкнулся с проблемой, знакомой многим авторам учебного контента: курсу нужны десятки и сотни иллюстраций. Случайные картинки из интернета не подходят — это должна быть настоящая визуальная вселенная с постоянными персонажами, узнаваемыми локациями и мини-историями, которые раскрываются на протяжении всего материала.

Работа иллюстратора на 100–150 картинок стоит 300–450 тысяч рублей. Это дорого, долго и негибко: захотел добавить новую сцену — снова договариваешься, ждёшь, платишь. Поэтому я решил выстроить собственную схему по производству иллюстраций на нейросетях. Сегодня расскажу, как это работает и, главное, как помогает студентам.

Если кажется, что вы видите только вакансии для сеньоров и лидов, то вам не кажется. Компании оптимизируют всё, что движется. И джуны в в эту картину вписываются со скрипом.

А всё потому, что джун — это инвестиция. И в него придётся вкладывать ресурсы: время лидов на менторинг и проверку работы, время на адаптацию и онбординг, деньги на зарплату, в конце концов. В условиях текущей экономики бизнес хочет быстрых результатов. 

Но не спешите отчаиваться. Работа всё ещё есть, а вот правила игры изменились. Давайте вместе разбираться, что сделать, чтобы всё-таки найти работу и построить карьеру в ИТ.

У нас нет одинаковых фамилий… ну почти нет :-) Мы не собираемся за одним столом на официальных праздниках, разве что на дне рождения коллеги или на наших внутренних встречах, где мы играем в настолки или покер. И да, мы иногда спорим до хрипоты. Но при всём этом мы — команда.

Команда увлеченных людей, которая вот уже 20 лет живет миром разработки электроники. За это время мы превратились из группы энтузиастов в сплоченный коллектив профессионалов.

Сегодня мы работаем сразу в нескольких направлениях:

ИИ-ассистенты внедряются в привычные таблицы вроде Google Sheets и Excel. Многие скажут, что такие «игрушки» никому не нужны. Но это приближает электронные таблицы к инструментам бизнес-аналитики, BI-платформам.

Привет, Хабр! Я продолжаю совершенствовать любимые электрогитары, и сегодня подробно расскажу о текущих доработках одной из них — дизайнерского суперстрата Tinar GT500.

Речь пойдёт о выборе доступных недорогих звукоснимателей, их правильной фазировке и маленьких секретах темброблока, способных весьма расширить исполнительские возможности инструмента.