Все потоки

В этом посте хочется поделиться 20-летним личным опытом в тестировании и приходу к частичному отказу от тестовой модели с использованием тестовых кейсов. Переход был плавным. Не планировала загружать статью сложными метриками и цифрами, но хотела показать постепенную эволюцию сквозь призму личного опыта в стиле некоторого ревью. Для многих мой опыт наверняка окажется созвучным с их личной практикой, но также допускаю, что есть ситуации, компании или продукты, где стоит использовать классические подходы. Так или иначе, кто-то подкрепит свои догадки и сложившиеся подходы, а кому-то будет интересно почитать, как оно все происходит у других, и почему они выбрали именно такой подход.

Про eBPF уже сказано и написано достаточно много, поэтому я хочу сделать следующий шаг и чуть глубже рассмотреть практические аспекты работы c таким механизмом, как kprobe, который позволяет использовать функции ядра Linux для динамического запуска пользовательского кода.

Статья поможет ответить на вопросы:

- Как понять, какую функцию ядра выбрать для использования с механизмом kprobe?

- С чего начать ее поиск?

- Какими инструментами пользоваться?

kprobe — это, по сути, ловушка, или брейкпоинт, который можно установить почти в любом месте кода ядра Linux. 

Иногда мы решаем вопросы достаточно быстро, как на автомате, а иногда приходится быть полностью включенными, чтобы себя контролировать и находить узкие моменты из-за которых задача нетривиальная и нужно находить индивидуальный подход. Но иногда мы можем перепутать задачи, подобрать некорректный подход к решению. И во всем этом “виновато”наше мышление. Враг оно или друг? Тема касается каждого человека.

Мышление используется ежеминутно для решения множества задач, иногда параллельно решая разноплановые задачи, а иногда полностью погруженным в задач, и все это отражается на наших способностях, когнитивных способностей… Иногда происходит классная эффективность, иногда происходит сбой, перегруз. От чего это зависит и можно ли на это влиять? 

Кажется, совсем не так давно, а для кого-то, может быть, еще в прошлую пятницу, золотым стандартом технологического стека сетей хранения данных был Fibre Channel: SCSI, FCP, FC. Неудивительно: Fibre Channel разрабатывался целенаправленно для хранения данных. Но уже к середине 2000-х на сцене появляется новый стандарт — протокол iSCSI, реализованный поверх TCP/IP и Ethernet. Почему? Fibre Channel был всем хорош, кроме своей цены и зависимости от нескольких производителей сетевого оборудования.

C появлением новых высокопроизводительных компонент хранения данных и исчерпания масштабирования производительности традиционных интерфейсов, в том числе SAS, рождается стандарт NVMe — протокол, который работает поверх PCIe. NVMe, повторяя путь SCSI на заре эры SAN, реализуют в сетях хранения как набор стандартов NVME-oF (Over Fabric) для различных транспортных протоколов: FC, RDMA, TCP. Начиная с версии 3.2 в TATLIN.UNIFIED реализована поддержка NVMe over TCP наравне с Fibre Channel и iSCSI.

Меня зовут Александр Пищулин, я инженер в отделе оптимизации быстродействия СХД в YADRO. В статье я постараюсь дать представление о реализации NVMe over TCP в системах, построенных на базе ядра Linux, c фокусом на производительность. Также поделюсь результатами тестирования протокола в TATLIN.UNIFIED GEN2.

Иногда кажется, что у Сэма Альтмана, Сундара Пичаи и Дарио Амодея есть общий чат в Telegram, где они договариваются, чем занять AI-энтузиастам выходные. Выбирают одну неделю месяца и выстреливают всё разом. Не успели мы привыкнуть к предыдущим версиям, как индустрия синхронно шагнула в следующее поколение. GPT-5.1 с адаптивным мышлением, Gemini 3.0 с интерактивным режимом, Grok 4.1 с эмоциональным интеллектом и просто долгожданный Claude Opus 4.5 — всё это свалилось на нас практически одновременно.

Параллельно с битвой гигантов продолжается тихая революция в инструментах: IDE становятся агентными, а научные открытия всё чаще делегируются алгоритмам. Материалов много, новинок ещё больше, так что обойдемся без долгих прелюдий. Поехали разбирать релизный хаос.

Вот так выглядит ЦОД в Новосибирске

В целом для коммерческих ЦОДов — правда, но есть и нюансы.

Начнём с суровой реальности. У нас вся экономика, все деньги и штаб-квартиры сосредоточены в Москве и Петербурге. Дальше, особенно если смотреть за Урал, с точки зрения коммерческих ЦОДов — пустыня. Да, там есть богатый Екатеринбург, да, там есть Новосибирск, да, там есть Владивосток с его международной торговлей, но потребности в коммерческих ЦОДах нет.

Это классическая проблема курицы и яйца. Коммерческий ЦОД строить там невыгодно, потому что нет клиентов, а клиентов нет, потому что нет нормальных ЦОДов.

В регионах живут в основном каптивные ЦОДы. Это когда условная налоговая или какой-нибудь гигант вроде «Норникеля» строит объект чисто под себя. Им вообще всё равно, где строить: они делают по потребности, а не по условиям. Если госзаказчику по плану нужно построить ЦОД во Владимире или Ярославле — они построят там. Им не нужно бегать по рынку и искать заказчика, у них стопроцентная загрузка своими же расчётами или данными. Производственники могут построить хоть в тундре, и вопрос окупаемости за счёт внешних арендаторов там не стоит.

А вот если ты хочешь построить коммерческий объект для сдачи стоек в аренду, то тут вступают в силу другие законы. В регионах просто нет такого объёма экономики, чтобы окупить полномасштабный ЦОД. Считается, что в регионе есть смысл начинать стройку, только если у тебя есть предзаказ («якорь») минимум на 60% мощностей. Если этого нет, то ты построишь коробку, которая будет генерировать убытки.

Но начинается всё с дешёвого электричества, конечно. Оно важнее, чем аплинки.

Сегодня мы поговорим о том, как развивается платформенная команда «Спортмастера». Речь пойдёт о подходе к организации фронтенд-приложений, который получил название FEOD — Fractal Entity Oriental Design.

Мы в Beeline Cloud рассказывали о сборках для желающих погрузиться в тему селф-хостинга. Рассмотрим еще несколько примечательных проектов в данной области.

Когда появились контейнеры и облака, многие думали, что традиционные гипервизоры будут обречены на забвение. Однако Hyper-V уж точно не доживает век — Microsoft включает его во все релизы Windows Server и дополняет платформу новыми фичами. В статье попробуем разобраться, почему компания не бросила Hyper-V даже в век Kubernetes и облачных сервисов, и как этот гипервизор сейчас вписывается в ИТ-инфраструктуру.

Перед вами третья и заключительная часть саги про борьбу двух великих американских кремниевых компаний — Intel и AMD (первую и вторую часть читайте в нашем блоге). Каждая из них внесла свой неоценимый вклад в развитие процессорной индустрии и высоких технологий в целом. Если бы не они — кто знает, в каком мире мы жили бы сейчас. 

Однако теперь одна из этих корпораций оказалась в той точке, где она либо напишет новую главу своей истории, либо завершит ее. Речь — об Intel. Ниже — о том, почему так произошло.

Чистые улицы Калифорнии и свободный доступ к передовым технологиям — мечта любого айтишника 90-х. Но он предпочёл вернуться в страну, где ещё ничего не было, и построить своё с нуля.

В подкасте  «В Офисе» я, Ваня Ботанов, автор телеграм-канала «Деплой» вместе с Олегом Бартуновым. Поговорили о том, почему AI не заменит инженера, и зачем сегодня так важно инвестировать в ИТ-образование. Это вторая часть интервью — не только история развития одного из главных российских open source проектов, но и редкий разговор про деньги, принципы и долгосрочное мышление.

— Какое-то время назад начался отток IT-специалистов из России. Как вы к этому относитесь?

— Я не считаю это чем-то критически страшным. В основном уезжают молодые ребята, и для молодежи нормально поехать, посмотреть, как живут в других странах. Многие большие проблемы в мире и в политике возникают из-за того, что люди не путешествуют. Недавно читал статистику: до недавнего времени 98% граждан не имели загранпаспорта. Что они могут думать о других странах, если никогда в них не были? У них нет критического мышления. А те, кто ездят, видят другую жизнь, понимают, как и где живут люди, какие плюсы и минусы, и их гораздо сложнее зомбировать.

— Где, на ваш взгляд, лучше жить?
— Конечно, там, где родился. Мы родились здесь, у нас своя ментальность. Хотя, например, я был 26 раз в Непале, и мне там очень нравится — чувствую себя комфортно. Думаю, это связано с историческими корнями, я как бы — степной кочевник, но подозреваю, что мой народ всё-таки пришёл из гор. А молодежь, которая уехала, посмотрела мир — если создать им условия, они вернутся.

Привет, Хаброжители!

Большинство книг об алгоритмах фокусируются на нотации «О большое» и основных принципах проектирования, однако эта книга предлагает уникальный подход, выводя разработку и анализ на уровень предсказуемой практической эффективности. В ней обсуждаются базовые и классические алгоритмические задачи, возникающие при создании приложений больших данных, для которых демонстрируются элегантные решения постепенно возрастающей сложности. Анализ решений дается в рамках как классической RAM-модели, так и более значимой с практической точки зрения модели с использованием внешней памяти, позволяющей оценивать сложность ввода-вывода.

В книге рассматриваются различные типы данных, включая целые числа, строки, деревья и графы, разные алгоритмические инструменты, такие как выборка, сортировка, сжатие данных и поиск по словарям и текстам. Наконец, вы найдете здесь информацию о последних разработках, связанных со сжатыми структурами данных. Алгоритмические решения сопровождаются подробным псевдокодом и множеством работающих примеров, что позволит обогатить инструментарий студентов, исследователей и профессионалов, заинтересованных в результативной и экономичной обработке больших данных.

Только представьте: вы покупаете б/у жесткий диск, а там — пароли от корпоративной почты, базы клиентов известной компании и договоры с поставщиками. Звучит как страшилка для тренинга по информационной безопасности, но это реальность.

Мы провели эксперимент: купили несколько списанных корпоративных дисков на торгах по банкротству и онлайн-барахолке, взяли бесплатную программу с открытым исходным кодом, которую может скачать любой школьник, и… восстановили с них данные реальных компаний — от небольшой транспортной фирмы до гигантской корпорации. Одну из утечек мы расследовали по горячим следам: приобрели у продавца ещё двадцать дисков, встретились с ним лично, выяснили источник и передали всю информацию службе безопасности компании.

Хотите узнать, как легко купить чужие секреты и почему компании продолжают их выбрасывать в 2025 году? Рассказываем подробно.

IT-специалистов разных мастей на текущий момент много. Сначала этому способствовал общий престиж отрасли на старте, затем - зарплаты разработчиков, которые ощутимо отличались от средних по рынку, потом был бум с откровенным «пылесосеньем» спецов со стороны крупных банков и бигтеха, а вишенкой (возможно, не самой полезной) стало засилье курсов для желающих «войти в айти», которые обещали вход в специальность и высокую зарплату чуть ли не за пару месяцев с нуля.

В последние несколько лет ситуация меняется из-за откровенной перегретости рынка, местами искусственной раздутостью штата в разных компаниях и других факторов.

Но в этой статье мы хотим обсудить не количественный состав ИТ в целом, а, скорее, психологический климат в разных сферах работы. Для примера сравним, пожалуй, самые распространенные отрасли для ИТ, финтех и бигтех, с теми, что на слуху куда меньше - с девелопментом, туризмом и спортом. К слову, ситуация скоро может измениться, как минимум в плане девелопмента. 

Во-первых, сами девелоперы осознают, что использование цифровых инструментов для них становится насущной необходимостью (что всем привычных, что и созданных специально для отрасли). Во-вторых, намечается и поддерживающий тренд со стороны государства - для строительной отрасли создают единое информационное пространство, уже запущена стартовая версия «Отраслевой платформы данных строительной отрасли». Вполне вероятно, что уже в ближайшее время поток айтишников, стремящихся в девелопмент, возрастет.

Всем привет! В этой статье поговорим про бэкапы PostgreSQL в Kubernetes через призму самого популярного опенсорс-оператора для этой СУБД — CloudNativePG. Мы расскажем о том, как внедрение нового решения на основе WAL-G позволило ускорить резервное копирование и восстановление больших баз данных и поделимся своим опытом доработки CloudNativePG.

На связи Иван Архипов, ведущий разработчик в команде платформы данных в Yandex Cloud, и я приглашаю под кат всех, кому интересна эксплуатация PostgreSQL в Kubernetes!

Привет, Хабр! Меня зовут Эдуард, и сегодня я хочу рассказать о своём проекте Kabardian Translator — локальном переводчике с озвучкой для кабардинского языка. Эта история началась с сотрудничества с командой Silero TTS и превратилась в инструмент, который, надеюсь, поможет соотечественникам за границей учить родной язык.

Пока у нас бомбит от блокировок WhatsApp, в конце ноября взорвалась единственная площадка для пилотируемых пусков на Байконуре. Разбор причин аварии, и как Хабр выдал пророчество о грядущей катастрофе.

Меня зовут Андрей Серебрянский, и я люблю Apache Kafka. И гарантии доставки exactly once. И рассказывать обо всём этом на конференциях. Пять лет я строил платформы потоковой обработки данных в финтехе, а теперь вместе с командой работаю над YDB Topics: частью YDB (СУБД Яндекса), которая заменяет Apache Kafka в роли брокера сообщений. СУБД Яндекса уже некоторое время поддерживает Apache Kafka API. Недавно мы расширили этот API, добавив поддержку Kafka-транзакций.

Но наличия транзакций в брокере сообщений недостаточно для получения гарантий exactly once. Чтобы неудачно зависший или перезагрузившийся сервер не привёл к дублированию или потере сообщений, нужно хорошо понимать, как именно работают транзакции в брокерах сообщений вообще и в Apache Kafka в частности.

Эта статья будет полезна начинающим разработчикам и тем, кто хочет освежить знания или разобраться в тонкостях exactly once обработки данных с помощью YDB Topics или других брокеров сообщений.

Чтобы продвигать свои новые продукты среди людей, которые не мечтали о собственном компьютере в течение многих лет, создатели второй волны микрокомпьютеров должны были прямо ответить на вопрос, для чего на самом деле нужен микрокомпьютер. В чём заключалась его ценность, если не в том, чтобы служить игрушкой для увлечённых компьютерами энтузиастов? Чтобы ответить на этот вопрос, они сделали несколько изобретательных набросков о том, как каким образом может компьютер помочь в повседневной домашней жизни. Они также использовали символическую силу компьютера. К 1977 году атомная энергетика и ракетостроение начали терять блеск своих славных дней 1950-х и 1960-х годов — компьютер стал символом прогресса, движущей силой ещё не завершившегося следующего этапа современности.

Некоторые из первых пользователей, несомненно, покупали компьютеры, руководствуясь этой перспективой, убеждённые, что наличие компьютера в доме каким-то образом лучше подготовит их детей к будущему. Другие находили удовольствие в программировании компьютера, не имея дела с аппаратным обеспечением.

Но большая часть аудитории, не являвшаяся любителями, на которую рассчитывали продавцы компьютеров, хотела покупать программное обеспечение для своих компьютеров, а не писать его. Производители компьютеров пытались удовлетворить эту потребность, создавая собственные библиотеки программного обеспечения, но они всегда были ограничены как по объёму, так и по качеству. К счастью для них, доступность дешёвых и простых в использовании компьютеров подготовила почву для появления большого числа сторонних производителей программного обеспечения. Их самые популярные продукты делились на две очень разные категории: бизнес-программы для создания цифровых рабочих артефактов и игровое программное обеспечение для развлечения. Чтобы удовлетворить рыночный спрос на каждую из этих категорий, производители компьютеров разработали две новые категории продуктов: высокопроизводительные бизнес-компьютеры и простые недорогие компьютеры, предназначенные в основном для игр.

Доброго времени суток, господа и дамы! Иногда у некоторых людей возникает желание заняться откровенным непотребством в программировании — то, что не несет практической пользы напрямую, но помогает развлечься. И я — не исключение. В этой статье я хочу рассказать вам о лайфхаках, трюках (магических и не очень), алгоритмах на языке C!

Идея написать эту статью зародилась из моего поста, после него я написал статью «Математика, биты, магия и немного ненормального программирования на C», которая раскрывала много интересных моментов. Увидев, что многим понравилась, я задумался: почему бы не изучить еще какие-нибудь трюки, заодно практикуясь в программировании на C? В этой статье мы погрузимся глубже и раскроем больше тем, такие как генераторы псевдослучайных чисел, трюки с побитовыми сдвигами и прочие быстрые алгоритмы на C!

Всех, кто заинтересовался — прошу под кат.