Сегментирование в стиле Hive применяется для оптимизации физического диска и более качественной компоновки данных, о чём подробнее рассказано в статье Organizing Data: Partition by Disk to Hive-style Partitioning. Но при работе с облачными объектными хранилищами сегментирование — не лучшая стратегия, и нам следует переосмыслить наш подход к организации данных. В этой статье обсудим, как путём пропуска данных (data skipping) и использования Z-порядка сократить объём тех данных, которые приходится просматривать. В результате можно значительно повысить производительность при обработке запросов и удешевить эти операции за счёт использования приёмов кластеризации.

Привет, Хаброжители! Как сделать ИИ-приложение надежным, объяснить архитектуру системы всей команде и построить хранилище данных, которое выдержит нагрузку? Собрали три новинки для разработчиков, архитекторов и дата-инженеров — с практическими подходами, примерами и решениями реальных инженерных задач.

Все три книги уже доступны для предзаказа.

Привет, Хаброжители!  Представьте: в компании десятки ИТ-систем, каталогов данных и баз знаний. Каждая описывает свою часть ИТ-ландшафта, но общей картины нет. Поэтому при слиянии компаний, миграции в облако или запуске проектов в области данных и ИИ приходится заново выяснять, какие системы существуют и как они связаны.

В книге «Управление метаданными. Как метасетки объединяют данные, информацию и знания» Оле Олесен-Баньё объясняет, почему метаданные часто остаются разрозненными, и предлагает способ связать их без создания очередной универсальной платформы.

Контекст, контейнеры, компоненты, интерфейсы и потоки: как описать архитектуру приложения в YAML, C# или JSON, а затем по запросу получать C4-, статические и sequence-диаграммы нужного уровня детализации.

Привет, Хаброжители! Во вторник разработчик переименовал столбец в рабочей базе. В четверг ключевой дашборд показал падение метрики, и никто не связал одно с другим. В понедельник руководство одобрило маркетинговую кампанию, чтобы вернуть ушедших пользователей. Через несколько недель выяснилось, что пользователи никуда не уходили, падение было следствием того самого переименования, а бюджет уже потрачен. Знакомая ситуация?

Привет, Хаброжители! Мы подготовили для вас новый перевод статьи о контрактах данных. Здесь рассмотрены контракты данных на основе объектов, реализованные на базе CDC. Рассказано, каково определение контракта, как он выполняется, и как для него предписывается схема.

Привет, Хаброжители! Мы привыкли считать себя хозяевами планеты, но на самом деле люди — лишь 5 процентов всей биомассы, крохотная верхушка в мире растений и микробов. Как мы выживаем в мире, где вирусов в три раза больше, чем людей? Ответ прост: внутри каждого из нас несет службу «килограммовая армия» — около 1,8 триллиона бойцов общей массой 1,2 килограмма.

«Армия иммунитета» — это увлекательный путеводитель по вашему внутреннему министерству обороны. Вы познакомитесь с «мусорными генералами» макрофагами, рядовыми штурмовиками нейтрофилами и элитным подразделением адаптивного иммунитета. Книга объясняет, почему «цветет» синяк, как связаны чистота и аллергия и почему ваша иммунная система — ключ к долголетию. Это честный и ироничный рассказ о том, как клетки умеют воевать без рук, проверять документы без глаз и защищать нас 24/7.

Привет, Хаброжители! Сегодня данные играют главенствующую роль в проектировании систем, и нужно обеспечить их масштабируемость, согласованность, надежность, производительность и удобство сопровождения. Необходимо учитывать огромное разнообразие систем хранения данных: реляционных баз данных, хранилищ NoSQL, складов и озер данных, а также облачных и локальных сервисов и встроенных баз данных.

С новым обновленным изданием книги вы сможете разобраться в терминологии и решить какой вариант лучше всего подойдет для вашего приложения.

Привет, Хаброжители! Джей Бортен дает подробное практическое руководство по интеграции данных — от базовых понятий и терминологии до реального сквозного примера, который шаг за шагом превращает разрозненные источники в работающий конвейер на AWS, Qlik, Databricks и Confl uent.

Независимо от того, разбираетесь ли вы в теме, впервые приступили к этой задаче или хотите систематизировать уже накопленный опыт, идеи и практические примеры Бортена помогут вам выстроить эффективную работу с данными в компании.

Агент пишет патч, пишет для него тесты, выполняет их и сообщает об успехе. Дифф выглядит здраво. Итак, у нас есть реализация, файл с тестом, и проверка пройдена (зелёная).

Реализация может согласовываться с тестами, поскольку там содержатся одинаковые ошибки. Если агент недопонял требования, когда писал код, то такое непонимание может сохраниться и на этапе чтения кода в стремлении получить ожидаемый результат. Чем больше тестовый набор, тем сложнее будет устранить такую ошибку. Позже вы исправите реализацию, и тесты начнут ругаться.

Привет, Хаброжители! Путешествие в мир программирования часто напоминает блуждание по лабиринту, из которого нет выхода. Неудивительно, что Python стал любимцем миллионов: он не просто понятен, его приятно изучать, читать и писать на нем.

Привет, Хаброжители!

Предлагаем ознакомиться с краткими обзорами новинок, отправленных в типографию.

Привет, Хаброжители!

Встречаем осень с хорошими новостями — в нашем интернет-магазине только что началась новая распродажа!

Привет, Хаброжители! Когда вы вводите промпт в большую языковую модель (LLM), машина преобразует ваш текст в числа, обрабатывает их, а потом возвращает ответ токен за токеном. В этой статье мы разберём, что такое инференс (логический вывод) в LLM и посмотрим, как он работает.

98% читателей предпочитают несовершенные, но аутентичные тексты, написанные человеком. При подозрении на ИИ‑составляющую в вашем тексте вас, как правило, перестанут читать, заблокируют и дизлайкнут

Привет, Хаброжители! Познакомьтесь с полным практическим руководством по подготовке к собеседованиям на одну из самых востребованных и высокооплачиваемых позиций в ИТ.

Авторы, ведущие архитекторы решений AWS с многолетним опытом, подробно разбирают роли архитектора широкого профиля, специализированных и отраслевых решений. Вы узнаете как успешно пройти все этапы отбора — от анализа вакансии и подготовки резюме до сложных технических и поведенческих интервью, как проектировать масштабируемые, надежные и безопасные системы, какие вопросы чаще всего задают на собеседованиях по приложениям, DevOps, инфраструктуре, сетям, большим данным, базам данных, машинному обучению, безопасности и отраслевым решениям (финансы, здравоохранение, ритейл, производство).

Привет, Хаброжители! Принятие качественных решений — это фундамент разработки программного обеспечения, а стратегия — способ регулярно и систематически принимать такие решения. Уилл Ларсон утверждает, что инженерная стратегия существует в компании, но просто не работает.

Опираясь на свой опыт технического директора и лидера в Stripe, Uber и Calm, автор предлагает инженерам уровня staff +, тимлидам, архитекторам и руководителям ИТ-подразделений разработать осознанную стратегию в условиях технической и организационной сложности.

Привет, Хаброжители! Четкие пояснения, пошаговые примеры кода и великолепные иллюстрации объясняют алгоритмы, на которых строится современный генеративный ИИ.
А знания закрепляются на увлекательных сквозных примерах: от прохождения лабиринта с помощью поисковых алгоритмов до управления беспилотным автомобилем на оживленной парковке с помощью обучения с подкреплением.

Второе издание было полностью переработано и дополнено новыми главами, посвященными базовым алгоритмам больших языковых моделей (LLM) и моделям генерации изображений.

Привет, Хаброжители! В мире, где большинство компаний вынуждены поддерживать сложные легаси-системы, главная проблема — не написать новое ПО, а превратить запутанный «большой комок грязи» в устойчивую, гибкую и понятную архитектуру.

Книга «Предметно-ориентированное проектирование» Каролы Лилиенталь и Хеннинга Швентнера — практическое руководство по предметно-ориентированной трансформации легаси-систем. Авторы предлагают проверенный метод, сочетающий DDD, совместное моделирование, оценку архитектуры и пошаговые рефакторинги.

Привет, Хаброжители! Мы перевели для Вас свежую статью Мартина Клеппманна о том, почему формальная верификация благодаря ИИ вот-вот перестанет быть уделом единиц и станет обычной практикой.

Сейчас много говорят о влиянии ИИ на разработку, но есть ракурс, который почти не рассматривают. Клеппманн считает, что ИИ превратит формальную верификацию, десятилетиями жившую на периферии, в программно-инженерный мейнстрим.