Обновить

Все потоки

Сначала показывать
Порог рейтинга
Уровень сложности

Предзаказ на книгу: «Data integration. Объединение данных для улучшения процесса принятия решений»

Время на прочтение2 мин
Охват и читатели454

Привет, Хаброжители! Совсем недавно мы открыли предзаказ на книгу:«Data integration. Объединение данных для улучшения процесса принятия решений». Мы хотим немного больше вам о ней рассказать.

Джей Бортен дает подробное практическое руководство по интеграции данных — от базовых понятий и терминологии до реального сквозного примера, который шаг за шагом превращает разрозненные источники в работающий конвейер на AWS, Qlik, Databricks и Confl uent. Независимо от того, разбираетесь ли вы в теме, впервые приступили к этой задаче или хотите систематизировать уже накопленный опыт, идеи и практические примеры Бортена помогут вам выстроить эффективную работу с данными в компании.

Читать далее

Новости

Что находится внутри Lego Smart Brick

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели416

Lego Smart Brick — фундамент системы Lego Smart Play, в которой датчики, источники звука и света добавляют в игру интерактивность. Систему Smart Play анонсировали на CES 2026; для меня она стала одним из самых интересных моментов выставки. Мне удалось немного поиграть с «Красной пятёркой» X-Wing Люка Скайуокера, и меня впечатлил набор возможностей блока, учитывая его малые размеры и размеры аккумулятора. Эти блоки позволили мне вернуться в детство, когда я часами собирал новые наборы Lego и играл с ними. Если бы я был ребёнком, то испытал бы настоящий восторг!

На CES компания Lego анонсировала три набора с функциями Smart Play, которые поступили в продажу 1 марта 2026 года. Как только я узнал об этом, то подписался на предзаказ, заранее понимая, что буду разбирать и анализировать устройства. В конце концов, Lego Group хорошо известна своими выдающимися способностями к разработке и производству. Я ожидал, что эти блоки разработаны с тем же вниманием к деталям и мне не терпелось покопаться у них внутри.

Читать далее

Как мы делаем ML-продукты для заводов, когда дата-сайентистов мало: кейс 150-метровой печи спекания

Время на прочтение22 мин
Охват и читатели372

Привет, Хабр!

Меня зовут Писарев Андрей, я руковожу отделом машинного обучения в департаменте технологий искусственного интеллекта. Мы с командой разрабатываем и внедряем ML-решения на производственных площадках компании различной направленности.

РУСАЛ – геораспределённая компания: десятки производственных площадок по всему миру. А дата-сайентистов в команде – единицы. Если бы для каждого объекта мы строили ML-продукт с нуля, мы бы не вывезли. Поэтому главный фокус этой статьи – не модель и не метрики, а типовой подход к разработке ИИ-продуктов, который позволяет одной командой закрывать много объектов. Печь спекания на Пикалевском глинозёмном заводе (ПГЛЗ) – это кейс, на котором я покажу, как подход работает вживую.

TL;DR: Решение – системный подход к ML-продуктам на базе SinaraML и корпоративной ИИ-платформы. Показываю, как подход работает на конкретном кейсе – ML-сервис для управления 150-метровой печью спекания на ПГЛЗ. 3 месяца от PoC до закрытого тестирования. CatBoost: MAE = 225, R² = 0.48, RMSE = 330. Ожидаемый порядок экономического эффекта – десятки миллионов рублей в год.

Читать далее

Конвертация docx на сервере: LibreOffice headless против Apache POI, и где каждый ломается

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели1.8K

Задача звучит безобидно: «нам нужно на бэкенде превращать .docx в .html (а иногда .html в .pdf)». В тикете это одна строчка. На практике конвертация офисных документов — одна из тех тем, где красивый прототип собирается за час, а потом полгода латается по краям: то таблица разъехалась, то картинки пропали, то сервис лёг под нагрузкой, то .doc из 2007-го отказывается открываться.

Я подходил к этой задаче двумя принципиально разными способами и в итоге держу два отдельных репозитория:

Читать далее

Обзор внешнего SSD Adata SC740 500 ГБ

Время на прочтение2 мин
Охват и читатели2.3K

Мне дико не нравятся USB‑флешки: они медленные и постоянно теряются, поэтому для переноса данных я использую облачные хранилища либо внешние SSD. Один из таких внешних SSD у меня — это ADATA SC740: пластиковый корпус с резиновыми вставками, которые смогут обезопасить накопитель от повреждений при падении. Ёмкость — 500 ГБ. Да, не самый большой объём, который мне бы хотелось, но вы видели цены? 

Читать далее

Установка мышления для изучения программирования

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели2.7K

В своем курсе CS50 профессор Малан в течение одной из лекций наглядно демонстрировал что такое программирование — он усадил несколько добровольцев из аудитории и они вместе делали бутерброд (или сАндвич, кому как угодно). На просторах интернета еще много было видео про отцов‑программистов, которые делали так же бутерброды по инструкции своих детей. Суть подхода везде была такова, что программирование — это составление четких инструкций для компьютера к исполнению, которые он не может интерпретировать как‑то иначе. Как мне кажется, эта концепция хороша, но для скриптов или для разбора отдельных методов/функций, но не для создания программ в целом. Мне захотелось найти более общую метафору для программирования.

(Рассуждения приведены относительно языка Java)

Представим, что мы строим здание. Если конкретнее — жилой многоквартирный дом. Из чего он состоит? Любому зданию нужны фундамент и каркас — это основа. Как это соотнести с программированием — наверняка вы слышали о таком слове, как фремворк, которое почти дословно можно перевести как каркас. Каркас может отличаться в зависимости от требований застройщика, особенностней окружающей среды, температурного режима, а также бюджета. Дом можно построить на фундаменте из свай, железобетонной плите, стены можно сделать из кирпича, пеноблока и т д. Точно так же для программы можно выбрать основу — Spring для приложения, Cucumber/JUnit для автотестов.

После каркаса нас интересуют этажи. Как обстоят дела с ними — для начала до строительства архитектор создает чертеж типового этажа жилого дома, а потом строители уже по чертежу воспроизводят один и тот же этаж раз за разом (в надежде на изменения) столько, сколько требуется. В программировании есть понятие класса и объекта — вот наглядный пример этих сущностей. Класс — тот самый чертеж от архитектора, а сами этажи — это объекты или экземпляры класса.

Читать далее

Claude Code Antifraud, часть 2: крысы‑биссектрисы и обезьяны‑медианы на детской олимпиаде

Уровень сложностиСредний
Время на прочтение41 мин
Охват и читатели2.6K

В прошлой серии знакомый принёс мне импортное за триста и попросил посмотреть результаты московской олимпиады по геометрии. Пока публиковал статью, пришёл второй заказ. В этот раз питерская олимпиада для 4–11 классов: 6 сезонов, 40+ площадок проведения, устный формат. Устный — это когда участник рассказывает решение, жюри кивает или не кивает, черновиков нет, перепроверить нельзя.

И снова импортное за триста. Что ж, триста так триста. Погнали.

Читать далее

Хватит с меня отвалившихся VPN: как я раз и навсегда решил вопрос с доступом к ChatGPT из РФ

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели2.8K

В четверг я допоздна сидел над рабочей задачей и рассчитывал на помощь ChatGPT, чтобы закончить побыстрее. Открываю чат — о, привет, «This model's response is unavailable». VPN, который до этого честно работал полгода, решил лечь именно в этот момент. Перезапуск, смена сервера, ещё один перезапуск — тридцать потерянных минут и задача, которую пришлось доделывать до трёх ночи.

На следующий день сел разбираться, как сделать так, чтобы это не повторилось. 

Пошел на принцип: никогда, вот именно НИКОГДА больше я не потеряю доступ к ChatGPT из-за VPN. Ошибка сервера OpenAI, погасший в доме свет, метеорит, ударивший в системный блок — ок, тут я бессилен. Но вот сломанный VPN больше не будет мне преградой.

Получился довольно кривой и неудобный путь в обход, но результат — есть. Если вдруг вы читаете этот в текст, находясь в той же ситуации, что я — в четверг, буду рад помочь.

Читать далее

Разбор неудачного проекта внедрения ERP

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели2.6K

В предыдущих 2 статьях (статья 1, статья 2) я рассказал, как с помощью 5 артефактов полностью описать ERP систему будь то 1С или SAP, на русском или китайском языке.

Читать далее

Прозрачные устройства: три DIY-проекта, которые видно насквозь

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели3.1K

Смартфоны стали скучными. Мы меняем их каждый год и даже не замечаем. Я решил сбежать из этой гонки и собрал три устройства, которые не прячутся в корпусе. Они прозрачные, честные и сделаны с душой.

Три гаджета: ИИ-тамагочи, часы из медной проволоки и кассета-MP3-плеер. Все они — open-source, любой можно повторить, и каждый виден насквозь. Никакой магии, только пайка, код и любовь к деталям. Поехали.

Читать далее

Российский аналог GitHub в 2026: сравнение GitFlic, GitHub, GitLab и Bitbucket

Время на прочтение7 мин
Охват и читатели2.6K

GitHub — крупнейший публичный хостинг кода в мире: более 100 миллионов разработчиков, 630 миллионов репозиториев. С 2018 года принадлежит Microsoft. Основная сила — экосистема: GitHub Actions для CI/CD, GitHub Packages для хранения артефактов, GitHub Copilot как ИИ-ассистент, Marketplace с тысячами интеграций.

Self-hosted вариант — GitHub Enterprise Server — существует, но требует платной лицензии и затрат на инфраструктуру.

Читать далее

OpenTelemetry Filelog Receiver: руководство по приему лог‑файлов

Уровень сложностиСредний
Время на прочтение24 мин
Охват и читатели3.4K

OpenTelemetry постепенно становится универсальным пылесосом для телеметрии. Осталось только научить его аккуратно засасывать всё то наследие, которое приложения десятилетиями складывали в файлы. В этом переводе статьи разбирается как использовать filelog receiver на практике — от простого чтения JSON‑логов до продакшен‑сценариев с настройкой производительности. Ещё больше полезных материалов я публикую у себя в авторском телеграм‑канале Мониторим ИТ. Всегда рад новым подписчикам.

Даже в эпоху облачных приложений и распределенного трейсинга обычные файлы логов остаются одним из самых ценных источников достоверной информации в любой системе. От корпоративных приложений и пакетных заданий до NGINX, баз данных и локальной инфраструктуры — критически важная диагностическая информация по‑прежнему записывается на диск.

Получатель filelog в OpenTelemetry Collector позволяет интегрировать эти логи в современный конвейер наблюдаемости. Он непрерывно отслеживает файлы, анализирует их содержимое и преобразует необработанный текст в структурированные записи логов OpenTelemetry.

В этой статье показано, как использовать эти возможности на практике, от базового чтения файла до построения готового к эксплуатации конвейера, который корректно обрабатывает ротацию логов, восстанавливает работу после перезапуска и не теряет ни одной строки.

Прежде чем углубляться: если вы контролируете приложения, записывающие эти логи, наилучшим решением будет настроить их на вывод структурированных JSON‑логов, размещённых в одной строке. Чтобы получатель filelog в этом случае стал простым и удобным уровнем приема данных.

Значительная часть этой статьи посвящена ситуациям, когда такой вариант невозможен. В подобных случаях получатель filelog предоставляет мощные инструменты для анализа, структурирования и обогащения любых получаемых логов, превращая их в полноценные данные наблюдаемости.

Начнём!

Читать далее

Во сколько обойдётся крах искусственного интеллекта

Уровень сложностиПростой
Время на прочтение23 мин
Охват и читатели3.2K

В мае 17 % совокупного прироста всего мирового рынка акций пришлось лишь на две компании — Micron и SK Hynix, производителей микросхем памяти. Не 17 % прироста полупроводникового сектора, а 17 % вообще всего рынка, то есть всех публичных компаний во всех странах, вместе взятых. Такие данные приводит Acadian Asset Management. Под мировым рынком в отчёте компании понимается индекс MSCI All Country World Index, в который входят тысячи акций из десятков стран. При этом Micron и SK Hynix вместе весят в нём около 1 %. Иными словами, из каждого доллара, на который мировой рынок вырос в мае, примерно 17 центов принесли всего две эти акции.

Отсюда напрашивается неприятный вопрос: если весь мировой рынок акций способны тянуть вверх бумаги всего двух производителей чипов, о которых большинство людей даже не слышало (речь всё-таки не об Apple или Google), что будет с вашим портфелем, когда рынок развернётся вниз?

Поэтому сегодня мы разберёмся, насколько обычные инвесторы завязаны на ставку на искусственный интеллект, почему привычные тихие гавани могут не защитить, и сколько примерно денег исчезнет, если вся эта конструкция развалится.

Читать далее

Ближайшие события

ДЖВА года разрабатывали косметический стик — адская технологическая задача

Время на прочтение8 мин
Охват и читатели3.7K

Стик — это косметическое средство в форме твёрдого стержня, которое выдвигается из корпуса при повороте механизма. Это удобно, потому что не нужно лезть в банку пальцем, дозировать средство пипеткой или размазывать по ладони. То есть на практике меньше консервантов, больше стабильности.

Кажется, всё просто, но нет!

Эта штука ещё должна доехать через Сибирь во Владивосток, не повредиться, не замёрзнуть, не перегреться в солнечном Казахстане и так далее. 

Стик не должен деформироваться в упаковке, крошиться при нанесении, вытекать при нагревании или ломаться при обычном использовании. При этом он должен достаточно легко наноситься на кожу и делать это равномерно.

В нашем случае внутри стика должны были находиться не масла и воски, а сложная система с большим количеством воды. Когда мы у себя в лаборатории сели за разработку, выяснилось, что нас ждёт задача на грани издевательства. Средство должно сохранять твёрдую форму при хранении, но при нанесении на кожу — разрушать эту структуру и высвобождать воду. На поиск работающего решения ушло около двух лет.

За это время мы перебрали множество вариантов состава и технологии и немножечко сошли с ума. Казалось бы — зачем было проделывать этот путь, если можно было просто сделать крем?

Читать далее

Что понимаешь про алерты, только когда сам начинаешь их писать

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели3.6K

Я успел побывать по обе стороны. Сначала несколько лет разбирал алерты в SOC — сидел на потоке срабатываний и решал, что из этого инцидент, а что шум. Потом ушёл в разработку и последние годы пишу сами детекты — те правила, которые генерируют эти срабатывания. И вот что забавно: пока не начал писать алерты сам, я был уверен, что понимаю про них всё. Оказалось — почти ничего.

Эта статья — про несколько вещей, которые выглядят совершенно по-разному в зависимости от того, с какой стороны экрана ты сидишь. Будет полезно и аналитикам, которые ругают «криворуких вендоров», и разработчикам, которые не понимают, почему их идеальное правило ненавидят в SOC.

Читать далее

Алиса AI уже способна решать экономические проблемы России лучше экспертов

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели3.6K

Центр межотраслевой экспертизы «Третий Рим» представил доклад о построении новой модели российской экономики, обеспечивающей рост ВВП на 3% в год и подъем благосостояния в стране. Доклад был весьма положительно оценен многими экспертами, однако искусственный интеллект в лице нейросети Алиса AI считает, что «какой-то рост благосостояния возможен, но устойчивого и сбалансированного улучшения качества жизни … вряд ли получится». Алиса права.

По мнению авторов доклада, представленного к заседанию Совета при президенте по стратегическому развитию и национальным проектам 19 августа, потенциал значительной части действовавших ранее факторов роста экономики России в настоящее время почти исчерпан. Они предложили новую модель экономики, которая позволит выйти на рост ВВП в размере 3% в год, и должна быть построена на семи столпах.

Чисто экономическая модель экономики неадекватна реальности

Это опережающее развитие регионов и внутреннего туризма; автоматизация, ИИ и рост производительности; платформизация – снижение транзакционных издержек; создание инфраструктуры новой экономики; перестройка системы подготовки кадров; обеление экономики; опора на частные инвестиции и потребление.

Авторы модели полагают, что основанная на этих столпах российская экономика должна сделать не столько шаг вперед, сколько шаг вверх: перейти на новую траекторию развития, где экономический рост напрямую трансформируется в повышение благосостояния и качества жизни населения.

Предложения выглядят очень привлекательно, особенно рассуждения о переходе на новое качество жизни. Но есть вопрос: откуда взялись эти семь столпов? Где список всех столпов, на которых стоит экономика, и какое место указанная выше великолепная семерка занимает в списке? Если, допустим, взять ВВП, то имеются таблички, в которых подсчитано, какой вклад в них внесла промышленность, какой сельское хозяйство, и т. д. по убывающей. Хотелось бы оценить подобным образом и семерку (в той степени, в которой это возможно, разумеется).

Читать далее

Код‑ревью в эпоху ИИ: 7 ошибок, ведущих к инцидентам

Уровень сложностиСредний
Время на прочтение17 мин
Охват и читатели3.1K

ИИ уже умеет за минуты генерировать сотни строк кода, но скорость ревью от этого не выросла. Разбираем семь ошибок, из‑за которых AI Code Review пропускает реальные дефекты, создаёт ложное чувство безопасности и постепенно превращает проверку кода в формальность.

Разобрать ошибки

Треть сканов моего приложения заканчивается фразой «нет данных». Разбираюсь, почему

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели2.6K

Каждое утро мне падает сводка по приложению. Сегодня в ней было: 27 сканов за сутки, из них 10 — с вердиктом “нет данных”. Тридцать семь процентов людей навели камеру на штрихкод и не получили ничего. Разбираю, откуда берётся эта дыра при базе в 112 тысяч товаров, почему OCR-фоллбэк отсекает 39 процентов пользовательских вкладов и где проходит граница между “принять с риском” и “отклонить и потерять данные”.

Читать далее

Как я сделал mmap-базу для 4 миллионов товаров и 700 тысяч посадочных страниц

Уровень сложностиСложный
Время на прочтение13 мин
Охват и читатели2.8K

Сделал mmap-базу для 4 млн товаров и получил ~35k RPS. Поиск оказался настолько быстрым, что bottleneck пришлось искать уже после базы. В итоге оптимизировал JSON, получил ~1.8× прироста HTTP workload — и упёрся в w.Write.

Читать далее

Вход в SpecDriven Development: OpenSpec vs SpecKit

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели3.2K

Агенты пишут код быстрее, чем любой человек способен его проверять — поэтому знания, которые раньше хранились в головах разработчиков, теперь должны жить где-то ещё.

Практический разбор двух ключевых подходов к spec-driven development: как устроены их рабочие процессы, насколько они расширяемы и в каких местах и OpenSpec, и Spec Kit всё ещё оставляют вас один на один с агентом.

Читать далее
1
23 ...