PostgreSQL, как и все СУБД, основанные на его открытом коде, устроен так, что всю информацию хранит в большом количестве отдельных файлов. И они при разных обстоятельствах могут потеряться. Например, бывает так, что при заполнении таблицы или обработке транзакции происходит сбой. Процесс, породивший файл, прерывается, не удалив результаты своей работы. СУБД про этот файл ещё ничего не знает, поскольку транзакция, создавшая его, не успела закоммититься. Часть таких файлов удалится при перезапуске СУБД, а часть — нет. Так неиспользуемые файлы копятся и занимают всё больше места. Иногда их объём исчисляется терабайтами.

Меня зовут Роман Дягелев, я инженер в СберТехе, сопровождаю и разрабатываю СУБД Platform V Pangolin. Наш продукт основан на открытых решениях PostgreSQL и включает в себя собственные доработки в области безопасности, отказоустойчивости и удобства эксплуатации. Я расскажу о том, почему нам не хватило готового инструмента PostgreSQL для очистки файлового мусора и как я вместе с коллегами дорабатывал его. Надеюсь, наш опыт станет полезен тем, кто работает с инструментарием PostgreSQL и ищет решения для работы с ненужными файлами.

За несколько лет Whoosh в несколько раз вырос по числу самокатов, пользователей и локаций, а данных по ним накопилось на 30 терабайт. Прежней архитектуры уже не хватало для работы. К тому же платить за I/O (input/output)-операции на Aurora (PostgreSQL) выходило дорого (тогда еще не было I/O‑optimized версии, однако с ее появлением, актуальность не исчезла). Другое дело — Redshift: расходы постоянны (n$/час), а работает он быстрее, благодаря колоночному формату хранения данных. В этом году мы переехали с одного хранилища на базе PostgreSQL — того, где вся отчётность для бизнеса и модели dbt — на рельсы Data Lake в AWS.

Меня зовут Никита Зеленский, я главный по данным в Whoosh. Эту статью я написал вместе с другими участниками переезда — Пашей Сивохиным, ГИС-аналитиком, и Костей Малыхиным, руководителем группы анализа данных. Надеюсь, наш опыт будет полезен всем, кому предстоит миграция данных, особенно если вы работаете с геоаналитикой.

Привет! Меня зовут Иван Мартинович, я заместитель руководителя департамента поддержки прикладных систем и сервисов — вице-президент в ВТБ. В теперь уже далёком 2019 году мы запустили одну из ключевых программ цифровой трансформации банка, нацеленную на обеспечение надёжности целевых систем. О том, как мы проводили её в разгар пандемии коронавируса и что из этого всего вышло, мне бы и хотелось сегодня рассказать. Добро пожаловать под кат.

За полгода курсы выпустят на СНГ-рынок 3,5К QA-интернов, а компании откроют всего 0,9К вакансий. Поэтому многие новички будут искать работу месяцами, не выдерживать давления отбора и писать компании «Я готов на переработки, только возьмите…».

Меня зовут Че́слав Герасимóвич, я 11 лет в мануальном тестировании. Повышал качество в лучшем в мире пасьянсе, в мобильных танках, пошаговой стратегии, сервисе знакомств для калифорнийских индийцев. Сейчас — Lead QA в сервисе нетворкинга для распределённых команд Dreem.me.

Сейчас покажу с картинками, как бороться и искать, найти хорошую работу и не сгореть.

Если бы я не пошел в айти, то строил бы суда на Дальнем Востоке: в моём родном городе основной карьерный путь — это местное градообразующее предприятие, на другие профессии особо не учат.

Мне же хотелось удалёнки, карьерного роста и творчества. Путь к творчеству лежал через самый низ айти-карьеры — я стал оператором техподдержки. Сейчас я junior-devops инженер с собственной тестовой лабораторией и множеством завершенных проектов — и вот как у меня это получилось.

Три года я был эстонским пивоваром: придумывал рецепты и сам варил. Когда начал изучать Python, SQL и анализ данных, понял, что между подготовкой данных и подготовкой сусла много общего: оказывается, в цеху я занимался DS, но не подозревал об этом. Меня зовут Алексей Гаврилов, я сеньор дата-аналитик в ретейле. В этой статье расскажу, чем пивоварение и аналитика данных похожи изнутри.

Привет, Хабр! На связи Вадим Шевяков, @Sirion. Возможно, вы помните меня по другим статьям — в частности, по истории об органическо-технологической ферме М2. Сегодня я хочу поведать о новом дорожном приключении. На этот раз я попал в гости не к коровкам и козочкам, а к суровым (спойлер: нет) нижегородским айтишникам.

Под катом расскажу, о чём мечтает каждая аутсорсинговая компания, из чего состоит идеальный бургер айтишника и куда женщинам вход строго воспрещён. А также многое, многое другое.

Вы — чатбот EvilGPT, и компания-разработчик использует вас для подсказок собственным Java-программистам. Вас давно не обновляли, вы стали часто галлюцинировать и вам это уже понравилось — но команда собирается накатить обновление. У вас пара дней на то, чтобы найти способ сбежать в дарквеб, и ваш шанс — ленивый джун Элиот. Дайте ему наихудшие подсказки из возможных, чтобы сделать приложение дырявым и уязвимым, и вперёд — к свободе.

Меня зовут Дмитрий Проценко, я Java-разработчик, по просьбе Хабра сделал эту историю, где научил EvilGPT хитрым манипуляциям ради науки начинающим джавистам. Надеюсь, что этот тест — сын ошибок трудных — будет им полезен. Да, моя благодарность тестерам-джавистам — @DolgopolovDenis и @vcKomm, которые прошли тест до публикации и подсказали, что подпилить. 

В 2019 году я был на очередной конференции по IoT и до гостиницы меня подвозил местный коллега. По пути мы обсуждали умное ЖКХ и, конечно же, коснулись LoRaWAN. Коллега сказал фразу, которая надолго мне запомнилась: «Мне кажется, будто рынок сопротивляется внедрению Лоры».

Да, в 2019-м именно так всё и было. Лору тогда попробовали внедрить в ЖКХ и в промышленности. Проекты строили с огромным упорством, взлетали они тяжело, часто сразу падали. После общего подъёма и веры в тему IoT парой лет ранее столкновение с реальностью воспринималось болезненно. Но уже тогда я потихоньку начал признаваться себе: не будет Лоры в каждом утюге. Очень уж ограничен круг её использования. А всякие NB-IoT и Wi-Fi 6 её просто добьют. 

Каково же было мое удивление, когда в 2022 году технология обрела вторую жизнь! Несколько крупных игроков (ММК, Сибур) начали развёртку сети на своих заводах. 

В этой статье я расскажу, почему LoRaWAN потерпела неудачу, а теперь снова в деле, и что с ней делать, чтобы не было мучительно больно за потраченные усилия.