Привет! Хочу поделиться практическим опытом реинжиниринга нашей системы под названием «Портал поставщика» – рассказать о том, как мы выстроили процесс работы в команде, как наладили общение с бизнесом, какие поймали подводные камни и какие удалось выработать интересные решение. А ещё поговорим об особенностях китайского менталитета.

Меня зовут Иван Хахарев, я ведущий системный аналитик. Портал поставщика – это сайт, полностью наша внутренняя разработка, на нём почти все поставщики оформляют свои отгрузки. Затем, благодаря собранным данным, мы можем отслеживать все движение товара до склада и получать информацию для размещения на складе и дальнейшей продажи товара.

Так как преобладающее большинство поставщиков у нас иностранное (а в большей ее части — китайское), то и пользователи у нас в большинстве своем китайские.

Преамбула

Думаю, многие из вас сталкивались с тем, что вам в руки попадала какая-нибудь MVP-система с большим количеством legacy-кода или другими подобными вариациями, которые делались под лозунгом «Давай сейчас как-нибудь сделаем, чтобы работало, а потом разберемся».

В результате пилот себя оправдывает, вы получаете криво написанную систему, у бизнеса куча ожиданий, что надо с этим делать, они просят дорабатывать, вы пилите костыли один за одним. Натурально становитесь таким маленьким заводиком по производству костылей в промышленных масштабах – вот мой случай, собственно, не исключение ?

Расскажу о том, как нам удалось сломать этот порочный круг костылей и как мы выбрались в более или менее стабильную и качественную систему с комфортным масштабированием.

Большой размер придомовой парковки не гарантирует, что вы легко и быстро найдете парковочное место, а чаще даже наоборот, при заезде на парковку может начаться приступ депрессии от того, что объехал парковку, потратил время, но в итоге место не нашёл. Как можно добавить в жизни чуть-чуть больше определённости, я опишу ниже.

Есть ли у вас старый телефон на Android? Наверняка есть! В мире накопилось безумное количество всевозможного электронного мусора, и в среднем гражданин развитой страны меняет телефон каждую пару лет, поэтому старые телефоны, вероятно, один из самых распространённых видов электронных отходов.

У меня залежался собиравший пыль старый Motorola G5 Cedric, поэтому я решил сделать с ним что-нибудь, и теперь на нём работает веб-сервер Puma с простым веб-приложением на Sinatra.

Вся видеоаналитика строится на основе видеонаблюдения. 

Видеонаблюдение - передача видеоизображения, а аналитика - его обработка и создание некоторых автоматизированных выводов по определенному алгоритму. Если раньше стояли большие аналоговые камеры, все записи с которых шли на сервер и на пульт условного охранника, который должен был следить за всем, то сейчас все идет к установке IP-камер и хранения всех записей в облаке, что мы и предлагаем.

Размером не больше стакана, легко помещается в ладонь. Внешне напоминает мельницу для перца... или ручную гранату.

Крошечный Curta - потрясающая машина, механический калькулятор, сочетающий в себе сложность парового двигателя и прецизионную точность качественных карманных часов. Он появился в 1948 году, и на протяжении двух следующих десятилетий, пока его не заменил электронный калькулятор, он был лучшим портативным калькулятором на Земле. А его история ещё более интригует в свете необычных обстоятельств, в которых он был изобретён.

Идея Curta пришла к его австрийскому изобретателю в темноте концентрационного лагеря Бухенвальд.

Всем привет! Меня зовут Наталья Карпежникова, я работаю в ИТ с 2012 года, была и аналитиком, и тестировщиком, и проджектом, и лидером продукта. А сейчас в Спортмастер Лаб я все еще лидирую продукт, но большую часть времени занимаюсь развитием сообщества лидеров продуктов.

Зачем я все это пишу.

Я много общаюсь с интересными экспертами в своих областях, и каждый раз меня преследует такая мысль — «нас так мало на этой встрече, а у этого человека такой ценный опыт, вот бы он им со всеми как-то делился».

Для лидеров продуктов, так как это управленцы и самоорганизованные ребята, вопрос обмена опытом и знаниями в процессе развития и роста становится очень важным и непростым. Часто каждый по отдельности решает одну и ту же задачу и дублирует то, что другие уже давно сделали и внедрили. В этот момент развития организация нуждается в площадках обмена опытом внутри. Про одну из таких площадок и экспериментов я и расскажу.

Сегодня я хочу представить вашему вниманию подробный пользовательский обзор смартфона Google Pixel 6, но прежде чем перейдем к самому девайсу — небольшое предисловие.

Смартфоны от Google никогда не были мейнстримом, год за годом проигрывая лидерство таким гигантам, как Apple или Samsung. Все, кто хотели статусный аппарат — брали iPhone, тем более, что и по технической части у него всегда все в полном порядке. Кто хотел технологичное современное устройство с инновациями — обращались к флагманским смартфонам Samsung. И первые и вторые, неплохо справлялись и с другой важной и затребованной функцией — мобильной фотографией. Но есть одно но. Флагманские Samsung, не говоря уже за iPhone стоят немалых денег...

Google Pixel в противовес позиционируется как более доступный и сбалансированный аппарат с упором на камеру. Т.е производительность и технологичность у моделей Pixel отведена на второстепенные планы. Компоненты подбирались таким образом, чтобы покупатель не переплачивал за лишние функции, например избыточно мощный процессор, который съедает весомую часть конечной стоимости смартфона. При этом главный упор всегда делается на камеру. Даже название Pixel говорит само за себя. Особая роль была отведена программному обеспечению, а конкретней — настройкам и алгоритмам при обработке снимков для улучшения их качества, в том числе и с использованием искусственного интеллекта. Это то, что сейчас принято называть вычислительная фотография. В итоге качество снимков сделанных смартфонами Google Pixel  на голову превосходит конкурентов с такими же камерами. Все поголовно начали портировать и пытаться использовать приложение камеры Google Cam на другие смартфоны от Samsung, Xiaomi и т.д. Только чаще всего оно все равно работает косо, криво и с ошибками. Обмануть судьбу, купив дешевый Redmi и накатив на него GCAM — не выйдет.

Давайте представим ситуацию, когда вам нужно установить на все виртуальные машины (агенты сервера сборки) определенный пакет Python. Но вы не можете изменить образ агента, а загрузка, к примеру из pypi.org или github.com непроверенных пакетов, ограничена. Как тут не вспомнить последние новости про вредоносные изменения в пакете nmp или более свежую информацию про PyPi.

Python использует подход под названием EAFP — Easier to ask for forgiveness, than permission (легче попросить прощения, чем разрешения). Это значит, что проще предположить, что что-то существует (к примеру, словарь в словаре, или в нашем случае модуль в системе) или получить ошибку в противном случае.

Этот подход, развитый в PEP-0302, позволяет делать хук импорта модулей, что в итоге приводит нас к возможности написания следующего кода:

Привет! В рамках нашего цикла постов про дашборды в СИБУРе и их практическую пользу для компании не смогли обойти стороной M2F – это обслуживание и ремонты, туда входит множество метрик из различных направлений бизнеса. Это могут быть метрики, которые показывают загруженность ремонтного персонала на предприятии или метрики затрат, например, «Поддержание основных фондов», а также имеется большой блок «Надежность».

В общем и целом, это широкий спектр метрик, выделенных в качестве наиболее приоритетных, с точки зрения влияния на бизнес. Анализ этих метрик помогает бизнесу наиболее эффективно управлять имеющимися ресурсами, а также «подсвечивать» проблемы в самом бизнес-процессе. 

Чуть не забыл представиться! Меня зовут Миша Делендик, и я как раз отвечаю в СИБУРе за разработку дашбордов по сквозным процессам M2F. В этом материале подробнее расскажу о том, как мы анализируем различные части процесса, чтобы оборудование работало без, кхм, нештатных ситуаций. 

Привет! А вот и вторая часть поста про принципы юнит-тестирования. Если в первой мы обсудили влияние тестов на разрабатываемые продукты и познакомились с теорией юнит-тестирования, то в этой обсудим некоторые практические моменты. Внутри поста — структура юнит-тестов, стили юнит-тестов, принципы рефакторинга, полезные советы для того, чтобы ваши юнит-тесты были эффективными и читаемыми, а также некоторые антипаттерны при написании тестов.

Ну и, конечно же, список источников, где можно получить дополнительную полезную информацию. В общем, начнём.

Структура юнит-тестов

В нашей команде при написании юнит-тестов мы стараемся использовать подход AAA — Arrange, Act, Assert (Подготовка, Действие, Проверка).

Кратко расскажу о нем. Тест делится на три блока, которые идут друг за другом. Ширина блоков на рисунке выше образно отражает объём кода, который должен занимать каждый из блоков.

Я написал популярную статью с разоблачением финансового инфоцыгана, который выдавал себя за бывшего советника Набиуллиной. После этого моему каналу объявили настоящую войну: десятки тысяч ботов устраивают бесчинство в комментариях, а самому блогу пытаются создать репутацию «токсичного». Делюсь своим опытом: что делать в такой ситуации, и как защитить свой Телеграм-канал.

Привет, Хабр! Поговорим о книгах?

Есть мнение, что люди начали читать меньше и всё чаще многие потребляют уже готовый контент в виде роликов на YouTube или сокращённых вариантов различных произведений. Но это вряд ли, ведь если бы люди не читали книги, могли бы тогда развиваться отечественные и зарубежные сервисы для любителей чтения? К примеру, LitRes, Bookmate и другие. 

И да, в IT-команде Сбера много книголюбов с самыми разными предпочтениями. А поскольку мы на Хабре, то поговорим сегодня о технической литературе. Точнее, о Python и лучших книгах по этому языку для профи, программистов среднего уровня и начинающих. Подборка  ― уже под катом.

Привет. Меня зовут Костя, и я отвечаю за дизайн в Агиме. Больше 9 лет я нанимаю дизайнеров. И сам, конечно, много раз искал работу в прошлом.

Меня все время забавляет, что мы, дизайнеры, это классические сапожники без сапог. Имея навыки повышения конверсий и достижения целей, мы тупо шлем портфолио, сделанное на коленке. Хотя у нас весь набор навыков, необходимых для продажи чего-нибудь кому-нибудь. Метод персон и JTBD, воронки продаж, эмпатия, исследования, кастдев и всякие другие слова.

В PostgreSQL есть "волшебный" тип индекса GiST, который позволяет быстро искать разные сложные вещи - от интервалов до массивов и даже реализовывать полнотекстовый поиск.

Про его внутреннее устройство и возможности подробно рассказывал Егор Рогов, а я в статье "PostgreSQL Antipatterns: работаем с отрезками в «кровавом энтерпрайзе»" показал, как с помощью расширения btree_gist он позволяет решать типовые бизнес-задачи.

Одной из таких задач является поиск отрезков внутри сегмента со скалярным идентификатором. И если для btree очевидно, что поле с меньшей кардинальностью должно стоять в индексе раньше - индекс от этого и меньше и быстрее (см. "DBA: находим бесполезные индексы"), то так ли это однозначно для btree_gist?

ТОП-3 ИБ-событий недели по версии Jet CSIRT

Сегодня в ТОП-3 — Luca Stealer, который может похищать данные из браузеров, отчет «Лаборатории Касперского» о работе руткита CosmicStrand, уязвимости в FileWave (MDM). Новости собирала Алла Крджоян, младший аналитик центра мониторинга и реагирования на инциденты ИБ Jet CSIRT компании «Инфосистемы Джет».

 Подробнее читайте под катом.

Очень часто приходится слышать, что Sqoop — это серебряная пуля для загрузки данных большого объёма с реляционных БД в Hadoop, особенно с Oracle, и Spark-ом невозможно достигнуть такой производительности. При этом приводят аргументы, что sqoop — это инструмент, заточенный под загрузку, а Spark предназначен для обработки данных.

Меня зовут Максим Петров, я руководитель департамента "Чаптер инженеров данных и разработчиков", и я решил написать инструкцию о том, как правильно и быстро загружать данные Spark, основываясь на принципах загрузки Sqoop.

Первичное сравнение технологий

В нашем примере будем рассматривать загрузку данных из таблиц OracleDB.

Рассмотрим случай, когда нам необходимо полностью перегрузить таблицу/партицию на кластер Hadoop c созданием метаданных hive.

• Простота. Стажёр или студент, приходя к нам, может уже через неделю написать и отправить в продакшен новый микросервис.
• Надёжность. Многие ошибки, в том числе и связанные с многопоточностью, можно поймать на этапе компиляции. Кроме того, фреймворк даёт подсказки по исправлению проблем.
• Полнота. В userver есть всё необходимое для тестирования, работы с разными базами данных, кеширования, логирования, трейсинга, распределённых блокировок, работы с JSON, BSON, YAML, изменения параметров сервиса на лету и так далее.

Раньше я считал, что компьютерная игра Factorio — это огромная трата ресурсов, сжигающая ежегодно миллиарды долларов ВВП. Мне казалось совершенно ненормальным, что Shopify компенсирует своим сотрудникам её приобретение. Я даже думал, что платить за игру в Factorio сотрудникам Shopify должен её конкурент — Amazon.

Но немного разобравшись в ней, я начинаю подозревать, что Factorio — редкий пример компьютерной игры, на самом деле увеличивающей ВВП. В Factorio игроки собирают ресурсы и изготавливают предметы, а затем автоматизируют этот процесс. Игрок может начать с того, что вручную добывает уголь и железо, плавит железо, а затем использует его, чтобы изготовить бур, присоединить к нему несколько конвейеров, чтобы тот автоматически отправлял железо в печь, затем присоединить ещё несколько конвейеров и отправлять по ним материалы на фабрику, массово изготавливающую конвейеры и буры, и так далее.

Это может показаться скучным, но сколько человеко-часов в год тратится на игры «три в ряд»? Некоторые игры называют медитативными, и к Factorio это относится в двух смыслах: во-первых, в ней присутствует аспект темы и вариации — каждый новый создаваемый продукт является неким сочетанием известных задач (например, новый предмет, который должен перемещаться по конвейерам) и новых трудностей (движение жидкостей по трубам и комбинирование их оттока с твёрдыми продуктами для создания новых предметов). Но также она медитативна в том смысле, что медитация — это способ культивации определённого образа мышления, а Factorio способна и на это. Можно медитировать, чтобы находиться в моменте; вы играете в Factorio, чтобы воспитать в себе привычку никогда не оставлять ручной процесс без автоматизации.