Pull to refresh
10
0
Яков Шуваев @91koff

Системный архитектор

Send message

Приходите к нам на завод, у нас тяжело

Reading time10 min
Views138K
Короче, ИТ на заводе — это вам не романтика, особенно в нашем цифровом направлении.

Между «давайте этим займёмся» и «о, смотрите, какая гламурная ML-модель» лежит очень много того, про что не рассказывают. Сейчас расскажу.

Вначале у нас была банда энтузиастов из разных подразделений: несколько человек из ИТ, АСУТП, технологи со знанием статистики — чтобы смотреть с разных углов и видеть всё в целом, насколько это возможно. Начали с оценки перспектив. Они были необъятные — наше производство размером с небольшой город. Стали формироваться подразделения и направления: кто-то пошёл собирать роботов, кто-то в видеоаналитику, кто-то в лайтовый анализ данных, кто-то в самый хардкор — в дата-сатанизм. Работы у нас всегда больше, чем рук.

И на каждой из этих дорожек нас поджидали свои чудеса и сюрпризы.

Вот, к примеру, видеоаналитика:

  • Мы поняли, что ML в 50% задач не нужны. Нужна, например, камера, которая по цвету определяет, где есть железка, и смотрит её геометрию в реальности. Всё. Или другая камера, которая следит, чтобы в нужной зоне ничего не шевелилось.
  • Всё это прекрасно до первого солнечного зайчика. ML отлично показывают себя там, где вам лень строить крышу или ставить прожектор над конвейером.
  • У нас была идея, что мы можем сами в нейросети. Чуть не написали свой сервис для распознавания номеров вагонов. Казалось, делов-то на 20 минут, а у подрядчика это стоит 25 копеек за фото. Сделали свой, сферические вагоны в вакууме он определял хорошо. Потом приехало вот это:

image

А потом внезапно пошёл дождь. Знаете что? Вагоны под дождём становятся мокрыми. Это было неожиданно. Ещё они бывают после снега, битые, немытые, обновлённые криворукими малярами и ПРОЧИЕ. И в солнечных зайчиках тоже.

Мы накалывались на получении данных (кто сказал, что прошивка станка без костылей?), на роботизации, инфраструктуре, связи, на всём. Мы облазили весь завод, испачкались в солидоле, мазуте и масле. Но стали делать то, что должны, — оптимизировать мир.
Читать дальше →
Total votes 228: ↑224 and ↓4+268
Comments278

25 Гбит/с дома, часть 1

Level of difficultyMedium
Reading time16 min
Views46K

Я живу в маленьком сельском городке в Швейцарии и довольно давно являюсь клиентом init7 (местный провайдер). Этот провайдер хорошо известен тем, что в данный момент только они начали пару лет назад рекламировать доступное для частных лиц 25 Гбит/с подключение. Впрочем, им требуется время, чтобы обновить оборудование в точке присутствия, а, в моем случае, им нужно было открыть где-нибудь поблизости новую точку присутствия (до этого у них был договор с другим провайдером об аренде части оборудования и места в стойке, что по прежнему давало мне оптику в квартиру, она по прежнему была не GPON'ом, но скорость была ограничена гигабитом). Но в 2023 году они наконец анонсировали скорое открытие POPа и перевод всех пользователей на их основной продукт (fibre7). То что это новый POP для меня означает, что там сразу будет доступен 25 Гбит/с тариф.

Читать далее
Total votes 106: ↑106 and ↓0+106
Comments265

Парадокс коллективной эмпатии: как спровоцировать толпу на самоистребление

Reading time7 min
Views24K

Знаю, что уже весь интернет наигрался с этими таблетками, но я хочу показать вам как можно манипулировать голосами респондентов, перефразировав условие. Среди отвечающих многие даже не поняли, что оба опроса полностью идентичны друг другу и, что это на самом деле один эксперимент, который несёт в себе куда больше смысла, чем казалось изначально.

Люди по-разному отвечают на один и тот же по своей сути вопрос, сначала гордясь тем, что они в отличие от циничных логиков-эгоистов возжелали спасти всех, а потом также душевно наплевали на ближнего своего. Предложи им «умереть, если не наберётся 50%» и они, понятное дело, откажутся. Но антихрист может быть коварнее и хитрее. И коль он предложит им «выжить, если наберётся 50%», то они ринуться крутить рулетку по истреблению самих себя, считая это благим делом.

Понимаю, что мои выводы по виртуальному голосованию звучат слишком драматично. Но что является большей драмой, чем факт того, что даже гипотетический выбор толпы, зависит не от благородных чувств и пресловутой эмпатии (за которую так ратуют едоки синей таблетки), а от формулировки условия? В общем-то всё самое важное я уже написал. А всех презирающих рациональность с теорией игр и вопрошающих «с какого хрена вышеупомянутые опросы одинаковые» приглашаю к дальнейшему чтению.

Читать далее
Total votes 54: ↑45 and ↓9+44
Comments237

Как выглядят собеседования сейчас

Reading time8 min
Views131K

Времена меняются, меняется it-индустрия. Крупные it-игроки ушли, с ними ушли стандарты, топовые специалисты и рабочие места. Соотношение вакансий и резюме удручает, всё выглядит как конкурс на бюджетные места в топовых вузах.

Я являюсь .Net разработчиком с опытом лидинга и набора специалистов в команду. На текущем месте работаю 2 года, но за этот срок многое изменилось. Решил проверить, что же сейчас с рынком, и сколько же я стою сейчас как специалист. За 2 недели я прошёл 30 собеседований и хочу поделиться некоторыми из них, высказать свои замечания и выводы.

Читать далее
Total votes 252: ↑243 and ↓9+282
Comments461

Как WhatsApp справлялся с 50 миллиардами сообщений в день, имея всего 32 инженера

Level of difficultyEasy
Reading time4 min
Views27K

Январь 2008 года — Калифорния, США.

Инженер Ян Кум нанимается на работу в Facebook* — получает отказ.

Это был не конец — он продолжил двигаться дальше.

В следующем году он покупает iPhone и сразу же понимает огромный потенциал нового App Store.

С несколькими бывшими коллегами из Yahoo он решает создать программу мгновенного обмена сообщениями. Программе дают имя WhatsApp. Предназначение WhatsApp — стать заменой дорогостоящим SMS.

Рост популярности WhatsApp поражает воображение — каждый день в него заходит один миллион людей.

WhatsApp мог справляться с 50 миллиардами сообщений в день от 450 миллионов активных пользователей, имея в штате всего 32 инженера.

Хотя взрывной рост продукта — это приятная проблема, для её решения Яну Куму и команде разработчиков WhatsApp пришлось применить самые передовые технологии проектирования.
Читать дальше →
Total votes 60: ↑48 and ↓12+57
Comments76

7 петабайт логов в Elastic

Level of difficultyMedium
Reading time16 min
Views14K

Всем привет, меня зовут Роман. В ИТ я больше 15 лет — начинал как системный администратор, сейчас SRE-инженер. Расскажу, как мы дошли до семи петабайт логов в Elastic и как он устроен.

Поделюсь некоторыми архитектурными принципами для нашего большого хранилища, когда мы его создавали. Какие принципы и как мы ими руководствовались. Расскажу, почему нас перестали устраивать стандартные компоненты.

Читать далее
Total votes 31: ↑31 and ↓0+31
Comments39

Разбираемся в «базовых» алгоритмах для проекта

Level of difficultyEasy
Reading time8 min
Views20K

Меня зовут Александр Певненко, я Java developer в СберТехе. Вместе с командой развиваю Platform V DataSpace — BaaS-продукт, обеспечивающий базовые сервисы для работы с данными.

В этой статье я собрал примерный список алгоритмов, которые использую в работе с высоконагруженным проектом с большой кодовой базой. Материал будет интересен всем, кто на практике решает задачи оптимизации и вообще задумывается, обязательно ли разработчику глубоко погружаться в математику.

Если скорость и производительность критичны для системы, то оптимизация кода перестает быть пустой тратой времени. А использование сторонних библиотек без понимания их устройства становится риском, так как может обернуться падением производительности.

Поэтому здесь я приведу несколько «базовых» алгоритмов, знание которых помогает мне работать с прицелом на эффективность кода, и дополню примерами на Python и Java.

Читать далее
Total votes 28: ↑14 and ↓14+4
Comments17

Российский софт в идеальном шторме

Reading time6 min
Views13K

Мы полтора года существуем в условиях санкций и активного импортозамещения. Наверное, нет ни одной организации в России, которой не пришлось бы подыскивать как минимум одно программное решение в качестве замены «ушельцам».

Принято считать, что российский софтверный мир в целом с задачей импортозамещения справляется. Давайте посмотрим, как именно, на примере самых очевидных ниш.

Читать далее
Total votes 50: ↑40 and ↓10+39
Comments64

Что происходит, когда запускаешь «Hello World» в Linux

Level of difficultyMedium
Reading time15 min
Views27K

Сегодня я задумалась о том, что происходит, когда запускаешь в Linux простую программу «Hello World» на Python.

print("hello world")

Вот как это выглядит в командной строке:

$ python3 hello.py
hello world

Но внутри происходит гораздо больше. Я объясню, что там творится, и, что гораздо важнее, расскажу об инструментах, при помощи которых вы сами сможете исследовать происходящее. Мы воспользуемся readelf, strace, ldd, debugfs, /proc, ltrace, dd и stat. Я не буду рассматривать относящиеся к Python части, только объясню, что происходит при выполнении динамически компонуемых исполняемых файлов.
Читать дальше →
Total votes 98: ↑98 and ↓0+98
Comments10

Менеджеры паролей. Какие бывают и правда ли безопасны?

Reading time18 min
Views22K

В 1997 году американский криптограф и специалист по компьютерной безопасности Брюс Шнайер написал первый в мире менеджер паролей — Password Safe. Это была простая и бесплатная утилита для Windows 95 с примитивным пользовательским интерфейсом и базой данных в виде зашифрованного файла, внутри которого хранился список логинов и паролей.

Однако последние 20 с лишним лет менеджеры эволюционировали. Сегодня это полноценные кроссплатформенные приложения с продвинутым интерфейсом и множеством полезных (и не очень) фич. В этой статье мы рассмотрим, какие менеджеры паролей бывают и в каких ситуациях они будут полезны.

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments33

Администрирование аттестованных объектов информатизации — автоматизированных рабочих мест

Level of difficultyEasy
Reading time6 min
Views3.4K

Привет! Эта статья для тех, кто начинает свой карьерный путь в сфере информационной безопасности. Рассказываем о том, как администрировать аттестованный АРМ (автоматизированное рабочее место) и наладить безопасность на объекте.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments2

Реестр российского ПО: базовая информация и требования для попадания

Level of difficultyEasy
Reading time8 min
Views8.6K

Реестр российского программного обеспечения, появившийся более 5 лет назад, в 2022 году приобрел небывалую популярность: за год на включение в него было подано около 20 тыс. заявлений, что превышает суммарное число заявок за предыдущие 4 года, однако в настоящее время в него включено чуть более 17 тыс. программ, а значит статистика успешности подачи заявлений проста: в реестр проходит около 40% заявителей.

В этой статье я попробую объяснить простыми словами (перевод с юридического на русский), как попасть в реестре российского ПО, а самое главное: зачем?

В свою очередь в следующих статьях я постараюсь детально разобрать все этапы подачи заявления для оказания государственной услуги по включению в реестр российского ПО. Напомню: всего их 13.

Прим.: в статье не будут использованы четкие формулировки из документов Правительства и Минцифры, а будет представлен авторский пересказ базовой информации, которую необходимо знать перед планированием включения в реестр. Подробный регламент подачи заявки доступен здесь.

Читать далее
Total votes 8: ↑8 and ↓0+8
Comments14

Представляем nxs-data-anonymizer — удобный инструмент для анонимизации баз данных

Level of difficultyEasy
Reading time8 min
Views3.2K

Привет, Хабр! 

Впервые с вопросом анонимизации данных мы широко столкнулись при работе с динамическими окружениями.

Не секрет, что разработка даже небольшого проекта тесно связана с инфраструктурой, поскольку любая программа требует наличия определённого окружения. Часто таких окружений требуется несколько — одно под прод, а остальные — под разные нужды, например, тестирование. Иногда эти среды даже могут быть динамическими — когда вместе с новым бранчем создаётся окружение, в котором запускается разрабатываемая версия приложения и всё необходимое для неё, а после того как бранч вливается в main, эта среда и все её данные удаляется. 

И вот как раз о данных (а точнее о базах данных) в таких средах и хотелось бы поговорить. А именно — где и как их взять, как сделать их максимально приближенными к боевым и как защититься от их утечки. Для решения этих задач мы в Nixys используем собственный инструмент — nxs-data-anonymizer. Хотим поделиться им с вами.

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments2

Неочевидные проблемы с UUID ключами в PostgreSQL

Level of difficultyMedium
Reading time7 min
Views23K

Существует множество причин использования универсального уникального идентификатора (UUID) в качестве первичного ключа таблиц баз данных. Например:

Однако, при всех плюсах, использование UUID имеет недостатки. Наиболее существенной проблемой является потеря связи между логическим и физическим порядками записей.

Читать далее
Total votes 23: ↑22 and ↓1+24
Comments68

Такие разные CTO – как выбрать свой типаж

Level of difficultyEasy
Reading time7 min
Views3.3K

Роль CTO комплексна и многогранна. Здесь и менеджерские функции, и технологическая экспертиза, и стратегия. Функция CTO индивидуальна, едва ли не в каждой компании. Почему? Факторов много. Сфера бизнеса, технологичность компании, ее размер, даже этап развития.

В статье разберем основные типы CTO: какие они бывают, от чего это зависит, какие есть особенности у каждого. И наведем порядок в категоризации CTO.

Читать далее
Total votes 18: ↑10 and ↓8+7
Comments5

Приложение Getcontact светит вашими персональными данными, даже если вы им никогда не пользовались

Level of difficultyEasy
Reading time5 min
Views140K

Getcontact — мобильное приложение, позиционирующее себя как менеджер звонков и блокировщик спама. Появилось в конце 2017-го и стремительно взлетело на первые места магазинов приложений. Создатели сервиса оценивают свою аудиторию в 400+ миллионов пользователей.

Приложение декларирует, казалось бы, благие намерения: предотвращение нежелательных звонков от спамеров и телефонных мошенников — услуга в современном мире необходимая и востребованная. Однако свою популярность Getcontact приобрёл совсем по другой причине…

Читать далее
Total votes 142: ↑137 and ↓5+162
Comments277

Что такого в IT, что с ним все носятся. И когда всё это закончится

Reading time21 min
Views48K

Изначально хотел назвать статью «Почему у айтишников большие зарплаты и когда это закончится». Статья создана по мотивам внутренних митапов и докладов.

Я работаю архитектором решений, пишу книги, читаю курсы. Часто студенты, коллеги, знакомые задают вопрос о том, куда будет развиваться IT, не закончится ли оно завтра. Есть модные темы, которые не успев начаться сразу заканчиваются. IT у нас работает с прошлого столетия. Видимо, есть какой-то источник, который подпитывает интерес, может ли он исчерпаться и когда? Попробуем найти топливо IT, промоделировать развитие индустрии и предсказать признаки, по которым можно будет определить, что отрасль движется к стабилизации или деградации. 

Иными словами, попробуем заглянуть в будущее. Однако для этого надо слегка откатиться назад, чтобы посмотреть, как IT-отрасль развивалась. Тогда будет проще оценить, что нас ждёт впереди.

Читать далее
Total votes 63: ↑41 and ↓22+27
Comments229

Хабраюзер, помоги выйти из карьерного тупика

Level of difficultyEasy
Reading time7 min
Views39K

Около месяца назад мы начали собирать анонимные истории карьерных провалов от людей, готовых поделиться своим опытом. Мы хотели поддержать авторов, помочь им переосмыслить свой опыт и найти новые пути в профессиональном развитии.

За месяц мы получили около 50 разных историй: от потери работы и неудачных проектов до трудностей руководителей и корпоративного абьюза. Единственное, что объединяло истории всех авторов, — это разочарование от того, что всё пошло не так, как задумывалось в карьере. 

Собранные истории мы будем публиковать здесь без имен. Надеемся, что ребята, которые проходили через подобные трудности, увидят в этих историях себя, поделятся крутыми и адекватными рекомендациями, и покажут, что неудачи — это нормально, и что карьера — не столько история успеха, сколько история провалов.

Читать далее
Total votes 29: ↑24 and ↓5+41
Comments169

Performance review, ачивки и погоня за повышением грейда — что может причинить боль сотруднику IT-компании?

Level of difficultyEasy
Reading time10 min
Views8.5K

Можно ли в потоке рабочей рутины понять, что ты на самом деле хочешь от своей карьеры? Твоё развитие напрямую зависит от того, что хочет бизнес. Например, если он не заинтересован в автоматизации процессов тестирования, то вряд ли в команде будет появляться автоматизированное тестирование, и наоборот.

Вы сталкивались со «стадным чувством», когда из компании уходят коллеги, с которыми вы начинали свой путь в проекте, и вы невольно тоже начинаете смотреть вакансии, ходить по собеседованиям, присматривая новое рабочее место? Но с чем связан этот поиск? Это действительно ваше желание поменять проект или «все пошли, и я пошёл»? 

Читать далее
Total votes 19: ↑16 and ↓3+22
Comments9

Чем заняться с детьми на праздниках, если ты айтишник

Reading time5 min
Views6.9K

Чем заняться с детьми на праздниках, если ты айтишник

Привет, Хабр! Меня зовут Андрей, и я сотрудник "Криптонита"! Близится новый год, и подготовка к нему в разгаре. Один из насущных вопросов: как провести январские праздники вместе с детьми так, чтобы не сойти с ума всем было интересно? Сажать ребёнка перед экраном на все выходные — явно не лучший вариант. Альтернативы для детей разных возрастов я и хочу рассказать в этой статье. Некоторые из них разберу на примере своей семьи, поэтому сначала поясню особенности нашего быта.

Читать далее
Total votes 16: ↑13 and ↓3+14
Comments7

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Works in
Date of birth
Registered
Activity