Привет, постоянные и не очень читатели!

Были времена, когда админы дурели от этой прикормки 10 Гбит/c канала, а теперь такая пропускная способность — норма для роутера в прихожей (не у всех, но всё же).

В ЦОДах же и 100 Гбит/c уже давно никого не удивят — у гиперскейлеров (Amazon, Microsoft, Google, Alibaba, экстремистская и запрещённая в России Meta) это дефолт, в энтерпрайзе и бизнесе разных размеров — активно внедряют.

Компании уровня cloud-scale (те, что строят сервисы облачного уровня: Netflix, Spotify, Salesforce, Zoom) и гиперскейлеры уже переходят на 200 Гбит/c и тестируют 400/800 Гбит/c, ну а поскольку 200 мало чем отличается по стоимости инфраструктуры от 400, то некоторые сразу перескакивают, ведь легаси кабельное хозяйство (LC, MPO-12) всё равно не потянет эти апгрейды, надо всё перелопачивать на MPO-16, MPO-32 или новые форматы (QSFP-DD, OSFP).

В общем, накопилось у меня пару идей, как собрать всё это в едином материале: обсудить, где шайба будет через время; подумать, а надо ли оно (апгрейд) вообще — и в довесок затронуть денежные вопросы: всякие CAPEX, TCO/ROI, ₽/(Гбит/c), ($/Gbps) и прочее экономическое непотребство.

Присаживаемся, ложимся или в какой там позе вы читаете — и начинаем.

Привет, Хабр!
Меня зовут Марина, я Head of Analytics and ML в SENSE, занимаюсь анализом данных уже более 5 лет. Сначала препарировала спектры в физике высоких энергий и сотрудничала с ЦЕРН-ом, а теперь строю рекомендательные системы и аналитику.

В статье расскажу про опыт работы с пакетом FEDOT для прогнозирования временных рядов. Статья пригодится тем, кто хочет вкатиться в тему временных рядов и потыкать свои первые модельки на примере отечественных библиотек. Объясняю на примере задачи прогнозирования выходов кандидатов.

Дисклеймер: во временных рядах я только начинаю свой путь, так что делюсь всеми своими фейлами и буду рада обратной связи в комментах.

Представьте: вы ищете, куда вложить деньги на неделю, и вам сервис по выбору облигаций подсказывает — «бери вот эту бумагу от эмитента с наивысшим рейтингом надежности, получишь 1% прибыли всего за пять дней!». Условия хорошие, вы закупаетесь на 21 млн — а через неделю получаете обратно всего 7 млн руб. Весело? А герою этой истории и представлять не надо…

Что такое временной ряд, модель ARIMA и как к ней подбирать параметры.

Простым словами, временной ряд — это просто последовательность событий, которая как-то зависит от времени. Мы для начала будем считать, что ряд самый простецкий и нас просто есть скачущие туда-сюда точки, которые распределены по временной шкале.

Всем привет👋🏻

Сегодня я хотел бы рассказать про метод максимального правдоподобия и информацию Фишера и еще несколько смежных тем, которые активно используются в машинном обучении и анализе данных. Расскажу я об этом просто, понятно и без воды, но с практическими примерами, в том числе на Python.

В данной статье я постараюсь изложить информацию таким образом, чтобы даже относительно малоподготовленный читатель смог понять как все устроено и работает на практике, и так, как предпочел бы, чтобы тему объяснили мне, то есть предоставлю инструментарий, объясню как им пользоваться в разных ситуациях и покажу это на практике.

Присаживайтесь поудобнее, заварите кофейку и запаситесь печеньки, нам предстоит интересный путь🍪

Конспект-обзор на статьи по Recsys+Transformers

Миссия рекомендательных систем - угадывать потребности человека. Примитивные модели не способны уловить скрытые паттерны поведения пользователя. Однако эту задачу способно решить моделирование последовательности рекомендаций (Sequential Recommendation). Особенного успеха в последнее время в моделировании последовательностей добились Transformer-подобные архитектуры. Ниже представлен краткий обзор на важные в области статьи, частично покрывающие тематику Recsys+Transformers.

Привет, Хабр! Я — Игорь Старун, BigData Lead в MPSTATS. Я уже 3 года занимаюсь анализом данных на маркетплейсах, штудируя гигантские объёмы информации и превращая их из непотребного и нечитаемого вида в удобоваримый и анализируемый. Моя задача — собрать и подготовить данные так, чтобы помочь продавцам на маркетплейсах разобраться, что происходит с их товарами, конкурентами и продажами, чтобы они не утонули в хаосе карточек, цен и остатков. В этой статье я расскажу, как мы перерабатываем эти объемы грязных данных и структурируем для дальнейшего анализа. 

Данные о товарах – это основа всего. Каждую неделю мы обходим более 200 миллионов карточек с Wildberries и Ozon. Названия, описания, характеристики, фотографии — всё это мы аккуратно собираем и складываем в базы данных (для разных задач мы используем ClickHouse, Postgres, MySQL и MongoDB) и облачные хранилища. Зачем? Чтобы потом сделать с этим что-то умное и полезное.

Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Сотни человек из России вложили в эту «надежнейшую американскую инвесткомпанию» суммарно более $30'000'000 – возможно, среди них есть и ваши знакомые. Но со стороны ICN Holding выглядит скорее как пародия на «Волк с Уолл-стрит» от Реутов-ТВ. В этой статье я провожу детективно-финансовое расследование с целью понять – скам это или нет?

В мире множество подходов к мотивации сотрудников. Офисы с печеньками, бонусы за выполнение KPI, публичные порицания или тихие депремирования. Кто-то из руководителей налегает на пряник, кому-то милее кнут, кто-то за баланс.

Часто в командах вводится универсальная система мотивации, которая не учитывает индивидуальные особенности отдельной рабочей единицы. А зря.

Конечно, в первую очередь мы ходим на работу за деньгами. Но тот подход, где нам нужны от работы только материальные блага, очень и очень упрощён. Каждый идёт на работу за чем-то ещё своим. И если знать, что это, можно избежать кучи менеджерских ошибок, и вообще многие вещи встанут на свои места.
 
Разберём одну из популярных классификаций мотивации людей — по Герчикову.

Привет, Хабр!

Помните то блаженное время, когда для доступа к любому ресурсу хватало простого WireGuard до сервера в Германии? Я тоже помню. Но эта эпоха закончилась. Недавно я заметил, что мой верный VPN стал лагать, рвать соединение и вести себя так, будто его кто‑то целенаправленно «душит». Это был тот самый момент, когда я понял: игра изменилась. Системы глубокого анализа трафика (DPI) стали умнее, и мой трафик для них был как на ладони.

Это стало моим личным вызовом. Я отправился в путешествие по миру современных средств обхода блокировок, наступил на множество граблей (чего только стоит осознание, что «двойное шифрование» — это миф!), но в итоге нашел свое сокровище — рабочую и относительно устойчивую схему на базе VLESS+Reality и Multi‑hop.

Эта статья — не «серебряная пуля». Это честный, подробный и, надеюсь, полезный гайд по постройке сложной VPN‑цепочки. Мы разберем ее архитектуру, честно поговорим о рисках и соберем все по шагам.

Салют, Хабр! На связи снова я, Aragorn, со своим проектом по терроризированию Роскомпозора. В прошлый раз я рассказывал о NoDPI - утилите для "раздеградирования" YouTube и установил личный рекорд - 400 звезд на GitHub и блокировка статьи РКН через три дня после публикации.

Многие мои знакомые и люди в комментариях просили сделать версию под Android и Android TV. Я не очень дружу с Джавой и с Джавой под андроид в особенности, и поэтому такая перспектива меня не очень прельщала, но у меня был опыт написания android-приложений на python и kivy, который я и решил применить. После нескольких дней (и ночей) напряженного труда и танцев с бубном, мне наконец удалось создать NoDPI for Android, который практически не имеет аналогов. Именно о нем я и хочу сегодня рассказать. Надеюсь, статья будет вам полезна и интересна. Поехали!

В статье представлен сравнительный анализ девяти схем раскладки труб водяного теплого пола. Исследование проведено методом численного моделирования для типового помещения с акцентом на зону у наружной стены, однако важно понимать, что в реальных условиях эксплуатации не существует универсального «идеального» варианта.

Тем не менее, данное моделирование позволяет сравнить эффективность разных схем и определить, в каких случаях каждая из них будет предпочтительнее. 

Автор не несет ответственности, если данная статья сделает из вашего умного термостата полоумный.

Для пользователей умных домов, которые строят свои системы на протоколе Zigbee, название Tuya знакомо, как никогда. Причем в последнее время название Tuya не всегда ассоциируют именно с компанией Tuya. Очень много китайских компаний выпускают свои изделия, в сердце которых лежит платформа Tuya. Вот весь этот "зоопарк" и принято называть Tuya.

Абсолютно легальные инструменты за смешные деньги могут позволить вам: звонить всем активным клиентам ваших конкурентов, построить десяток эффективных мошеннических схем, или даже позвонить предполагаемому любовнику вашей девушки/жены, а заодно проверить где она была вчера вечером! Обнаружил я это в ходе одного из расследований утечек заявок клиентов. И я твердо уверен, что такого быть не должно. Инструмент использующийся в статье эффективнее всех утечек вместе взятых, нашими данными не должны так легко легально торговать практически в режиме онлайн. Можно найти любого и позвонить любому из нас. Почему и как это работает, какие риски это несет и как этому противодействовать?

Как программисты становятся террористами. Взгляд изнутри на историю Bitzlato.

Работа компании Bitzlato была остановлена в ночь с 17 на 18 января 2023 года. Проснувшись следующим утром, каждый программист в компании обнаружил, что прямо у себя в постели превратился в международного террориста.

Привет, Хабр! Меня зовут Евгений Сергеев, я работаю инженером-программистом в АСКОН, а в свободное время увлекаюсь астрофотографией. Именно ей будет посвящена статья. Я не буду затрагивать слишком много технических деталей, поскольку невозможно все охватить в рамках одного материала. Тем более, что на Хабре есть и другие статьи об астрофотографии. Я расскажу о своем опыте: как познакомился с этим увлекательным хобби и как можно начать самому без траты целого состояния.

Недавно я описал простой процесс загрузки последнего Microsoft Office с сайта Microsoft и его активации для Windows 10/11. До этого рассказывал более технические детали, оказавшимися читателям интересными, но сложноватыми. Один из вопросов, регулярно задаваемых в комментариях, был про Microsoft Office для Mac. Сейчас я расскажу, как иметь последнюю версию и не думать про активацию, поговорим о том, что делать тем, у кого давно установлена версия 2016, 2019 или 2021, следует ли думать про 2024 и как обновляться. Также в конце статьи расскажу о способе решения проблем с Microsoft Office, позволяющем чинить неработающую инсталляцию. Данная статья не техническая, в ней много картинок и рассуждений о том, когда, что и как устанавливать. Не пропагандирую ни решения Microsoft Office, ни его пиратства, просто рассказываю, как установить его при желании, без всяких торрентов.

Итак, для начала о версиях Microsoft Office для Mac. Исторически версии для Mac выходили на год позднее версий для Windows и несли в своем названии год выпуска, отличный от того, что у Windows версии. Например, Office 2004 для Mac (версия 11.0) вышел в мае 2004, на год позднее чем Office 2003 для Windows (тоже версия 11.0), вышедший в октябре 2003. Office 2008 для Mac (версия 12.0) вышла через год после Office 2007; Office 2011 для Mac (версия 14.0) через полгода после Office 2010. Далее для Windows Microsoft переключился на Click2Run технологию, и версии для Mac стали выходить практически одновременно и нести то же имя, что версии для Windows. Начиная с Office 2016 внутренняя версия продукта замерла на 16.x и на Windows и на Mac, продукт обновлялся, получал новые возможности и исправления, и в зависимости от купленной вами лицензии вы получали тот или иной набор возможностей.