Всем привет! Меня зовут Константин Некрасов, я работаю дата-сайентистом в Газпромбанке. Хочу рассказать про инструмент, который серьезно упростил мою повседневную работу с данными, и поделиться им.

Если вы когда-нибудь занимались машинным обучением, то знаете — перед тем как строить модель, нужно как следует изучить свои данные. Этот этап называется EDA (Exploratory Data Analysis), или разведочный анализ данных (РАД). Он критически важен — именно здесь мы находим скрытые закономерности, выдвигаем первые гипотезы и понимаем, как лучше обработать данные для будущей модели.

Но EDA отнимает у дата-сайентистов кучу времени, которое можно потратить на что-то другое и не менее важное: придумать новые признаки, поэкспериментировать с разными алгоритмами или настроить гиперпараметры для более высокой точности модели.

Чтобы облегчить задачу, я разработал класс EDAProcessor, который автоматизирует ключевые этапы EDA: от базовой статистики и визуализации распределений до углубленного анализа корреляций, выбросов и временных зависимостей. Результаты анализа сохраняются в виде наглядных графиков и подробной excel-таблицы, где на разных листах представлены все важные статистические показатели и закономерности в данных.

Сразу оговорюсь — я не изобретаю здесь новых статистических методов, не претендую на научную новизну в области математической статистики, а мое решение не универсально. Каждый набор данных уникален, и полностью автоматизировать его анализ невозможно — всегда нужен опытный взгляд аналитика. Но базовые, наиболее часто используемые методы EDA этот инструмент берет на себя, ускоряя начальный этап работы с данными. Я попытался собрать в скрипт наиболее общие концепции EDA, которые используются в подавляющем большинстве случаев на первоначальной стадии разработки ML-модели.

Сам скрипт вот тут, а под катом я расскажу, как он работает и что делает.

Сериал «Игра в кальмара» (Squid Game) — как гроб с пышным розовым бантом. На первый взгляд — китчевый и пластмассовый, что-то вроде возведенного в абсолют азиатского ток-шоу, в котором самый страшный моральный выбор — глотать или нет сушеную цикаду. Просто добавьте кровищи в каноне «Королевская битва», придумайте шаблонных героев и мемный стиль — и шедевр готов. Да, а сами игры пусть начинаются бодрой музыкой Гайдна — концертом для трубы с оркестром, знакомым по молодежному телеквизу Janghak. 

Но стоит присмотреться получше к черному ящику, как понимаешь: перед тобой упаковка не для подарка, а для мертвеца. И что «Игра в кальмара» — это не жестокость ради жестокости, а довольно чуткое исследование с моделированием поведения человека в экстремальных ситуациях, которое прочитывается сразу на нескольких уровнях.

Уровень 1 — национальные травмы. Между строк спрятаны как минимум три неприятных события корейской истории (причем нынешнего кризиса с арестом президента среди них нет). 

Уровень 2 — социально-экономические реалии нынешней Кореи, где в бездну нищеты, игромании и преступности может провалиться самый обычный гражданин.

Уровень 3 — манипуляции доведенным до отчаяния человеческим сознанием через провоцирование «аутоиммунных» реакций — когда собственная психика человека, его травмы, паттерны и баги мышления оборачиваются против него самого. 

Вооружившись материалом первого и второго сезонов, разберем феномен «Игры кальмара» с точки зрения поведенческой психологии с вкраплениями теории игр и истории — мы пока не нашли подобного материала в интернете. Устраивайтесь поудобнее, но не забывайте про спойлеры: если вы еще не добрались до сериала, то, возможно, лучше добавить текст в закладки и повременить.

В 1920-х Ford Motor Company стремилась избавиться от зависимости от британских поставщиков каучука, который был нужен для производства. Генри Форд понимал, что рост цен угрожает его бизнесу, и решил обойти британскую монополию.

Решение было надёжным, как швейцарские часы: построить собственный луна-парк с каучуком и без блэкджека. 

Он выбрал Бразилию. Переговоры с местными властями прошли успешно, и Форд получил участок земли. Вдобавок его компания была освобождена от налогов на экспорт, а взамен обязалась отдавать 9 % прибыли в бюджет страны. Условия полностью его устраивали, и строительство города началось.

Город, что характерно, Форд решил назвать в свою честь — Фордландией.

Как мы привыкли думать о внедрении новых решений в сложную систему? В идеале — сначала проектируем, моделируем, тестируем на ограниченном окружении, отслеживаем реакцию, смотрим логи, оцениваем риск. И только потом, обретя уверенность, выходим в продакшн.  Если что-то пошло не так — откатываем изменения. Но что будет, если таких механизмов нет и каждая фича сама себя воспроизводит, меняет окружение и влияет на тысячи взаимосвязей?

Речь идет о природных экосистемах. Любой инжект нового вида животного или растения — это потенциальный запуск каскада изменений. Хрестоматийный пример — Австралия. На этот континент было завезено множество «чужеродных» ему видов: кролики, лисы, кошки, верблюды, жабы. Никто не проводил полноценного «тестирования» и не задумывался о том, как новая «фича» впишется в природный «код».

В природе нет Canary deployment. Когда вид попадает в экосистему, он размножается, мигрирует, взаимодействует со множеством факторов, и вы не можете просто взять и «открутить» все назад. Как итог — Австралия столкнулась с чередой экологических проблем, которые обходятся в миллиарды долларов ежегодно, угрожают биоразнообразию и напоминают о том, что внедряя что-то без тестирования, можно получить хаос континентальных масштабов. Чтобы понять, почему так происходит, обратимся к математическим моделям популяционной динамики.

Глия относится к одним из самых интенсивно исследуемых в последнее время клеток нервной системы. В то же время это пока и наименее изученная область нейронауки. Лишь недавно ученые установили связь между развитием болезни Паркинсона и глией кишечника. Еще одно сравнительно свежее исследование показало, что другие глиальные клетки помогают мышам забывать информацию. 

Почему тема глиальных клеток очень популярна именно сейчас, какие виды глии существуют и за что они отвечают, рассказывает научный журналист и главный редактор портала «Нейроновости», член научного комитета премии «Вызов» Алексей Паевский. Специально для нас он кратко изложил историю изучения глии и поделился работами, которые меняют представления о глиальных клетках в нейронауке. Предупреждаем: будет сложно (но интересно).

Всем привет, меня зовут Ольга Вишницкая, работаю главным аналитиком данных в одном из департаментов Газпромбанка. Мы постоянно следим за развитием инструментов и технологий в области анализа данных, ищем и тестируем новые решения. И в какой-то момент один из наших стримов, который отвечает за качество данных, обратил внимание на Great Expectations (GX). Это отличная библиотека для анализа качества данных: от базовой валидации до сложного профилирования и автоматической генерации документации. 

Но при внедрении мы столкнулись с проблемой: GX официально не поддерживает Impala — наш основной SQL-движок для обработки данных в Hadoop. Сначала мы решили пойти обходным путем через pandas DataFrame, благо GX прекрасно с ним работает. На тестовых данных все выглядело многообещающе, однако DataFrame может обрабатывает только около 15 000 строк за раз. Данные нужно дробить на части и по результатам теста на действительно больших объемов, обработка растянулась больше чем на сутки, а часть возможностей библиотеки мы вообще потеряли.

Стало понятно — нужно возвращаться к идее использования Impala. Тем более что он обрабатывает те же объемы данных за считанные минуты. Оставалось только найти способ подружить его с GX. В документации GX ни слова о том, как запустить проверки через неподдерживаемый движок. Пришлось экспериментировать самим, и после серии проб и ошибок нашли решение. Решила им поделиться.

Когда бы я ни просыпался, я продолжаю слышать его, и он невероятно громкий. Ты думаешь, что сходишь с ума, потому что этот звук больше никто не слышит. Я жил у друзей какое-то время, чтобы ничего не слышать, а потом вообще переехал. 

Нет, это не цитата из Стивена Кинга, а рассказ вполне реального человека по имени Саймон Пэйн. Какой звук он слышал? Никто не знает. Но что-то похожее слышат разные люди в разных местах планеты. Одни говорят про глубокий пульсирующий шум, напоминающий работу двигателя большого грузовика на холостом ходу, другие описывают его как монотонную вибрацию. В итоге все это переродилось в полуконспирологическую теорию, известную под названием «Всемирный гул» (Worldwide Hum). Несмотря на изучение этого феномена, версии его происхождения кардинально разнятся. А некоторые случаи до сих пор остаются без внятного ответа. 

Собрали в одну статью наиболее известные случаи «всемирного гудения» и попробовали разобраться, какие теории существуют на этот счет и есть ли какое-то вменяемое объяснение этому феномену кроме всеми любимой массовой истерии. 

В конце 2024 года команда Газпромбанк.Тех отправилась сразу на две знаковые для российского IT-сообщества конференции. TeamLead Conf уже шестой год собирает тимлидов и руководителей, чтобы обсудить все: от мотивации команд до внедрения новых технологий. А HighLoad++ стала местом притяжения для всех, кто создает сложные системы, работающие под нагрузкой в тысячи и миллионы пользователей.

Сергей Прокудин-Горский считал фотографию не творчеством, а «искусством протокольного характера». Соответственно, себя — человеком науки, а не художником. Возможно, именно благодаря такому подходу, он заморочился и создал коллекцию достопримечательностей дореволюционной России в три с половиной тысячи (преимущественно цветных) снимков.

Собственно, для этого пришлось научиться протоколировать в цвете. Это было не очень просто, потому что пришлось немного поприкладывать науку.

Сам трёхцветный RGB-процесс уже был, а вот с реализацией было не очень хорошо.

Мы видим, как ИИ анализирует рентгеновские снимки, рисует изображения и пишет статьи. Заводы тоже не обделили вниманием, но давайте помечтаем и попробуем представить, что будет дальше: какие ещё задачи будут автоматизированы, а какие аспекты работы останутся за людьми.

Всем привет! Меня зовут Житарёв Антон, и я работаю в компании, которая занимается автоматизацией тяжёлой промышленности. Мы внедряем машинное зрение, анализируем полученные данные и даём советы по устранению проблемных участков на линии. Я хотел бы, чтобы мы с вами подумали, как далеко может зайти цифровизация заводов и будет ли место нам, белковым, в этой области через 10 лет?

Sort sol — «чёрное солнце». За зловещим названием скрывается, в общем-то, обычное для датской Ютландии явление. По весне и осени праздные туристы, груженые оптикой орнитологи и вертлявые фотографы наведываются в эти хмурые края, чтобы понаблюдать за метаморфирующими облаками скворичных стай. Птицы собираются на ночевку огромными, до миллиона особей, группами и порой застилают собой все небо, отчего солнце словно и правда гаснет раньше, чем обычно.

Миру подобное явление скоординированного полета птиц известно как мурмурация (от лат. murmuratio — «бормотание»). Несмотря на кажущуюся сложность, в своей сути оно подчиняется определенным алгоритмам — как и другие модели роевого поведения. В этом тексте поговорим о том, как устроена мурмурация, практикуют ли роение homo sapiens, какие существуют хайв-технологии и как сделать, чтобы коллеги по стае тебя не съели. Но обо всем по порядку.

«АЛИЛУУЙЙЙЯ, — орет проповедник на манер рок-звезды. — АЛИЛУУУЙЙЙЯ! ВЫ ЧУВСТВУЕТЕ ОГОНЬ В СВОИХ ВЕНАХ? ГОСПОДЬ, ВЫЖГИ ЕЕ РАК! ИСЦЕЛИ ЕГО ТРОМБОЗ! ДЬЯВОЛ, УБИРАЙСЯ ПРОЧЬ!» 

Аудитория заходится экстатическими криками, снова позволяя Питеру Попоффу преисполниться мессианского самодовольства. Он еще не знает, что совсем скоро его «дар» ждет унизительное разоблачение, а его самого — банкротство.

Телепроповедник Питер Попофф — всего лишь одна из многих «жертв» Джеймса Рэнди, великого комбинатора от мира научного скептицизма. Некогда успешный канадо-американский иллюзионист, в 1970-е Рэнди оставил карьеру, чтобы выводить на чистую воду всевозможных шарлатанов. Причем делать это не абы как — а со вкусом.

Например, с помощью клея лишить способностей сгибателя ложек силой разума Ури Геллера (привет, «Матрица»!). Или — внедрить в научную лабораторию двух фокусников, убедив ученых, что те — настоящие экстрасенсы. Или — слетать в Россию, чтобы в компании прекрасных дам Инги и Светланы погадать на Теда Банди. Или — пообещать $1 000 000 любому, кто докажет существование чудес.  Джеймс Рэнди не просто боролся с псевдонаукой и лжемедициной, а, как и положено фокуснику в завязке, не забывал, что он — шоумен.

В пятницу предлагаем вам отдохнуть от серьезных тем и почитать о самых нашумевших «скептических аферах» этого старика с клюкой, похожего не то на Мефистофеля, не то на гнома. А также о том, как Рэнди и его «паранормальные» оппоненты повлияли на современные науку и культуру.