Pull to refresh
0
0
Иван Щербаков @uuwaan

Data-инженер

Send message

Дышать, а не задыхаться

Level of difficultyEasy
Reading time9 min
Views21K

Привет, Хабр! Меня зовут Влада и я обожаю работать с людьми. Попав волею судеб IT сферу, я поняла, что хоть в IT очень много зависит от командного взаимодействия, большая часть тусовки нацеливается на хард, а не софт. Поэтому статьи тут я хочу посвящать софтам.

Конкретно эта тема вдохновлена и моим опытом, и тем, что из‑за большой нагрузки и событий последних лет, мне часто приходилось искать методы вытаскивания сотрудников (за любые места и в любых позах) из депрессивных состояний.

В ход обычно шло всё, от снижения количества тасков на конкретного сотрудника или изменения уровня сложности до тимбилдингов и особого режима работы. Что‑то помогало лучше, что‑то хуже, скорее, конкретный инструмент нужно было искать индивидуально.

Этот метод — свежая находка последних 6 месяцев, и, как мне кажется, он — квинтэссенция смысла — почему вообще происходит выгорание. Опять же, наверное, общий подход знают всё, я просто его преподнесу в более структурной форме.

То, что напишу ниже, ненаучно (хотя и достаточно сильно перекликается с теорией Павлова, да‑да, тем самым, который про собак и условные рефлексы писал), но обкатываю на окружающих людях и себе — очень помогает исправить ситуацию. Теория не моя, но автор дал добро на то, чтобы пустить её в мир. Для тех, кто любит кратко — переходите к блоку «Итог», а всех остальных приглашаю погрузиться в мою историю и подробное объяснение мат.части.

Читать далее
Total votes 47: ↑38 and ↓9+38
Comments42

Введение в MLflow

Level of difficultyMedium
Reading time19 min
Views9.4K

MLflow - это инструмент для управления жизненным циклом машинного обучения: отслеживание экспериментов, управление и деплой моделей и проектов. В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры. Также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.

Читать далее
Total votes 12: ↑12 and ↓0+18
Comments4

Книга «Unity в действии. Мультиплатформенная разработка на C#. 3-е межд. издание»

Reading time11 min
Views8.8K
image Привет, Хаброжители!

Создание игр — увлекательное дело, а Unity делает его простым и доступным! Unity возьмет на себя всю тяжелую работу, и вы можете сосредоточиться на игре, графике и взаимодействии с пользователем. Поддержка C# и огромная экосистема готовых компонентов позволят даже начинающим разработчикам быстро перейти от идеи к реализации. Осваивать и получать практический опыт работы с инструментами Unity и высокотехнологичным механизмом визуализации вы будете на примерах игр в двумерной, трехмерной и виртуальной/дополненной реальности.

Эту книгу можно смело назвать введением в Unity для профессиональных программистов. Джозеф Хокинг дает людям, имеющим опыт разработки, всю необходимую информацию, которая поможет быстро освоить новый инструмент и приступить к реальной работе. А учиться лучше всего на конкретных проектах и практических заданиях.

Третье издание знаменитого бестселлера было полностью переработано. И самое главное — теперь в книге пойдет речь о дополненной и виртуальной реальности.

Осваивайте Unity и быстрее приступайте к созданию собственных игр!
Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments4

ChatGPT теперь может управлять компьютерами

Level of difficultyEasy
Reading time3 min
Views5.5K

Сегодня я подготовил для вас ещё одно интересное обновление, а именно интеграцию вашего компьютера с ChatGPT. Теперь стало возможно автоматизировать работу и улучить производительность как системных администраторов, так и помочь продвинутым пользователям в управлении своим устройством.

Читать далее
Total votes 6: ↑3 and ↓3+1
Comments10

О вреде GOTO-фобии (с примерами на C)

Reading time17 min
Views32K

Готофобия – это боязнь использовать инструкции goto. Обычно возникает из-за непонимания и незнания контекста этой проблемы, а также из-за историй о незапамятных временах в истории программировании. Разработчики, страдающие готофобией, готовы жертвовать удобочитаемостью своего кода, только бы не прибегать к goto.

Читать далее
Total votes 95: ↑88 and ↓7+115
Comments345

К вопросу о математических способностях студентов или как учить переполненный мозг

Reading time23 min
Views234K

Я люблю давать простые задачки студентам на лекции. Во-первых, понятно, скольких мы потеряли, во-вторых, это переключение из режима потребления информации в режим выдачи результатов, в третьих — возможность проявить себя для шустрых. Сплошные плюсы!

Одна из простых задач звучит так: «При переводе картинки из цветового пространства RGB в YUV мы выполняем прореживание, то есть выкидываем каждый четный столбец и каждую четную строку в компонентах U и V (все компоненты пикселя по 1 байту). Вопрос: во сколько раз меньше данных у нас стало?» Эта операция называется chroma subsampling и широко используется при сжатии видео, например.

Забавно, что когда-то давно, когда винчестеры были меньше, а дискеты больше, студенты реально отвечали на этот вопрос быстро. А в последние годы регулярно народ в ступор впадает. Приходится разбирать по частям: «Если выкинуть каждую четную строку и каждый четный столбец, во сколько раз меньше данных будет у компоненты?» Почти хором: «В четыре». Начинаю подкалывать: «Отлично! У нас было 3 яблока, первое осталось как есть, а от второго и третьего осталось по четвертинке. Во сколько раз меньше яблок у нас стало?» Народ ржет, но, наконец-то, дает правильный ответ (заметим, не все). 

Это было бы смешно, если бы от способности быстро в уме прикинуть результат не зависела способность быстрее создавать сложные алгоритмы. 

И хорошо видно, как эта способность в широких массах студентов заметно плавно падает. Причем не только в нашей стране. Придуман даже специальный термин: «цифровое слабоумие» ("digital dementia") — снижение когнитивных способностей, достаточно серьезное, чтобы повлиять на повседневную деятельность человека. 

Кому интересно как теряют мозг студенты масштабы бедствия и что с этим делать — добро пожаловать под кат!

Читать далее
Total votes 324: ↑308 and ↓16+373
Comments795

Подключение голой Esp8266/01/32

Reading time1 min
Views5.5K

Как-то мне пришлось делать устройство на голой esp8266, и о сложностях (моей тупоголовости) я сейчас поведаю.

Если вы когда-нибудь делали устройство на голой esp, навряд ли я вам мир открою, статья рассчитана на начинающих, так что давайте преступим к вопросу безотлагательно.

Итак, речь пойдет не о самой микрухе esp, а о модуле с распаянными памятью, обвязкой и тд. Но даже если вы будете разводить плату на микрухе, информация вам пригодится.

Читать далее
Total votes 24: ↑6 and ↓18-11
Comments11

51 Атрибут Хорошего С-кода (Хартия Си программистов)

Level of difficultyEasy
Reading time11 min
Views27K

Это не академические атрибуты из учебников. Это скорее правила буравчика оформления сорцов из реального prod(а). Некоторые приемы совпали с MISRA, некоторые с CERT-C. А кое-что является результатом множества итераций инспекций программ и перестроек после реальных инцидентов. В общем тут представлен обогащенный концентрат полезных практик программирования на С(ях).

Читать далее
Total votes 50: ↑45 and ↓5+52
Comments171

OpenCV — быстрый старт: начало работы с изображениями

Reading time5 min
Views44K

Перевожу родной OpenCV-шный стартовый . И он хорош! (Сложно сказать, чем не понравились те, что уже есть.)
Изначально туториал в виде ноутбука, поэтому что-то я убрал. А что-то добавил. В общем, это помесь перевода с пересказом.

туториал

Айда разбираться
Total votes 5: ↑4 and ↓1+5
Comments6

Бесплатные инструменты на основе OpenAI Codex

Reading time1 min
Views7.3K

Думаю, многие знают изобретение Codex от OpenAI. Это мощная нейронная сеть, которая может делать любые операции с программным кодом. Она бесплатна, но доступна ограниченному кругу лиц.

Мне удалось получить доступ к сие чуду. Я, как любитель всего открытого, решил косвенно дать людям доступ к Codex, поэтому я разработал сервис - CodeTools. С помощью него можно перевести код с одного языка на другой, упростить код, задокументировать код, дополнить код и многое другое...

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments5

Приглашаем спикеров на PyCon Russia-2022

Reading time2 min
Views1.1K

Самая душевная конференция python-разработчиков состоится 30-31 июля в Москве. Прямо сейчас мы работаем над программой (как всегда хочется собрать все самое крутое и актуальное по темам Python, ML и Data Science). Вы можете выступить с докладом, предложить тему для мастер-класса или собрать участников для своего open-source проекта, чтобы сделать python-вселенную еще прекраснее. 

Если у вас есть подходящая тема, пожалуйста, напишите нам здесь или в телеграм Нате Инкиной – @natainkina. 

Читать далее
Total votes 4: ↑2 and ↓2+2
Comments0

Как мы классифицировали товары при разработке СDP-платформы

Reading time8 min
Views1.7K

Привет, хабр!

Меня зовут Марк Порошин вместе с моим коллегой Артемом Шнайдером в DV Group мы занимаемся Data Science. Сейчас мы активно развиваем собственную платформу клиентских данных (CDP) DV Platform. Коротко расскажу, зачем вообще она нужна. Платформа обрабатывает данные из маркетплейсов и позволяет создавать и передавать сегменты пользователей, которые с наибольшей вероятностью совершат покупки конкретной категории или товара. Это позволяет оптимизировать маркетинговые бюджеты и увеличивать онлайн-продажи брендов.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments0

Концепция умного указателя static_ptr<T> в C++

Reading time11 min
Views17K

В C++ есть несколько "умных указателей" - std::unique_ptr, std::shared_ptr, std::weak_ptr. Также есть более нестандартные умные указатели, например в boost: intrusive_ptr, local_shared_ptr.

В этой статье мы рассмотрим новый вид умного указателя, который можно назвать static_ptr. Больше всего он похож на std::unique_ptr без динамической аллокации памяти.

Читать далее
Total votes 27: ↑24 and ↓3+31
Comments67

Надгробья современного геймдева. Феномен самораздувающихся сроков

Reading time6 min
Views6.7K

Материал содержит применяемые в отрыве от современной политики именования и отсылки, а так же длинные слова, которые огорчают Винни-Пуха.

Cyberpunk 2077. Был перенесён больше, чем на полгода.
Atomic Heart. Как ждали бета-версию в конце 2019 года, так и ждём.
Escape from Tarkov. Бета-тестирование длится уже почти пять лет.
Vampire: The Masquerade – Bloodlines 2. Перенесён на бооооольше, чем два года, сильно больше...
Bayonetta 3. За прошедшее с момента первого анонса время уже можно было выпустить игру, спин-офф, тизер сиквела и начать снимать сериал для Netflix - но неееет, всё ещё ждём...
И прочие, и прочие, и прочие.

Ладно, "Побег из Таркова" и Atomic Heart: амбиции, нехватка опыта, технологическая болтанка. Допустим.
Но остальные игры - их как минимум продьюсировали видные деятели в этой сфере. Это не первое их родео в мир ААА-проектов. Что ж так не повезло то им?

А если сместить фокус с геймдева и окинуть взглядом IT в целом?
Куда ни глянь - "не попали в дедлайн", "кранч", "лучше MVP в проде, чем срыв сроков в ххх", etc, etc...

Вдобавок, две недавних публикации (о проектировании в IT в целом и о YOLO-разработке в геймдеве) напомнили мне в очередной раз о потенциальной причине этого феномена.
И имя ему - "феномен самораздувающихся сроков".

Что за феномен?
Total votes 15: ↑5 and ↓10-4
Comments35

Подведение итогов первого года от JPA Buddy

Reading time9 min
Views3.8K

2021-й год закончился, уже почти прошел первый месяц 2022-го. Прошлый год стал знаменательным для JPA Buddy: первый публичный релиз, встреча с первым пользователем и рост до одного из самых высокорейтинговых плагинов на IntelliJ IDEA Marketplace. А еще завтра у Баддика первая годовщина — ровно год назад вышел первый публичный релиз! В этой статье мы решили поделиться историей, которая стоит за JPA Buddy, достижениями 2021-го года, некоторыми интересными фактами, которые получили от нашего комьюнити, и планами на 2022-й.  

Читать далее
Total votes 15: ↑15 and ↓0+15
Comments15

TalkPython: лучшие пакеты Python по итогам 2021 года

Reading time14 min
Views23K

На КДПВ в гостях у TalkPython вы видите Гвидо ван Россума — создателя Python, Марка Шеннона, план ускорения Python в 5 раз за 4 года и, конечно, автора подкаста. А мы делимся подборкой пакетов Python, о которых шла речь в выпусках за уходящий год.

Читать далее
Total votes 19: ↑18 and ↓1+21
Comments8

Искусство возможного

Reading time3 min
Views8.4K

В руководители обычно переходят из специалистов – не важно, будь то программист, продавец, снабженец или кто-то ещё. И начинается ломка.

Когда человек работает специалистом, для него вполне нормально стремиться сделать всё хорошо. Решить все запланированные задачи, уложиться в сроки, достичь требуемых показателей, своевременно вести учёт и т.д. Если специалист что-то не успевает – он немного переживает, поднапрягается, возвращается в колею и снова доволен собой.

Став руководителем, человек стремится действовать точно так же – делать всё хорошо. И «делать всё», и «делать хорошо» (сюда включается и «делать вовремя»). Но это стремление разбивается о невиданные им доселе проблемы.

Читать далее
Total votes 32: ↑29 and ↓3+36
Comments13

Работаем с текстами на Python: кодировки, нормализация, чистка

Reading time9 min
Views92K

Об обработке текстов на естественном языке сейчас знают все. Все хоть раз пробовали задавать вопрос Сири или Алисе, пользовались Grammarly (это не реклама), пробовали генераторы стихов, текстов... или просто вводили запрос в Google. Да, вот так просто. На самом деле Google понимаетот него хотите, благодаря ш, что вы тукам, которые умеют обрабатывать и анализировать естественную речь в вашем запросе.

При анализе текста мы можем столкнуться с ситуациями, когда текст содержит специфические символы, которые необходимо проанализировать наравне с "простым текстом" или формулы, например. В таком случае обработка текста может усложниться.

Вы можете заметить, что если ввести в поисковую строку запрос с символами с ударением (так называемый модифицирующий акут), к примеру "ó", поисковая система может показать результаты, содержащие слова из вашего запроса, символы с ударением уже выглядят как обычные символы.

Так как всё-таки происходит обработка таких запросов?

Читать далее
Total votes 22: ↑22 and ↓0+22
Comments1

ETL в анализе данных без перерывов на кофе и курилку

Reading time18 min
Views7.4K


Кадр из фильма «Индиана Джонс: В поисках утраченного ковчега» (1981)


Наблюдаемая все чаще и чаще картина в задаче анализа данных вызывает удручающее впечатление. Intel, AMD и другие производители непрерывно наращивают вычислительную мощность. Гениальные математики-программисты пишут суперэффективные библиотеки и алгоритмы. И вся эта мощь гасится и распыляется рядовыми аналитиками и разработчиками. Причем начинается это все с нулевого этапа — этап подготовки и загрузки данных для анализа. Многочисленные вопросы и диалоги показывают, что в нынешних программах обучения зияют огромные дыры. Людям просто незнакомы многие концепции и инструменты, уже давно придуманные для этих задач. Для тех, кто хочет увеличить свою продуктивность, далее тезисно будут рассмотрены ряд таких подходов и инструментов в частичной привязке к реальным задачам.


В первую очередь, материал ориентирован на аналитиков, которые манипулируют разумными объемами данных, необходимых для решения практических задач. ETL из Бигдаты в котором перекачиваются сотни Тб ежесуточно живет своей отдельной жизнью.


Является продолжением серии предыдущих публикаций.

Читать дальше →
Total votes 9: ↑8 and ↓1+8
Comments4

Оконные функции с «форточкой» или как пользоваться фреймом

Reading time5 min
Views81K
Всем привет. 26 февраля в OTUS стартовали занятия в новой группе по курсу «MS SQL Server разработчик». В связи с этим я хочу поделиться с вами своей публикацией про оконные функции. Кстати, в ближайшую неделю еще можно записаться в группу ;-).





Оконные функции прочно вошли в нашу практику, но мало кто знает как работают фреймы RANGE и ROWS.

Возможно поэтому они несколько реже встречаются. Цель этой статьи привести примеры использования, чтобы у вас точно не осталось вопросов “Кто есть кто?” и “Как это применять?”. Вопрос “Зачем?” в статье останется не освещенным.

Давайте разберемся что такое фрейм, и как схожего эффекта достичь с помощью ORDER By в предложении OVER().

Для демонстрации будем использовать простую таблицу, чтобы можно было просчитать примеры без использования компилятора. Вообще, очень рекомендую — посмотрите и продумайте, что будет в результате выполнения, а потом проверьте себя — так вы обнаружите белые пятна в восприятии работы оконных функций, которые могут быть совсем не очевидными, когда читаешь уже готовые результаты.
Читать дальше →
Total votes 15: ↑15 and ↓0+15
Comments3
1

Information

Rating
Does not participate
Location
Королев, Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Backend Developer, Инженер данных