Как стать автором
Обновить
-1
0
Глеб @snackTate

Пользователь

Отправить сообщение

Работа с API: 17 полезных ссылок для системного аналитика

Уровень сложностиСредний
Время на прочтение3 мин
Количество просмотров9.3K

Привет! Это команда Яндекс Практикума. Делимся подборкой экспертов курса «Системный аналитик» — со статьями, курсами, книгами, видео и инструментами для аналитиков, разработчиков, тестировщиков и других специалистов, работающих с API.

Читать далее

Мастер-класс по точечному переносу изменений между ветками в git

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров10K

Представьте ситуацию: вы нашли критический баг в проекте, исправили его в feature-ветке, но до полного слияния ещё далеко. Или вам срочно нужно перенести одно конкретное изменение из текущей ветки в другую. В таких случаях git cherry-pick становится вашим секретным оружием.

Читать далее

Забудьте про зарплаты в 500 тысяч: сколько будут получать разработчики в 2025 году

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров177K

Хантинг с зарплатами в 500 тысяч остался в прошлом, вместо "безумных" денег пришли "разумные" бюджеты, а географическое положение разработчика перестало играть решающую роль. Мы поговорили с экспертами рынка о том, как формируются зарплаты в IT сегодня, почему "переезд в Омск" может стать отличной карьерной стратегией, и какие специалисты действительно могут чувствовать себя уверенно в 2025 году. Выяснилось, что рынок менее предсказуемым, но не менее интересным для тех, кто сумеет играть по новым правилам.

Читать далее

Как стать аналитиком данных с нуля? Бесплатная программа обучения

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров25K

Если вбить фразу «как стать аналитиком данных» в поисковую строку, можно найти огромное количество курсов по данному направлению. Проблема в том, что все курсы являются платными и, как правило, имеют ценник в несколько десятков тысяч рублей. 

Чтобы разбавить засилие платных курсов, мы с аналитиком данных Сергеем Булюкиным подготовили программу обучения «Аналитик данных с нуля», которая состоит только из бесплатных курсов.

Читать далее

Как организовать безопасное хранение секретов в Docker: лучшие практики

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров15K

Хей, Хабр! Секреты — это такая щекотливая тема, из‑за которой у безопасников начинаются нервные подёргивания глаза. Вроде бы «просто пароль» или «просто токен», но в 2025 году мы уже знаем, что просто в безопасности — это верная дорога к утечкам и ночным обкаткам плана B. В этой статье поговорим, как правильно хранить секреты в Docker‑контейнерах и окрестностях, а заодно разберёмся, чем могут помочь Docker Secrets, HashiCorp Vault и компания.

Читать далее

Открытые книги по ML и работе с данными

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров9.8K

Мы регулярно публикуем подборки литературы для специалистов: делали дайджест книг для желающих поближе познакомиться с Postgres и Kubernetes. Сегодня на очереди справочники и пособия по машинному обучению, которые можно найти в открытом доступе. Эти материалы помогут погрузиться в ML, разобраться в базовых математических концепциях, понять тренды опенсорсных технологий для систем ИИ и перейти к работе с ML-платформой.

Читать далее

Мастерство Data Science: Автоматизированное конструирование признаков на Python

Время на прочтение11 мин
Количество просмотров13K
image

Машинное обучение все больше переходит от моделей, разработанных вручную, к автоматически оптимизированным пайплайнам с использованием таких инструментов, как H20, TPOT и auto-sklearn. Эти библиотеки, наряду с такими методами, как случайный поиск, стремятся упростить выбор модели и настройку частей машинного обучения, находя лучшую модель для набора данных без какого-либо ручного вмешательства. Однако разработка объектов, возможно, более ценный аспект пайплайнов машинного обучения, остается почти полностью человеческим трудом.

Конструирование признаков (Feature engineering), также известная как создание признаков (feature creation), представляет собой процесс создания новых признаков из существующих данных для обучения модели машинного обучения. Этот шаг может быть более важным, чем фактическая используемая модель, потому что алгоритм машинного обучения извлекает уроки только из тех данных, которые мы ему предоставляем, и создание признаков, которые имеют отношение к задаче, абсолютно необходимо (см. Превосходную статью «Несколько полезных вещей, которые необходимо знать о Машинное обучение").
Читать дальше →

Глубокое обучение: Алгоритм обратного распространения ошибки. Теория и реализация. С нуля

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров9.6K

Всем привет. Меня зовут Алмаз Хуснутдинов. В этой статье я рассказываю про алгоритм обратного распространения ошибки, который используется для обучения нейросетей.

Содержание: архитектура простой нейросети и инициализация переменных, прямое распространение ручной расчет, вывод производных, вывод алгоритма, обратное распространение ручной расчет, реализация простой архитектуры нейросети и задача «логическое или», реализация класса для многослойной нейросети и изображения MNIST.

Читать далее

AI для аналитики

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров4.1K

Случается, что мои знакомые и друзья внезапно возбуждаются на тему ИИ и начинают тревожно звонить с вопросами: ну что там с ИИ? Уже случилась революция? Пора всех увольнять и срочно заменять чат-ботами?

Уволить конечно можно, особенно бездельников и когда на заводах/пароходах работать некому, но касаемо реальных бизнес-кейсов с ИИ все не то чтобы прям заладилось. Бизнес конечно по-прежнему возбуждается и визионирует на конференциях, но реальные проекты пока драйвово буксуют, а ванильный AI-вайб начинает попахивать болотной тиной.

Надо с этим что-то делать и срочно насыпать каких-нибудь корповых бизнес-кейсов и потом к этим кейсам прикрутить какую-нибудь новую ИИ-штуку чтобы вернуть радугу приунывшим единорогам.

Читать далее

Энтропия – это мера того, как мало мы на самом деле знаем

Уровень сложностиСредний
Время на прочтение20 мин
Количество просмотров19K

Жизнь — это антология разрушения. Всё, что вы строите, в конце концов ломается. Все, кого вы любите, умрут. Любое ощущение порядка или стабильности неизбежно рушится. Вся Вселенная движется по мрачному пути к состоянию окончательного хаоса.

Чтобы следить за этим космическим распадом, физики используют понятие, называемое энтропией. Энтропия — это мера беспорядка, и утверждение, что энтропия всегда растёт, известное как второй закон термодинамики, — одна из самых неотвратимых заповедей природы.

Меня давно беспокоит всеобщее стремление к беспорядку. Порядок хрупок. Чтобы создать вазу, требуются месяцы тщательного планирования и мастерства, а чтобы разрушить её футбольным мячом — одно мгновение. Мы проводим жизнь, пытаясь разобраться в хаотичном и непредсказуемом мире, где любая попытка установить контроль, похоже, приводит лишь к обратному результату. Второй закон запрещает механизмам быть идеально эффективными, а это значит, что любая структура, возникающая во Вселенной, в конечном итоге служит лишь для дальнейшего рассеивания энергии — будь то звезда, которая в конце концов взрывается, или живой организм, превращающий пищу в тепло. Мы, несмотря на все наши благие намерения, являемся проводниками энтропии.

Читать далее

Оптимизация SQL запросов

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров29K

Оптимизация SQL-запросов является одной из ключевых задач при работе с реляционными базами данных. Эффективные SQL-запросы позволяют значительно улучшить производительность приложений и обеспечить более быстрый доступ к данным. В данной статье мы рассмотрим как переписать запрос, чтобы выполнялся быстрее. В статье пойдет речь о PostgreSQL, хотя применять данные советы к любой базе данных SQL Ниже будут представлены термины и операторы, о которых пойдет в данной статье.

Читать про оптимизацию

Виртуальный ПЛК – следующий шаг в цифровой трансформации архитектур автоматизации

Время на прочтение7 мин
Количество просмотров8K

Статья Дэвида Хамфри (David Humphrey), директора по исследованиям аналитического агентства ARC Europe, в которой рассматривается появление программно-определяемой автоматизации на уровне контроллера и ее влияние на то, как АСУ ТП будут проектироваться, развертываться и управляться в будущем. Речь идет о виртуальных ПЛК (vPLC) – программных средств, эмулирующих функции физических программируемых логических контроллеров.

Читать далее

Как объяснить сейлам, что обещание жестких сроков — это плохо

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров4.1K

Недавно я имел очередной разговор с представителями коммерческого департамента на предмет выдачи клиентам обещаний по срокам реализации функционала. Так как регулярно приходится объяснять почему это крайне сомнительный путь, то решил написать небольшую статью с описанием логики и аргументации.

Читать далее

Создание эффективных агентов

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров4.2K

За прошедший год мы поработали с десятками команд, создающих агентов на основе больших языковых моделей (LLM) в различных отраслях. Последовательно мы отмечали, что самые успешные реализации не использовали сложные фреймворки или специализированные библиотеки. Вместо этого они строились на простых, составных паттернах.

В этой статье мы делимся тем, что узнали, работая с нашими клиентами и создавая агентов самостоятельно, а также даём практические советы разработчикам по созданию эффективных агентов.

Читать далее

Цифровизация без сокращений: MES и новая эра управления персоналом

Время на прочтение9 мин
Количество просмотров4.2K

Кадровый дефицит — хроническая болезнь российской промышленности. Токарь не вышел на смену, смена не вышла целиком, план сорвался, клиенты ждут, а конкурент дышит в спину. Вдобавок к этому проблемы с нехваткой ресурсов, недостаточная квалификация у вышедших, нет сырья/материалов на складе (но не в учете) и много чего ещё. Но что, если решение может лежать не в плоскости найма людей, а в использовании умных систем? Например, MES может взять на себя часть работы и дать предприятиям возможность не просто продержаться в экономически сложной ситуации , но и стать сильнее. Но, разумеется, есть нюансы… Про них сегодня и расскажу.

Читать далее

Анализ фильмов с интернет-портала Кинопоиск

Уровень сложностиСредний
Время на прочтение41 мин
Количество просмотров3.1K

Данное исследование посвящено анализу данных о фильмах, собранных с крупнейшей российской платформы КиноПоиск. Основная цель работы — выявить факторы, влияющие на популярность фильмов, их рейтинги и финансовую успешность. В ходе исследования были проанализированы жанровые предпочтения аудитории, проведено сравнение оценок фильмов на Кинопоиске и IMDb, а также исследована взаимосвязь между бюджетами фильмов и их кассовыми сборами.

Разработка включала этапы сбора, обработки, анализа и визуализации данных. Для обработки данных применялись методы очистки от пропусков и ошибок, фильтрации по ключевым показателям и трансформации структур данных. Были реализованы функции для конвертации валют, извлечения данных о жанрах и персоналиях фильмов (актёрах и режиссёрах), а также вычисления статистических показателей полноты и однородности выборки.

Для эффективной работы системы был использован современный технологический стек. Обработка данных осуществлялась с помощью MongoDB, что обеспечило хранение и управление большими объёмами неструктурированной информации. RabbitMQ организовал асинхронный обмен сообщениями между компонентами системы, а серверная часть приложения разрабатывалась на базе Spring Boot, что ускорило процесс разработки и упростило развертывание приложения. Контейнеризация с использованием Docker обеспечила удобное развертывание и масштабирование системы. Основными языками программирования стали Java 17 и Python: Java использовалась для серверной части и микросервисов, а Python — для анализа данных и построения алгоритмов обработки информации.

Для анализа данных применялись библиотеки Pandas, Seaborn и SciPy, которые обеспечили эффективную обработку данных и визуализацию результатов. В рамках анализа строились графики, отображающие популярность жанров, исследовалась корреляция оценок на Кинопоиске и IMDb, а также визуализировалась связь между бюджетами и кассовыми сборами. Для представления результатов применялись такие инструменты, как matplotlib и seaborn, позволяя визуализировать ключевые закономерности в виде графиков и диаграмм.

Анализ выявил ключевые закономерности: популярность определённых жанров, зависимость коммерческого успеха фильма от его бюджета и значительное влияние известных актёров и режиссёров на успех фильма. Полученные результаты могут быть полезны для киностудий и продюсеров при планировании новых проектов, прогнозировании кассовых сборов и выборе жанров. Результаты также могут применяться для оптимизации маркетинговых стратегий при продвижении фильмов. В будущем планируется углубить исследование, проанализировать долгосрочные тренды в изменении популярности жанров и исследовать влияние пользовательских рецензий на успех фильмов.

Читать далее

Рецензия на книгу «Байесовская оптимизация с примерами из библиотек Python»

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров3K

Байесовская оптимизация (Bayesian Optimization) призвана решить проблему исследования данных от «черного ящика» путем объединения вероятностного машинного обучения (ML) и теории принятия решений. Несмотря на то, что BayesOpt доказала свою эффективность во многих реальных задачах оптимизации «черного ящика», многие практикующие ML-специалисты все еще сторонятся этой методики, полагая, что для этого им нужны более высокие компетенции. Теперь у вас есть возможность получить нужные знания с новой книгой от издательства Manning в русском переводе от Alist в партнерстве с БХВ.

Читать далее

Мир за пределами Pandas: достойные альтернативы для работы с данными

Время на прочтение7 мин
Количество просмотров9.9K

Хабр, привет! Это Леша Жиряков, техлид backend-команды витрины онлайн-кинотеатра KION. В мире дата-аналитики Pandas остается одной из самых популярных библиотек. Но это вовсе не значит, что нет других быстрых, удобных и производительных инструментов. Мой пост покажет альтернативы: от колоночной DuckDB и сверхскоростной Polars до мощного Modin и гибкого Vaex. В подборке я постарался передать главную суть — назначение и преимущества инструмента и его характеристики с GitHub.

Читать далее

Как сделать резюме, которое дойдёт до работодателя. Фильтры ATS в 2025 году

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров17K

ATS (Applicant tracking system) — ПО, которое помогает работодателям и рекрутерам искать и отбирать кандидатов на первичном этапе. С такой системой до живого рекрутера доходит лишь малая часть резюме, потому что ATS беспощадно отсеивают кандидатов, которые им не нравятся. Ваша кандидатура может идеально подходить по требованиям, но если вы неправильно себя преподнесете — ваше резюме отправят в цифровую корзину.

По статистике StandOut CV за 2023 год, ATS отклоняет на первом этапе 75% резюме. Компания Oorwin, которая сама предлагает продукты для автоматизации рекрутинга, упоминает такое же количество отказов — 75%. В итоге живой рекрутер видит только каждое четвертое резюме.

В этой статье я расскажу, как работают системы ATS и как составить резюме, которое точно попадет в руки реального человека.

Читать далее

Как сократить время выполнения ресурсоемких задач в Python

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров2.3K

Всем привет! На связи Spectr и рубрика «Что читают наши разработчики». Сегодня разберем практические методы ускорения тяжелых вычислений с помощью оптимизации на GPU в Python.

Узнать о методах ускорения в Python

Информация

В рейтинге
Не участвует
Откуда
Ставрополь, Ставропольский край, Россия
Дата рождения
Зарегистрирован
Активность