Краткое описание понятий json и xml, а также работа с ними на языке python.
Всем привет! Это моя первая статья, немного волнительно, но потными ладошками все же пишу. Идея написания пришла ко мне после задачи на работе, которая была связана с направлением xml - файлов в ЦБ. Думаю, многие аналитики, работающие в банке, сталкивались или еще столкнутся с подобными задачами, поэтому хочу помочь будущим поколениям.
Боль в написании backend
Разберем, какие есть боли у backend разработчика и как deep.foundation решает данную проблему и что предлагает для разработчика.
Если Вы как и я решили впервые взглянуть в сторону Python после нескольких попыток изучения С++/C# то скорее всего первым проектом станет desktop-приложение. Отходя от темы скажу что тяга к изучению этих языков была безнадежно утрачена в виду классического преподавания в духе "лишь бы сдали" и бесчисленных однотипных и монотонных лекций. Как я сказал выше хоть и на начальном уровне, но я всё же касался разработки приложений для шинды и поэтому мне хотелось посмотреть на принципы работы питона сначала отсюда(а не прыгать в django и прочие мощные фреймворки).
Привет, Хабр! На просторах интернета, да и на самом Хабре есть огромное количество статей про OCR. Сегодня я бы хотел рассказать не про процесс распознавания текста а про методику развертывания решения в закрытом контуре (проще говоря - без интернета).
Если вам нужно ускорить обработку NumPy или просто сократить использование памяти, попробуйте компилятор Numba just-in-time. С его помощью можно писать код на языке Python, который во время выполнения компилируется в машинный код. Это позволяет получить прирост скорости, сопоставимый с приростом, который можно получить на C, Fortran или Rust.
По крайней мере, так считается в теории. На практике же код на Numba может быть не быстрее, чем эквивалент NumPy. Но если лучше понимать, как работают процессоры, можно добиться большего. Эти знания помогут более широко использовать любой компилируемый язык. В этой статье мы:
• Рассмотрим простую задачу обработки изображений.
• Попытаемся (поначалу безуспешно) ускорить ее с помощью Numba.
• Рассмотрим, почему современные процессоры такие быстрые, и каковы возможности компиляторов.
• Опираясь на полученные знания, скорректируем наш код так, чтобы он выполнялся в 25 раз быстрее по сравнению с первоначальной версией.
Привет! Меня зовут Наташа Красильникова, я старший аналитик команды Operations Analytics в Skyeng. Мы завязаны на работе с сотней сервисов компании: забираем данные из сервисов и интегрируем много локальных документов с бизнесовыми маппингами, таргетами, а иногда и просто какими-то дополнительными данными.
Когда пришло время мигрировать наше многолетнее легаси на новый DWH… что ж, мы пережили целый спектр острых эмоций. И, конечно, выработали ноу-хау, чтобы сгладить переход и сделать его менее болезненным. В статье расскажу, что придумали и как применяли.
В качестве повышения собственного уровня в программировании я решил написать бота в Телеграм, который проводит тестирование по 5-Factor Model of Personality. Простыми словами, это тест, в котором участники отвечают в формате от "Полностью согласен" до "Полностью не согласен" на ~50 вопросов, на подобие "я душа компании" или "я часто беспокоюсь". На выходе, мы получаем результаты от 1 до 100 по пяти факторам - Открытость к опыту, Сознательность, Экстраверсия, Доброжелательность, Невротизм (эмоциональная стабильность).
Интерпретировать результаты можно таким нехитрым способом. Например, мы получаем 70 по экстраверсии - это означает, что, если бы в комнате находились 100 человек, расположенных в порядке возрастания их экстраверсии, то мы стояли бы на 70 месте. То есть, мы были бы более общительны, чем 70% людей в комнате. Надеюсь, что звучит нетрудно.
Думаю, что выбор языка python для написания бота в Телеграм является незамысловатым решением, так как большинство ботов написаны на питоне и обилие библиотек на питоне для работы с API Телеграм сильно упрощает работу и позволяет сконцентрироваться на предмете работы. Библиотеку использовал python-telegram-bot.
Правильность подсчета результатов является основой любого теста. Для данного бота я взял эти данные. Там содержатся более миллиона итогов прохождений данного тестирования другими людьми. Что нам нужно, это:
Публикация является продолжением обсуждения алгоритмов вычисления первой производной дискретной функции (функции, заданной массивом {аргумент: значение}, или массивом узловых значений). В части первой обсуждались функции из библиотеки NumPy, и был предложен альтернативный алгоритм, повышающий точность расчетов на границах области определения функции. В настоящей публикации предложены 2 алгоритма на основе метода конечных элементов (МКЭ, Finite Elements Method), один из которых показал на тестовых функциях лучшие результаты в сравнении с альтернативами.
Привет, Хабр! Меня зовут Иван Сивков, я наставник на курсе «Специалист по Data Science» в Яндекс Практикуме. В этой статье покажу, как построить пайплайн в библиотеке scikit-learn на базе встроенных инструментов и сократить количество кода при преобразовании данных. Эта статья рассчитана на новичков, которые только начинают изучать Data Science, но уже знают основные понятия.
OpenStack — широко распространенная облачная платформа. На ее базе построены десятки, а то и сотни проектов: приватных и публичных. Ее многочисленные модули позволяют достаточно просто наращивать функциональность конечного решения: от понятных DBaaS (Database as a Service) до специфичных AXaaS (Acceleration as a Service).
По мере развития CLO возникла необходимость доработки платформы под собственные нужды. В процессе написания патчей мне сильно не хватало понимания архитектурных принципов OpenStack. Часть информации я смог найти в документации, часть мне приходилось вытаскивать из исходников, поэтому я решил систематизировать знания и поделиться с сообществом.
В цикле статей мы рассмотрим основные компоненты OpenStack, механизмы их взаимодействия и как именно разработчиками был реализован основной функционал. Статья будет интересна инженерам, разработчикам облачных сервисов и всем тем, кто хотел заглянуть под капот, но стеснялся.
А так как Nova (он же Compute) является едва ли не основным сервисом, который эксплуатируют все остальные, с него и начнем.
Любой автоматизатор тестов рано или поздно сталкивается с задачей либо дополнить, либо расширить тестовый фреймворк. К тому же, у многих есть профессиональная цель написать свой тестовый фреймворк. Чтобы реализовать это, необходимо знать и понимать архитектуру тестовых фреймворков, так как от заложенной архитектуры зависит стабильность, расширяемость и гибкость вашего фреймворка и тестов в целом.
Всем известная организация ISTQB разработала общую схему (архитектуру) компонентов, из которых должен состоять тестовый фреймворк. В этой статье разберем, что это за компоненты и для чего они нужны.
До этого я писал о разработке веб приложений на Nim здесь и здесь.
Что? Какой Nim? В заголовке указан Python!
Да, до недавнего времени писать веб приложения на веб фреймворке HappyX было возможно лишь с помощью Nim. На данный момент HappyX доступен и на Python. Любой желающий может воспользоваться библиотекой, если не знает Nim.
В этой статье мы создадим фейковое API GitHub'а.
Привет. Я Витя, продуктовый аналитик в Тинькофф Страховании. Как и многие мои коллеги, я привык работать с готовыми мастер-системами, готовыми ETL-процессами, готовыми инструментами работы с данными. Всё это я уже давно воспринимаю как должное.
Однако что делать, если ты - человек с большим бэкграундом в аналитике, а перед тобой pet-project, где хочется тратить на всё 0 рублей, на проекте пару рук и ещё ничего не настроено?
Если вы не первый год в аналитике, то знаете, каково это — прокладывать дорогу сквозь неопределённость. Рассматривать гипотезы и принимать ту, по которой работать, — это как выбирать дорогу, по которой идти всей команде. Волнительно и непросто отправляться на неосвоенные земли.
Вот вы — хороший штурман? Готовы встретиться с вызовами? Перетряхнём же рюкзак, посмотрим, чем он набит, и есть ли там самое важное, без чего не выжить в пути.
Есть крутой статистический портал, аггрегатор данных по большинству финансовых бирж - WORLD FEDERATION OF EXCHANGES (WFE). На этом сайте представлен широкий спектр разнообразных данных, множество интересных показателей - раздолье для дата-аналитика. Какие биржи самые крупные? Какие имеют самую высокую динамику развития? Где больше всего активности? На эти и многие другие вопросы можно ответить, зная python и приложив немного усилий и фантазии.
В этом посте в качестве упражнения покажу, как можно поиграть с данными, посмотреть статистику и понаблюдать за динамикой выбранных показателей.
Это моя первая статья и серия из статьей о написании мультиплеерной игры на Python с использованием библиотеки Pygame.
Предположим: вы полны желания изучить манящий массив данных. К счастью, для этого достаточно вашего компьютера. Итак, вы открываете блокнот Python или REPL, чтобы начать работать: какую библиотеку использовать? Естественно, вы можете обратиться к старой доброй Pandas. А как насчет новой модной библиотеки фреймов данных, например Polars или datatable? А ещё, для разнообразия, можно попробовать встроенный SQL с помощью DuckDB.
Давайте погрузимся в прекрасную область фреймов данных, чтобы сделать выбор!
PS: Используйте DuckDB, если вам удобно работать с SQL, Polars или Pandas с поддержкой PyArrow, если вам не нужно какое-то специфическое расширение NumPy, и задействуйте PyArrow в том случае, если вы не против ручной оптимизации.
Всем привет! Пишет вам аналитик Алексей из компании Мегапьютер. Я уже дослужился до громкого звания middle аналитик. А вот мой друг из Твери пока только начал свой карьерный путь и работает на позиции junior аналитика. Летом я ездил к нему в гости, и мы обменялись опытом, обсудили много тем профессиональных и не очень. Не обошли стороной и квартирный вопрос. Я уже второй год комфортно поживаю в своей однокомнатной квартире в Чебоксарах, взятой в ипотеку. А мой друг себе пока собственного жилья позволить не может. Или может?
Чтобы ответить на этот вопрос, я решил провести аналитическое расследование. Взял актуальную информацию о зарплате из базы вакансий. Также выгрузил данные о стоимости аренды и покупки квартир из сервиса по поиску недвижимости.
В Твери, как известно, четыре района: Московский, Центральный, Заволжский и Пролетарский. И все имеют свои особенности. Заволжский считается самым экологически чистым районом, Центральный – историческим, туристическим, Московский – промышленным, Пролетарский – спальным.
По данным сайта по поиску работы средняя зарплата в Твери у junior аналитика – 34 100р., middle – 52 750р., senior – 108 750р. И какую же недвижимость каждый специалист может себе позволить?
Прежде чем приступить к анализу, необходимо было понять, как определить доступность покупки и аренды квартиры. Для варианта покупки будет суммироваться платеж по ипотеке, квартплата и сумма, которая потребуется в месяц на проживание.
Процент по ипотеке будет зависеть от вида жилья. 12.5% - для вторички - 7.6% для новостройки или строящегося дома. Срок ипотеки будет 30 лет, а сумма кредита составит 0.85 от общей стоимости квартиры, так как требуется первоначальный взнос 15%
Создателям роботов и систем автоматизации не обойтись без таких устройств, как сервоприводы или, как их еще называют, сервомоторы.
Обычные электрические моторы непрерывно вращают вал в одну или в другую сторону. Вы можете управлять скоростью вращения такого электромотора, изменяя частоту и напряжение (для моторов переменного тока) или модулируя ширину управляющих импульсов (для моторов, рассчитанных на питание постоянным током).
Однако если вам нужно повернуть вал двигателя на заданный угол или поддерживать вращение с заданной скоростью, то здесь пригодятся сервоприводы.
Это первая статья серии статей про сервоприводы. Из нее вы узнаете, как устроены эти устройства, какими они бывают, как ими можно управлять с помощью импульсных генераторов, а также через отечественный микрокомпьютер Repka Pi.
Другие статьи серии про сервоприводы вы найдете здесь:
Изучение текстовых данных является одной из фундаментальных задач в области анализа данных и машинного обучения. Однако тексты представляют собой сложные и многомерные структуры, которые не могут быть напрямую обработаны алгоритмами машинного обучения. В этом контексте извлечение признаков — это процесс преобразования текстовых данных в числовые векторы, которые могут быть использованы для обучения моделей и анализа. Этот шаг играет ключевую роль в предварительной обработке данных перед применением алгоритмов.
Term Frequency-Inverse Document Frequency (TF-IDF) — это один из наиболее распространенных и мощных методов для извлечения признаков из текстовых данных. TF-IDF вычисляет важность каждого слова в документе относительно количества его употреблений в данном документе и во всей коллекции текстов. Этот метод позволяет выделить ключевые слова и понять, какие слова имеют больший вес для определенного документа в контексте всей коллекции.
