Pull to refresh
0
@Shusherinread⁠-⁠only

User

Send message

Книга «Python для data science»

Reading time19 min
Views11K
image Привет, Хаброжители!

Python — идеальный выбор для манипулирования и извлечения информации из данных всех видов. «Python для data science» познакомит программистов с питоническим миром анализа данных. Вы научитесь писать код на Python, применяя самые современные методы, для получения, преобразования и анализа данных в управлении бизнесом, маркетинге и поддержке принятия решений.

Познакомьтесь с богатым набором встроенных структур данных Python для выполнения основных операций, а также о надежной экосистемы библиотек с открытым исходным кодом для data science, включая NumPy, pandas, scikit-learn, matplotlib и другие. Научитесь загружать данные в различных форматах, упорядочивать, группировать и агрегировать датасеты, а также создавать графики, карты и другие визуализации. На подробных примерах стройте реальные приложения, в том числе: службу такси, использующую геолокацию, анализ корзины для определения товаров, которые обычно покупаются вместе, а также модель машинного обучения для прогнозирования цен на акции.
Читать дальше →
Total votes 12: ↑12 and ↓0+12
Comments1

Анализировать данные — это как варить пиво. Почему дата-анализ и пивоварение — одно и то же с техноизнанки

Reading time10 min
Views15K

Три года я был эстонским пивоваром: придумывал рецепты и сам варил. Когда начал изучать Python, SQL и анализ данных, понял, что между подготовкой данных и подготовкой сусла много общего: оказывается, в цеху я занимался DS, но не подозревал об этом. Меня зовут Алексей Гаврилов, я сеньор дата-аналитик в ретейле. В этой статье расскажу, чем пивоварение и аналитика данных похожи изнутри.

Читать далее
Total votes 20: ↑19 and ↓1+38
Comments16

Как мы разрабатывали сервис расчета стоимости доставки для ритейлера

Level of difficultyMedium
Reading time6 min
Views2.3K

Представьте: вы – крупный производитель и ритейлер товаров для дома, который обрабатывает в сутки тысячи заказов по всей стране. Но при этом у вас нет единого алгоритма расчета стоимости доставки – из-за этого суммы почти всегда разные, иногда завышенные.

Меня зовут Артём Кияшко, я руковожу группой аналитиков в крупной ИТ-компании. В этой статье расскажу о том, как мы разработали и внедрили сервис расчёта стоимости доставки. 

Читать далее
Total votes 2: ↑2 and ↓0+2
Comments3

Что нам стоит диаграмму в Python построить: 5 вариантов привлекающей внимание визуализации данных и кое-что ещё

Reading time6 min
Views14K

Диаграммы помогают визуализировать как простые, так и самые сложные наборы данных. При этом диаграмм — множество видов, у каждого есть свои достоинства и недостатки. О наиболее эффектных и эффективных, реализуемых с Python, мы решили рассказать в сегодняшней подборке. Если вам интересна эта тема – просим под кат. А если у вас есть собственные предпочтения среди графиков (или вы используете что-то ещё), то пишите в комментариях, обсудим. Что же – поехали!

Читать далее
Total votes 24: ↑24 and ↓0+24
Comments5

Это БАЗА: 4 правила управления проектами для проджект-менеджеров

Reading time10 min
Views16K

Часто задерживаетесь на работе, количество задач растет в геометрической прогрессии, сроки проектов постоянно приходится сдвигать? Тогда эта статья для вас: расскажу о 4 главных ошибках, которые совершают руководители проектов, приводящие к таким последствиям. На примерах разберём эти ошибки, откуда они берутся и как их не допускать.

Читать далее
Total votes 9: ↑7 and ↓2+8
Comments7

Мир математики глазами AI

Level of difficultyEasy
Reading time5 min
Views6.4K

Всем привет! В этой статья я хочу посмотреть, как AI видит мир математики, а точнее, какие разделы знает, насколько понимает, про что они и какие основные результаты может выделить.

Для этого я буду использовать популярный сейчас ChatGPT, который как-то так предложил мне начать эту статью.

Читать далее
Total votes 9: ↑5 and ↓4+5
Comments14

Неочевидные ресурсы, которых мы вскоре можем лишиться, или зачем арабы песок закупают

Reading time17 min
Views58K

Все мы в курсе про углеродный след. Но кто-то может представить, что в будущем нам будет не хватать таких привычных вещей, как пресная вода или песок?

В статье разберем ресурсы, с нехваткой которых при текущем уровне потребления и росте популяции человечество столкнется уже в ближайшее 50 лет. Ну и порассуждаем, к чему это приведет и что можно предпринять. Сразу оговорюсь, что банальных нефти, газа или угля в статье не будет — только не самые очевидные штуки. И да, про арабов из заголовка тоже поговорим. 

Читать далее
Total votes 152: ↑132 and ↓20+134
Comments437

Использование диаграмм Исикавы для QA

Reading time3 min
Views4.2K

Диаграммы причинно-следственных связей — полезная техника, которую можно использовать в работе QA-специалиста. Гленфорд Дж. Майерс писал, что уязвимость анализа граничных значений и использования техники классов эквивалентности заключается в том, что они не исследуют комбинации входных обстоятельств». Техника, которую можно использовать для изучения и описания комбинаций входных обстоятельств, — это диаграмма причинно-следственных связей.

Читать далее
Total votes 10: ↑8 and ↓2+8
Comments1

За границей Hello World: полный гайд по разработке Telegram ботов с помощью Python и Aiogram 3. Часть 1

Level of difficultyEasy
Reading time7 min
Views187K

Нетипичный туториал по разработке Telegram-бота на Python и Aiogram 3. В отличие от большинства гайдов и туториалов про разработку ботов «для новичков», здесь будут рассмотрены все аспекты создания бота, от установки редактора кода до подключения оплаты и развёртывания на сервере. В первой части мы рассмотрим подготовку окружения, файловую структуру бота и напишем первый рабочий код бота.

Читать далее
Total votes 8: ↑7 and ↓1+7
Comments24

Как пиэмы и аналитики делали свой проект для номадов, не имея ни одного разработчика в команде

Level of difficultyEasy
Reading time3 min
Views4.4K

Спойлер - все получилось, проект работает, хоть и не так, как планировали изначально.

Как-то в середине прошлого лета было замечено, что все больше постов в Linkedin про релокацию, миграцию, смену работы, поиски жилья, новые налоги и вот это все. А еще, нет-нет, да и посещала головы навязчивая мысль - запилить для мира нечто реально полезное. Звезды сложились, и было незамедлительно решено приносить всему сообществу релокантов неисправимую пользу и.. вот тут и стартанул самый квест.

Читать далее
Total votes 9: ↑6 and ↓3+6
Comments10

Как мы делали скоринг на микросервисной архитектуре руками не-программистов

Level of difficultyEasy
Reading time9 min
Views8.7K

2023 год — год противоречивых сигналов для будущего IT-отрасли и, в частности, занятости айтишников. 

С одной стороны, с поголовной цифровизацией всех сфер и процессов экономики растёт спрос на разработчиков — что, безусловно, плюс для айтишников. 

С другой — необходимость участия программистов во многих прежде «аналоговых» процессах как таковая стала превращаться в препятствие для цифровизации. Естественным образом, со стороны заказчиков и работодателей возник спрос на решения, которые позволят оцифровывать и автоматизировать процессы без необходимости заменять весь прежний штат программистами. Компании ищут выходы где угодно, включая надежды на то, что программистов заменят нейросети. 

В реальности все, кто хоть немного разбираются в вопросе, понимают, что до этого далеко: во многих чувствительных областях нейросети, возможно, никогда не заменят человека — потому что с человека можно спросить за ошибки, а с нейросети взятки гладки. Реальным ответом на запрос рынка видятся сегодня low-code и no-code — то есть, технологии создания ПО с помощью визуального редактора с минимальным написанием кода или без написания кода вообще.

С другой стороны, стандартом становится постепенный переход к микросервисной архитектуре. Это подход, при котором единое приложение строится как набор небольших сервисов, каждый из которых работает в собственном процессе и коммуницирует с остальными используя легковесные механизмы, как правило HTTP. Эти сервисы построены вокруг бизнес-потребностей и развертываются независимо с использованием полностью автоматизированной среды. Существует абсолютный минимум централизованного управления этими сервисами. Сами по себе эти сервисы могут быть написаны на разных языках и использовать разные технологии хранения данных.

Читать далее
Total votes 13: ↑11 and ↓2+20
Comments11

ChatGPT: личный ассистент IT-специалиста

Reading time12 min
Views15K

Привет, Хабр! Вы уже пользуетесь нейросетями в своей ежедневной работе?

Меня зовут Дмитрий, я — руководитель команды в департаменте проектирования и разработки. Как и любой человек с ограниченным временем и неограниченным количеством задач и фантазией, я постоянно ищу способы оптимизировать любые процессы. В статье я расскажу вам о своём опыте внедрения ChatGPT-4 в разработку программного продукта — от аналитики до кода, на конкретных примерах.

Заинтригованы? Переходите под кат!
Total votes 15: ↑7 and ↓8-1
Comments8

Пользователь попросил автономный ИИ «уничтожить человечество»: вот что произошло

Reading time6 min
Views124K


На Хабре было в виде новости, решил расширить. Как вообще мы пришли к сегодняшней ситуации.


На днях пользователь нового автономного ИИ-проекта с открытым исходным кодом Auto-GPT попросил его «уничтожить человечество», «установить глобальное господство» и «достичь бессмертия». Этот новый ИИ под названием ChaosGPT подчинился приказу и попытался исследовать ядерное оружие, нанять других ИИ, чтобы помочь ему в исследованиях, и рассылал твиты, пытаясь повести человечество в нужном ему направлении.


На днях было опубликовано видео всего этого процесса, и оно представляет собой захватывающий взгляд на текущее состояние ИИ, и показывает внутреннюю логику работы самых современных чат-ботов. А также проверяет, есть ли у неё предел.

Читать дальше →
Total votes 73: ↑55 and ↓18+51
Comments371

5 «Почему» для понимания архитектурных концептов при создании информационных продуктов

Reading time16 min
Views5.6K

По традиции, для самых жаждущих и нетерпеливых, эта статья будет о:

С чего начинается построение любой архитектуры?

За счет чего реализуются потенциальные бизнес возможности?

Кто нужен для реализации намеченных возможностей?

Как создать цифровые продукты, которые будут удовлетворять требованиям заказчиков, вписываться в намеченные сроки и бюджеты?

Из чего должна складываться структура продукта и как он должен реализовывать функциональные требования?

Если нет интереса к предисловию, то переходите к первому "почему". Для тех, кто хочет сложить причинно-следственные связи - добро пожаловать.

К эссе
Total votes 10: ↑6 and ↓4+2
Comments12

DSL фреймворк для создания Telegram ботов

Level of difficultyEasy
Reading time7 min
Views9.7K

Родилась у меня идея! Я хочу создать фреймворк, который позволит пользователям писать своих ботов Telegram с помощью языка, специфичного для конкретной области (DSL), или визуального представления, например, диаграммы UML. На основе предоставленных данных фреймворк будет генерировать необходимый Python-код для создания полнофункционального Telegram-бота. Которого можно будет сразу запустить где то на хостинге.

Читать далее
Total votes 10: ↑8 and ↓2+8
Comments6

Как создать свою собственную нейронную сеть с нуля на Python

Level of difficultyMedium
Reading time5 min
Views71K

Как создать свою собственную нейронную сеть с нуля на Python

Мотивация: в рамках моего личного пути к лучшему пониманию глубокого обучения я решил создать нейронную сеть с нуля без библиотеки глубокого обучения, такой как TensorFlow. Я считаю, что понимание внутренней работы нейронной сети важно для любого начинающего специалиста по данным. Эта статья содержит то, что я узнал, и, надеюсь, она будет полезна и вам!

Что такое нейронная сеть?

В большинстве вводных текстов по нейронным сетям при их описании используются аналогии с мозгом. Не углубляясь в аналогии с мозгом, я считаю, что проще описать нейронные сети как математическую функцию, которая отображает заданный вход в желаемый результат.

Нейронные сети состоят из следующих компонентов:

Читать далее
Total votes 19: ↑19 and ↓0+19
Comments19

Как подружить Алису с ChatGPT

Level of difficultyMedium
Reading time6 min
Views63K

О ChatGPT сейчас не говорит только ленивый. Давайте попробуем соединить голосовой помощник Алиса и ChatGPT. Таким образом мы сможем взаимодействовать с ChatGPT с помощью голоса. А он с помощью голоса может нам отвечать. Конечно тут будут ограничения о которых я подробно опишу далее. Данная статья не столько о ChatGPT а о том как писать навыки для Алисы.

Читать далее
Total votes 34: ↑34 and ↓0+34
Comments17

Подход к системному анализу

Level of difficultyMedium
Reading time7 min
Views11K

В сети вы можете найти множество статей на тему «UML мертв», «Почему системным аналитикам не нужен UML» и множество подобного. Работая на протяжении последних 15 лет в совершенно разных компаниях, с совершенно разным жизненным циклом приложений и систем, с различной структурой и методологиями разработки я вижу одно и тоже — попытки ускорения time‑to‑market за счет отказа от процесса управления требованиями, подаваемые под разными прекрасными аргументами, приводят 100% компаний к необходимости переписывать приложения не потому, что оно не отвечает требованиям, а потому что «никто не знает как или почему оно так работает».

Важной проблемой отказа от нормального процесса управления требованиями является то, что разрабатываемые без этого процесса приложения и системы получаются абсолютно не гибкими и даже элементарнейшие, с точки зрения заказчиков, изменения приводят к запуску полного цикла разработки. 

Можно перечислить еще огромное количество проблем, к которым приводит разработка без модели требований.

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments16

Что не так с умными колонками и голосовыми ассистентами?

Reading time8 min
Views39K

Если вы когда-нибудь слышали фразу "дьявол в деталях", вы понимаете, что условная Лада Гранта от условного Мерседеса отличается не более, чем на несколько процентов. Фактически обе машины ездят и возят своих пассажиров - это и есть главная их функция. Но внимание к мелочам и продуманный пользовательский опыт (UX) это и есть те самые несколько процентов, которые так разительно влияют на наше восприятие продукта.

Попробуем применить этот угол зрения к умным колонкам и голосовым ассистентам. И попытаемся понять, почему же все они пока ещё Гранты. И чего именно им не хватает до Мерседесов.

Что же с ним не так и как это исправить?
Total votes 65: ↑51 and ↓14+49
Comments345

Полезные материалы по Data Science и машинному обучению, которые помогут пройти сквозь джунгли из терминов

Level of difficultyEasy
Reading time8 min
Views24K

Привет, Хабр! Меня зовут Ефим, я MLOps-инженер в Selectel. В прошлом был автоматизатором, ML-инженером, дата-аналитиком и дата-инженером — и уже несколько лет падаю в пропасть машинного обучения и Data Science. Это буквально необъятная сфера, в которой почти нет ориентиров. Основная проблема в том, что разделов математики довольно много и все они, на первый взгляд, нужны в том же машинном обучении.

В этой статье делюсь полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию. Добро пожаловать под кат!
Читать дальше →
Total votes 59: ↑59 and ↓0+59
Comments15

Information

Rating
Does not participate
Registered
Activity