Comments 3
Полезная статья. Экосистема Python регулярно пополняется EDA-инструментами, вот мой неполный чек-лист: autoviz, bamboolib, dabl, dataprep, datasette, dtale, lux, mitosheet, pandas_profiling, pandasgui, sweetviz.
Каждый из них применим, каждый можно похвалить за "находки" и удобные приемы. Многие есть за что поругать: старые зависимости (и необходимость использовать виртуальные среды), кое-где есть платный функционал (в Python и DS все привыкли что всё - бесплатно).
Общая точкой притяжения у либ, как ни странно - Pandas. Как верно заметил автор, бывает сложно найти нужную команду. Я проводил эксперимент на десяти "Excel-уверенных" людях: Что проще - pd.merge/pd.concat (~50 символов набрать) в Pandas или GUI-слияние в EDA-либах (50 раз кликнуть мышью)? На удивление - Pandas в JupyterLab в 64% случаев был назван более удобным, чем EDA-интерфейсы.
Радует также, что многие EDA-либы продуцируют поучительный Python-код. Он понятен благодаря простому синтаксису, даже несмотря на наличие "мусора" или сложных паттернов вроде списковых включений.
Мы все знаем как важно видеть трансляцию действий в код. С 1995 г. благодаря макрорекордеру VBA в Excel - миллионы людей узнали что такое программирование и многие таки-стали программистами. Авто-код - эдакий мостик между мирами бесправного юзерства и всемогущего кодерства. Вклад VBA в автоматизацию российского и немецкого бизнеса - колоссален, хоть и в чем-то постыден для отрасли (и многими скрывается). Фразу "убери VBA из резюме" можно услышать от многих HR. VBA ругают просто так все кому не лень. При этом все понимают что с 1995 по 2014 гг. - альтернативы ему не было.
SQL, Pandas и EDA-либы - исправляют эту ситуацию в значительной мере, приближая тотальную цифровизацию офисного труда. Сил айтишников для решения задач бизнеса сейчас явно недостаточно. Ростом зарплат проблему не решить, нужны выходцы "снизу". Те, кто зная предметную область - сами делают MVP, без ТЗ, сразу в прод. Открытые долгоиграющие продукты, вроде Pandas - позволяют делать ревью и помогать людям и бизнесу, постепенно спрыгивая с "иглы" VBA.
Бамбук, Mito-лист и Деталь, или как подготовиться ко встрече с пандами