В этой статье June Tao Ching рассказал, как с помощью Pandas добиться на Python такого же результата, как в SQL-запросах. Перед вами — перевод, а оригинал вы можете найти в блоге towardsdatascience.com.


Фото с сайта Unsplash. Автор: Hitesh Choudhary

Получение такого же результата на Python, как и при SQL-запросе

Часто при работе над одним проектом нам приходится переключаться между SQL и Python. При этом некоторые из нас знакомы с управлением данными в SQL-запросах, но не на Python, что мешает нашей эффективности и производительности. На самом деле, используя Pandas, можно добиться на Python такого же результата, как в SQL-запросах.

В конце декабря 2008 года меня пригласили в одну из служб такси г.Перми с целью автоматизации существующих бизнес-процессов. В целом передо мной были поставлены три фундаментальные задачи:


• Разработать программный комплекс для call центра с мобильным приложением для водителей такси и автоматизировать внутренние бизнес-процессы.
• Сделать все надо было в максимально сжатые сроки.
• Иметь собственное, а не купленное у сторонних разработчиков, программное обеспечение, которое в дальнейшем по мере развития бизнеса можно было самостоятельно масштабировать под постоянно меняющиеся условия рынка.

На тот момент я не понимал, как устроен этот рынок и его нюансы, но тем не менее очевидными для меня были две вещи. Call центр необходимо строить на базе программной АТС asterisk с открытым исходных кодом. Обмен информацией между call центром и мобильным приложением по сути является клиент-серверным решением со всеми соответствующими паттернами проектирования архитектуры будущего проекта и его программирования.

После предварительной оценки поставленных задач, сроков выполнения и затрат на реализацию проекта, согласовав все необходимые вопросы с владельцем службы такси, в январе 2009 года я приступил к работе.

Всем привет! Три года назад, когда у меня был свой небольшой интернет-магазин необычных подарков, не существовало таких маркетплейсов и продвижения, как сейчас, и все свои «велосипеды» приходилось изобретать самому. Но, с другой стороны, не было никаких онлайн-касс и жёсткого контроля со стороны государства. Можно было торговать чем угодно через паблик в ВК в любом формате: с чеком, без чека, за нал и безнал — всё, что душеньке угодно. Потом кольцо «государственного контроля» начало сжиматься. Сначала взялись за крупный бизнес, потом за банки. Потом всех торговцев алкоголем, включая палатки у дома, «посадили» на ЕГАИС. Потом «посчитали» дальнобойщиков, дважды или трижды раздев их системой учёта «Платон».
Год назад руки государства добрались и до такой мелюзги, как малый и микробизнес. Многие думали, что до этого не дойдёт, но — дошло. Началась «жесть» — я имею в виду смену правил торговли по закону 54-ФЗ. Одни кричали, что эти онлайн-кассы дорогие и убьют торговлю. Другие, наоборот, уверяли, что управлять процессом станет проще и прозрачней. Третьи (особенно — гики, фанаты Джека Ма, основателя Alibaba и апологеты технологий) предрекали, что неизбежно появятся новые сервисы, которые изменят бизнес-процессы, и это хорошо.

Прошёл год: торговля, конечно, никуда не делась, а в бизнес-процессах действительно появились новые составляющие. И когда недавно друзья предложили мне войти в их бизнес — я, думая о том, стоит ли ввязываться в стартап-проект по изготовлению весёлых маек с принтами, решил подробно изучить вопросы кассовой дисциплины. Разобраться, как теперь можно управлять финансами, сколько это может стоить, и какие новые сервисы малый и даже микробизнес может использовать, чтобы не остаться в минусах.

Несмотря на то, что английский изучается в большинстве школ и университетов как первый иностранный язык, немногие владеют им в совершенстве после завершения обучения. И потом, количество молодых людей, которые только-только окончили школу и университет, пока что все равно меньше, чем количество взрослых, которые застали еще советскую школу, учили в школе немецкий и с необходимостью учить английский столкнулись только в сознательном возрасте.

Открывая новый магазин, оптимизируя процесс управления персоналом и продажами в уже существующем, можно пойти несколькими путями, например, опираясь на собственные знания, способности и интуицию, или, прибегая к помощи специальных инструментов для анализа эффективности вашего бизнеса. Последние при минимальных затратах времени с максимальной результативностью позволяют выработать правила категоризации данных, получить точные мгновенные метрики и отчеты, минимизировать стоимость привлечения клиента, провести ориентированный на покупателя маркетинг, скомбинировать исторические данные о шоппинге, внедрить интеллектуальную систему позиционирования для помещений и многое другое. Подробнее о каждом таком инструменте с примером реального воплощения в жизнь расскажем далее в авторском переводе от системы электронных платежей PayOnline.

Coalgram и Nomi

Colgram, при поддержке Nomu и решения FollowUP компании SkillUp, смогли получать крайне точные мгновенные метрики и отчеты о загруженности магазинов, трафике и т. д., что давало менеджерам магазинов необходимую информацию для принятия правильных решений по персоналу, обслуживанию и другим ключевым моментам, которые влияют на производительность магазина. Ранее Colgram использовали инфракрасные лучи, чтобы считать покупателей, которые входят в магазины и выходят из них, однако они обнаружили, что собираемые таким образом данные недостаточно точны, не дают нужного охвата и недостаточно актуальны, чтобы соответствовать растущим требованиям по аналитике. В частности, Colgram хотели решение, которое будет различать взрослых и детей, чтобы родители, которые ходят за покупками с детьми, считались одним покупателем. Продвинутые возможности мгновенного захвата данных, предоставленные Nomi, в связке с гранулярной аналитикой и отчетами, предоставленными FollowUP компании SkillUp, дали компании моментальный доступ к точной информации о покупательском потоке в магазинах и позволили ей считать детей и взрослых единым покупателем, а также понять другие ключевые метрики.

Этот пост будет полезен всем, кто хотя бы иногда что-то готовит сам, а также помогает или мешает это делать другим.
Из него можно узнать, что это за гаджет — мультиварка, какие у нее технические возможности и невозможности, внутренность, наружность, достоинства (много) и недостатки (тоже много). Расскажу кое-что и о маленьких мультиварочных хитростях, а также позволю себе общее лирическое отступление о программировании на кухне.
Цель поста — рассказать про мультиварки, как класс объектов, не выделяя особо его представителей, но, чтобы не вести разговор о сферической мультиварке в вакууме, сделаю основным примером разбора мою модель — Panasonic SR-TMJ181.
Те, у кого нет мультиварки узнают, нужна ли она им, но и те, у кого она есть, надеюсь, без новых знаний не останутся.

На Хабре уже не раз и не два обращались к теме поддержания физической формы, для такой профессии как айтишник, админ и тому подобные властители неведомого серверного оборудования.
Были темы и просто о пользе бега, со стандартной теоретической подготовкой, и о маленьком, но хитром специальном устройстве от Nike, украшающем беговой процесс. Однако нас, как людей технических до мозга костей, интересует иное: можно ли в процессе беговой тренировки, использовать всю мощь технического прогресса для достижения максимальных результатов?
Поэтому данная статья больше перекликается с давним описанием: нескольких беговых девайсов, с учетом прошедших лет и текущего положения дел в области приборов для спорта и бега.
Все, что описано в статье, испытано на собственном опыте, все скриншоты и результаты взяты из личных данных.

Исходные данные: один условный «айтишник», перешагнувший рубеж 30 лет, и 90 кг.
Необходимо: заинтересовать техногика простыми тренировками, помогающими сохранить физическую форму, сбросить вес и укрепить сердце.

У Raspberry Pi и Cotton Candy появился китайский конкурент. Компьютер размером с флешку стоит 74 доллара — как раз посередине между Raspberry Pi (25 — 35 долларов) и Cotton Candy (200). Внутри — одноядерный процессор ARM Cortex A8 AllWinner A10 1.5GHz, графический чип Mali 400, 512 мегабайт DDR3 RAM и 4 гигабайта встроенной флеш-памяти. Есть полноразмерный слот USB, microUSB, кардридер micro TF, порт HDMI и беспроводной модуль WiFi 802.11b/g. Размеры «китайца» — 8.8 х 3.5 х 1.2 см, вес — 200 граммов.

В заметке пойдет речь о работе «мозгов», управляющих двигателем вашего автомобиля или мотоцикла. Попытаюсь на пальцах и в общем объяснить что же и как происходит.

Чем занимаются те самые «мозги» и для чего они нужны? Электроника — альтернатива другим системам, выполняющим те же функции. Дозированием топлива занимался карбюратор, зажиганием управлял механический или вакуумный корректор угла опережения зажигания. В общем не электроникой единой возможно реализовать все это и достаточно продолжительное время именно так и было. На автомобилях, мотоциклах, бензопилах, бензогенераторах и во многих многих других местах работали и продолжают работать те самые системы, которые призван заменить инжектор.
Зачем же понадобилось что-то менять? Зачем сносить существующие проверенные и весьма надежные системы? Все просто — гонка за экономичностью, экологичностью и мощностью. Точность работы описанных выше систем недостаточна для обеспечения желаемого уровня экологичности и мощности, а сами по себе электронные системы управления двигателем начали появляться достаточно давно.

Последнее время многие пользователи стали замечать reCaptcha с кусками фотографий, содержащих номера домов, названия улиц и даже дорожные знаки.



Представитель Google подтвердил, что они проводят эксперименты над людьми по улучшению качества своей БД информации об адресах и предприятиях с помощью распознавания фотографий Street View.
По результатам этих бесчеловечных опытов будет принято решение по использованию reCaptcha для других задач.

Случилось это в городе, закрытом от шпионов, цыган и бед социалистической экономики. В Советском Союзе было ровно 10 таких городов, повязанных атомным секретом.

Жизнь мальчиков с математическими способностями в атомных городах была предопределена — школа с пятерками по алгебре и геометрии, мех-мат столичного университета, возвращение в систему, квартира через год, кандидатская степень в 40 лет, ВАЗ 2103 к пятидесяти годам, звание доктора, гараж, шесть соток, четыре квадратных метра.

Бесконечные размышления о математическом моделировании ядерных взрывов разрывали мальчикам мозг. Мозг можно было отвлечь тремя способами — алкоголем, азартными играми и спортом. Секс и музыка помогали не всегда.



Далее я проваливаюсь в историю компьютерной игры.
Под тегом личные воспоминания ветерана без ссылок, рекламы, картинок и кода.
Спасибо за чудесные комментарии, парни.

Недавно участвовал в разработке одного проекта — фото конкурса. По задумке, рейтинг фото альбомов должен формироваться из суммы всех публикаций в социальных сетях: Facebook, Вконтакте, Twitter. Т.е. общий рейтинг фотоальбома расчитывается:

Рейтинг фотоальбома = кол-во «Share» в Facebook + кол-во «Сохранить» в Вконтакте + кол-во «Retweet» в Twitter

На макетах, вид кнопок несколько отличался от предоставляемых социальными сетями плагинов, формируемых функциями api. В частности вид счетчиков:

Помимо несоответствий с дизайном, каждый плагин формирует излишний хтмл код, а хотелось бы лаконичный.

Детальнее ознакомившись с api каждой сети, окончательно убедились в отсутствии расширенных возможностей для кастомизации кнопок и этот факт понять можно, все стремятся к единоборазности своих кнопок. Решили отказаться от использования готовых плагинов и сделать свои кнопки.

Итак:

• количество лайков будем получать от REST сервисов каждой социалки
• кнопки рисуем свои и обрабатываем событие click

У меня 11 интернет-магазинов, поэтому я имею некоторое представление о маркетинге интернет-магазина. К сожалению или к счастью, нередко он заканчивается на том, что цена на товар у тебя была на 100-200 руб. ниже, чем у конкурента. Но эта задача упиралась в то, что невозможно постоянно следить за другими магазинами, особенно если количество товаров измеряется сотнями и тысячами.
Поэтому я придумал byPrice.ru, который теперь делает эту работу за меня и может делать ее и за вас тоже.

Последнее время разработка новых поисковиков похоже становится модным увлечением. Вот и наше правительство, по слухам, собирается свой поисковик сделать. Дело это заразное. Решил и я собственный поисковик разработать. Виртуальный. Т.е. на бумаге. Ну или точнее — на экране :)
Некоторый опыт для этого имеется. Где вприглядку. Где практический. Посмотрим, что из этого выйдет. В конце-концов и нынешние титаны поиска когда-то были начинающими. В отличии от них тем, кто ввязывается в это безнадежное дело сейчас, легче. Вокруг гораздо больше информации, чем было у них. Перед глазами результаты их деятельности. Можно посмотреть со стороны и определиться, что тебе нравится в этих системах, что нет, что хотелось бы добавить, что убрать.
Я не собираюсь стуча пяткой в грудь заявлять, что сделаю все круче. Я вообще не уверен, что результат когда-нибудь воплотится в рабочие коды. Но всеравно попробую. Возможно кое-что из этих «бумажных» разработок пригодится мне в реальной жизни. Если кому-то моя болтовня принесет пользу — буду рад.
Всегда готов выслушать критику и предложения, за исключением разве что «ацтой» да «нафига нужно». Для себя я сделал вывод — нужно. Нужно привести в порядок обрывки мыслей и идей. Посмотреть на них со стороны. Попытаться понять, что мне нужно, чего я хочу. Ну и кроме того — поучиться связно излагать собственные мысли. Так, чтобы после прочтения хотя бы самому понятно стало, что хотел сказать :)
А данной болтовней я пытаюсь припереть себя к стенке. Чтобы лишить себя возможности к отступлению. Беру сам себя «на слабо». Завтра постараюсь озвучить первые мысли.

Зачастую мы не кэшируем вывод только из-за того, что среди данных, которые можно легко и безболезненно закэшировать, есть часто меняющаяся информация (привязанная, как правило, к конкретному пользователю).

Несколько недель назад я написал статью "Строим контентный проект: команда — курица или яйцо?", после которой по просьбам читателей обещал продолжение. Ну и собственно вот:



Вторая часть цикла будет больше практической, нежели теоретической. Я публикую инструкцию «Правила создания новостей», недавно мною написанную для новостной редакции проекта Gooddays.ru, блог которого вы сейчас читаете. Это внутренний документ, но правила, в нём описанные достаточно универсальны, поэтому я публикую его почти без купюр — включая ссылки на старые новости сайта, которые я брал для примера «как не надо». Как надо — можете посмотреть уже сейчас, мы пока ещё далеки от совершенства, но уверенно к нему движемся :)

Да, я знаю, что я уже не первый, и даже, пожалуй, не тысяча двадцать четвертый, однако кому-то все-таки необходимо это сделать. Я прекрасно понимаю, что тема уже всем надоела, однако все равно каждый день я встречаю инстеричные крики. В конце концов, я не виноват, что у людей в голове насрано, однако так или иначе – мне с этим жить, и было бы куда приятнее существовать в мире, где большинство хотя бы понимает, о чем речь и почему те или иные вещи существуют именно так, а не иначе.

Именно поэтому я попытаюсь в простой и доступной форме объяснить массовому читателю обо всех основных заблуждениях относительно проблем авторского права, которые существуют в нашем мире. Ведь без понимания основ любой разговор на эту тему превращается в вялотекущий срач, просто в силу того, что стороны разговаривают на разном языке. Я опишу проблему не с точки зрения эмоционального потребителя или жадного производителя, а с точки зрения рыночной экономики и законодательства. Как обстоят дела в этом секторе, многие представляют себе достаточно туманно.

Топик будет построен по схеме диалогов. Все вопросы взяты из открытых источников, я эти глупости не придумываю – люди действительно думают именно так и спрашивают именно это. Может быть, кто-то узнает себя.

Прошу прощение за несколько фривольное вступление, далее все будет более формально и структурировано. Итак, краткое содержание для тех, кто хочет искоренить в себе ростки безграмотности и приобщиться к большому и светлому миру разбирающихся в данном вопросе.

1. Информация должна распространяться бесплатно!
2. Пиратство – это не воровство.
3. Я купил товар – диск (книгу, кассету) а значит, могу делать с ним все, что хочу.
4. Я физически могу скопировать информацию – значит, по закону, мне никто не может это запрещать.
5. Я лучше куплю то же самое у пиратов – они успешно конкурируют с правообладателями за счет более низких цен.
6. Кто сказал, что я принимаю условия лицензионного соглашения?
7. Почему это так дорого стоит? Я считаю, что оно должно стоить дешевле.
8. Я не желаю платить за некачественный товар.
9. Почему бы не перейти на систему пожертвований? У Radiohead же получилось!
10. Что же все-таки делать с засильем некачественного контента?
11. Я считаю, что распространяя контент бесплатно, я помогаю правообладателям увеличивать продажи. Все от этого только выигрывают.

Однажды в студеную зимнюю пору я столкнулся с упоминанием того, что кто-то в Facebook пытается подтвердить теорию шести рукопожатий. Для тех кто не в курсе, эта теория заключается в том, что все жители земли в среднем знакомы друг с другом через цепочку из пяти друзей (т.е. шести рукопожатий). Подробнее об истории этой теории можно прочитать в википедии, там же можно узнать о том, что Майкрософт несколько лет назад пыталась подтвердить эту теорию на основе данных о контакт-листах мессенджера MSN — в результате у них получилось 6,6 рукопожатий, что вполне вписывается в теорию.

Очень мне захотелось эту теорию подтвердить самому, используя данные, которые есть под рукой — ВКонтакте. Для претворения моей странной идеи в жизнь надо было решить целый комплекс проблем:

1. На каких данных это все расчитывать.
2. Где эти данные взять.
3. Как эти данные сохранять.
4. Каким алгоритмом воспользоваться для расчетов.

Привет Хабр! Примерно год назад я представил вашему вниманию первую версию open-source библиотеки FileAPI, предназначенную для работы с файлами на клиенте и последующей загрузки на сервер.

За это время был пройден долгий путь. Библиотека заработала 670+ звезд и 90+ форков. С помощью github-сообщества удалось исправить множество «детских» проблем и внести ряд улучшений. Было закрыто более 100 тасков, и благодаря Илье Лебедеву сделана загрузка файлов по частям. Сегодня я с гордостью хочу представить вам FileAPI 2.0.

Попытайтесь повторить это сами

Как правило, настроенный должным образом сервер Nginx на Linux, может обрабатывать 500,000 — 600,000 запросов в секунду. Но этот показатель можно весьма ощутимо увеличить. Хотел бы обратить внимание на тот факт, что настройки описанные ниже, применялись в тестовой среде и, возможно, для ваших боевых серверов они не подойдут.

Минутка банальности.

yum -y install nginx

На всякий пожарный, создадим бэкап исходного конфига.

cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.orig
vim /etc/nginx/nginx.conf

А теперь можно и похимичить!