Search results for «[профайлинг]» / Habr

Publications Hubs Companies Users Comments

ITSumma Sep 10 2021 at 13:43

Linux ”perf” ускорили в 60 раз

2 min

13K

ITSumma corporate blog Configuring Linux *Open source *Copyright Software

Многие инструменты для визуализации производительности под Linux типа FlameGraph интенсивно используют профайлер perf из ядра Linux. В частности, такие «пламеграфы» наглядно показывают, сколько времени программа тратит на выполнение различных подпрограмм.

Для записи логов нужно или обернуть программу в вызов perf record, или инструмент просто подключается к текущему процессу. В любом случае затем мы прогоняем записанные данные через perf script, а несколько перловых скриптов генерируют «пламеграфы» из этих данных.

Проблема только в том, что perf record очень медленно работает под Debian по юридическим причинам. Всем разработчикам Linux это известно, но они ничего не могут сделать. Поэтому независимый программист Тони Гарнок-Джонс (Tony Garnock-Jones) выпустил патч, который ускоряет perf примерно в 60 раз.

Читать дальше →

+34

grey_one Jan 13 2010 at 08:31

Xdebug 2.1.0 beta1

1 min

461

Lumber room

Спустя полгода с момента последнего релиза вышла новая бета-версия популярного продукта для отладки и профилирования Xdebug.
Так как эта новость почему-то обошла обошла хабр, я решил заполнить этот пробел.

Читать дальше →

smira May 4 2010 at 07:42

Профайлинг Twisted-приложений

1 min

2.9K

Twisted *

Часто сам забываю, как профилировать легко и быстро Twisted-приложения (с некоторым изменениями подойдет для любых Python-приложений). Кроме Twisted нам понадобится еще KCachegrind.

Запускаем наше приложение с включенным профайлингом:

twistd -n --savestats --profile=myprog.hotshot myprog

Подаем нагрузку, профайл собирается. Теперь с помощью утилиты hotshot2cg из поставки KCachegrind превращаем hotshot-профайл в calltree-профайл, который уже умеет KCachegrind «кушать».

hotshot2cg myprog.hotshot > myprog.calltree

Запускаем KCachegrind, открываем в нем полученный профайл:

kcachegrind myprog.calltree

+14

vden Jan 14 2011 at 13:35

Несколько советов по эмпирическому анализу алгоритмов

6 min

16K

Algorithms *

Вступление

В ноябре прошлого года появилась книга Magnus Lie Hetland под названием «Python Algorithms: Mastering Basic Algorithms in the Python Language». Автор много лет занимается программированием и сейчас читает курс теории алгоритмов в одном из норвежских университетов. В своей книге он довольно простыми словами объясняет методы построения и анализа алгоритмов, а также приводит множество примеров, ориентированных на программистов на Python. Автор сосредотачивает свое внимание на практическом подходе к построению и оптимизации решений различных алгоритмических задач. В одном из обзоров говорится, что эту книгу можно сравнить с классическим трудом Кормена.

Мы с tanenn понемногу переводим эту книгу, и я предлагаю вашему вниманию перевод части первой главы — «Empirical Evaluation of Algorithms».

Читать дальше →

+20

kal1sha Jun 6 2011 at 17:00

Много сайтов на одной странице

4 min

8.5K

Self Promo

Здравствуй Хабр!

~~A good day!~~ Добрый день! Мы выступаем от стартапа brief.ly из Лондона. От наших украинских друзей мы узнали о могучем коммюнити Хабрахабра, и решили представить на усмотрение вам наш революционный продукт.

Хотелось бы услышать как он поведет себя в ваших руках, каково ваше мнение, что понравилось, что нет? Что бы вы сделали иначе, а чем можно гордиться?

Интермеццо

Сколько в Интернете сервисов сокращения адресов, подлинно не известно никому. Точно больше тысячи. Каждая серьезная компания имеет свой собственный короткий домен. Твиттер породил целую индустрию. Отличаются они лишь дополнительным функционалом. Однако все они берут один URL и делают из него другой URL.

Предыстория

Мы решили сделать нечто новое, казалось бы банально очевидное. А почему бы не брать много ссылок, положить все в табы, и пересылать это как одну страницу?

Vitaly Portnikov

Читать дальше →

+43

dovg Sep 23 2011 at 18:13

Pinba — мониторим php в реальном времени

4 min

55K

PHP *

Как сказано на официальном сайте —

Pinba is a realtime monitoring/statistics server for PHP using MySQL as a read-only interface.

И это действительно так. Она позволит вам в реальном времени получать статистику по работающему приложению, при этом не замедляя само приложение.
Что делать со статистикой — это уже ваше дело, например, мы выводим ее в заббикс и используем как для мониторинга стабильности (нет ошибок, мало число длинных запросов), так и для аналитики.
Удивительно, что про это действительно замечательное изобретение не было еще ни одной статьи на хабре.

Прочитать еще

+175

116

Alert Feb 7 2012 at 20:50

Модуль профайлинга «ProfilerToolbar»

3 min

3.5K

Kohana *

Если вы используете Kohana, то скорее всего уже видели модуль DebugToolbar. Испробовав его на нескольких проектах, стало понятно, что его возможностей явно не хватает. А при использовании Ajax запросов данный модуль становиться вообще бесполезным.

Имея достаточно свободного времени и желание сделать удобный инструмент для разработки, я решил написать свой велосипед с блэкджеком и плюшками. В итоге получилась такая штуковина:

ProfilerToolbar

Читать дальше →

+41

Badoo Aug 16 2012 at 13:14

Мониторинг производительности PHP-кода с помощью Pinba

15 min

41K

Badoo corporate blog High performance *PHP *

Давайте представим себе типичный, набирающий популярность стартап, использующий, например, PHP или Python. Сначала все находится на одном сервере — PHP (или Python), Apache, MySQL. Затем вы выносите MySQL на отдельный сервер, устанавливаете nginx для раздачи контента, возможно, добавляете memcached для кеширования и еще несколько серверов приложений…

Со временем число серверов будет расти, и рано или поздно вы зададитесь вопросами
«А что сейчас вообще происходит с системой? Как часто выполняется тот или иной скрипт и как долго? Какие операции занимают большую часть времени?» Системы мониторинга типа Zabbix дают лишь общую, поверхностную картину состояния приложения.

Чтобы получить ответы на эти вопросы, в Badoo был разработан сервиc мониторинга и статистики в реальном времени — Pinba. В данной статье мы расскажем о нашем опыте использования его для мониторинга и профайлинга нашей системы.

Читать дальше →

+84

coolweb Sep 16 2012 at 14:53

Полезные ссылки для PHP разработчика с MageConf 2012

2 min

28K

Website development *PHP *

16.09.2012 в Киеве в три потока прошла конференция MageConf 2012. Два потока были посвящены системе Magento, третий – PHP. Посетив все 6 докладов на потоке PHP, хотел бы кратко изложить основную информацию, донесенную спикерами. В итоге пост получился набором полезных ссылок по разработке на PHP.

Докладчики особое внимание уделяли утилитам и софту, которыми они активно пользуются в Magento. Один из спикеров ранее был разработчиком портала i.ua.

Читать дальше →

+39

marenkov Nov 4 2014 at 23:01

Оптимизация для начинающих, или о пользе профилирования

5 min

17K

PHP *Algorithms *

Попалась мне задача написать на PHP оптимальный алгоритм вставки нового значения в упорядоченный массив. Причем аргументировано доказать, что именно этот алгоритм лучший. Для этого предлагалось написать три варианта и выбрать из них лучший. Конечно же я знаю, что лучший метод поиска — бинарный, но раз сказали доказать, что он лучший, так и быть, напишу еще два. С таким настроем и уверенностью в будущем результате я и принялся кодить.

Что из этого получилось приглашаю начинающих программистов почитать, а опытных обсудить.

Читать дальше →

SearchInform_team Apr 17 2020 at 18:30

Пять стадий принятия неизбежного, или Как мы разрабатывали программу для автоматизированного профайлинга

13 min

5.2K

SearchInform corporate blog Information Security *Development Management *Project management *IT-companies

🔥 Technotext 2020

Привет, на связи Алексей Филатов (aka afilatov123). В 2017 году меня пригласили в команду «СёрчИнформ» для запуска нового программного решения. Точнее так – для наращивания возможностей флагманского продукта – DLP-системы. Рынку мало того, что софт уже умеет (предотвращать утечки информации и корпоративное мошенничество). Заказчики хотят, чтобы программа умела предсказывать пользовательское поведение: «вот этот сотрудник готовится к увольнению, а значит может...» или «человек испытывает стресс и вероятно совершит ошибку». И предсказания эти должны быть сделаны с высокой точностью и в автоматизированном формате.

Для решения этой задачи вендоры как правило идут по пути UEBA (или UBA). Но мы пошли своим и начали создавать автоматизированный профайлинг.

Под катом – история того, какой путь мы проделали, чтобы продукт состоялся.

Читать дальше →

Kilor Sep 3 2020 at 19:45

PostgreSQL Query Profiler: как сопоставить план и запрос

6 min

8.8K

Тензор corporate blog PostgreSQL *SQL *Database Administration *Data visualization *

Многие, кто уже пользуется explain.tensor.ru — нашим сервисом визуализации планов PostgreSQL, возможно, не в курсе одной из его суперсособностей — превращать сложно читаемый кусок лога сервера…

… в красиво оформленный запрос с контекстными подсказками по соответствующим узлам плана:

В этой расшифровке второй части своего доклада на PGConf.Russia 2020 я расскажу, как нам удалось это сделать.

С транскриптом первой части, посвященной типовым проблемам производительности запросов и их решениям, можно ознакомиться в статье «Рецепты для хворающих SQL-запросов».

+13

afilatov123 Feb 17 2021 at 10:21

Верить ли глазам

7 min

7.4K

Information Security *Professional literature *Personnel Management *Popular science Brain

На что обращать внимание при оценке невербальных проявлений лжи

В прошлой статье мы разобрали, какие когнитивные искажения мешают определить обман. Как и обещал, хочу развить тему безынструментальной детекции лжи. Этот метод можно разделить на 2 категории:

1) оценка невербальных реакций;

2) оценка речи (и текстов).

Максимальную эффективность можно обеспечить только сочетанием двух моделей. Сегодня хочу обсудить первую категорию. Обсудим, какие правдивые выводы можно сделать из «чтения» по лицу и мимике, а что – всего лишь стереотипы. И бонус для дочитавших текст – несколько тренажеров, чтобы стать почти как Пол Экман в деле распознания эмоций.

SearchInform_team Sep 8 2021 at 09:51

Все оттенки инсайдерства

2 min

SearchInform corporate blog Information Security *

Рассмотрим их на осеннем Road Show

Осень для нас в «СёрчИнформ» – это роад. Road Show SearchInform. Это наше старейшее мероприятие и фактически наша визитная карточка. Вот и в этом году спикеры уже начищают ботинки, заказчики подбирают самые иллюстративные кейсы, ивентщики выбирают из меню закуски для кофе-брейков.

ru_vds Aug 3 2022 at 16:00

Устранение утечек памяти с помощью профилирования

23 min

6.3K

RUVDS.com corporate blog Client optimization *Server optimization *Server Administration *Debugging *

Translation

Если система работает длительное время, объём свободной памяти может уменьшаться, что может приводить к отказу некоторых сервисов. Это типичная проблема утечки памяти, которую обычно сложно спрогнозировать и выявить. Удобными инструментами для решения подобных проблем являются профайлеры кучи. Они отслеживают распределение памяти и помогают разобраться, что находится в куче программы, а также найти утечки памяти.

В этой статье мы расскажем об использовании профайлеров кучи, а также объясним, как спроектированы и реализованы популярные профайлеры кучи, например, профайлер кучи Go, gperftools, jemalloc и Bytehound.

Читать дальше →

+29

poldnev Nov 24 2022 at 10:58

Профайлер Бедного Человека: первое знакомство и (приятные) последствия

9 min

10K

Яндекс corporate blog High performance *Programming *Server optimization *Development for Linux *

Если вам приходилось оптимизировать работу программ, то вы могли слышать о Профайлере Бедного Человека. Этой идее даже посвящён целый сайт. ПБЧ собирает статистику времени выполнения отдельных функций программы, «подглядывая» в процесс её исполнения с помощью дебаггера. Концепт ПБЧ хорошо прижился у нас в движке баннерной крутилки — не буду в 100 500-й раз напоминать, что у Яндекса всё высоконагруженное, ресурсоёмкое и нуждающееся в профилировании. Статья будет полезна тем, кто пилит инфраструктуру, адаптирует какой-нибудь общеизвестный профайлер под себя или просто хочет больше знать про свои программы. Как мы пришли к необходимости в ПБЧ и что именно сделали? Сейчас постараюсь рассказать, местами буду закапывать глубоко в технологии (если переусердствую, пишите в комментариях). А начну со стандартного инструмента статистического профилирования в Linux — perf.

Читать дальше →

+28