Pull to refresh
0
0

User

Send message

Профилирование Python-программ и анализ их производительности

Reading time14 min
Views26K

Профилирование — это неотъемлемая часть любых работ по оптимизации кода или производительности программ. Любой опыт, любые знания в сфере оптимизации производительности, которые уже у вас есть, не принесут особой пользы в том случае, если вы не знаете о том, где их применить. В результате оказывается, что поиск узких мест приложений может помочь в деле решения проблем производительности, поможет сделать это быстро и приложив не слишком много усилий.

В этом материале мы обсудим инструменты и методы работы, которые способны обнаруживать и конкретизировать проблемы с производительностью кода, связанные и с ресурсами процессора, и с потреблением памяти. Здесь же мы поговорим о том, как реализовывать (почти безо всяких усилий) простые механизмы, позволяющие бороться с проблемами производительности. Эти механизмы используются в тех случаях, когда даже точно просчитанные изменения кода больше не позволяют улучшить ситуацию.

Читать далее
Total votes 20: ↑19 and ↓1+24
Comments0

Алгоритмы и структуры данных поиска. Лекции и курсы от Яндекса

Reading time4 min
Views155K
Сегодня мы завершаем новогоднюю серию постов, посвященных лекциям Школы анализа данных. Последний по порядку, но никак не по важности курс — «Алгоритмы и структуры данных поиска».

В этом курсе рассматриваются базовые алгоритмы и структуры данных, включая хешировани, сложность и модели вычислений, деревья поиска, B-деревья, задачи геометрического поиска, динамическую связность в графах и другое.

Мы учли то, о чём нас просили в комментариях к прошлым курсам — теперь при желании можно не только смотреть/скачивать лекции по отдельности, но и загрузить всё разом в виде открытой папки на Яндекс.Диске. Кстати — в предыдущих постах тоже появились такие же апдейты (вот ссылки для удобства: «машинное обучение», «дискретный анализ и теория вероятностей», «параллельные и распределённые вычисления»).



Лекции читает Максим Александрович Бабенко, заместитель директора отделения computer science, ассистент кафедры математической логики и теории алгоритмов механико-математического факультета МГУ им. М. В. Ломоносова, кандидат физико-математических наук.
Содержание курса, тезисы лекций и ссылки на видео
Total votes 115: ↑108 and ↓7+101
Comments19

CMake и C++ — братья навек

Reading time11 min
Views85K

Дружба навек


В процессе разработки я люблю менять компиляторы, режимы сборки, версии зависимостей, производить статический анализ, замерять производительность, собирать покрытие, генерировать документацию и т.д. И очень люблю CMake, потому что он позволяет мне делать всё то, что я хочу.


Многие ругают CMake, и часто заслуженно, но если разобраться, то не всё так плохо, а в последнее время очень даже неплохо, и направление развития вполне позитивное.


В данной заметке я хочу рассказать, как достаточно просто организовать заголовочную библиотеку на языке C++ в системе CMake, чтобы получить следующую функциональность:


  1. Сборку;
  2. Автозапуск тестов;
  3. Замер покрытия кода;
  4. Установку;
  5. Автодокументирование;
  6. Генерацию онлайн-песочницы;
  7. Статический анализ.

Кто и так разбирается в плюсах и си-мейке может просто скачать шаблон проекта и начать им пользоваться.
Читать дальше →
Total votes 52: ↑49 and ↓3+46
Comments51

3D моделирование в Python

Reading time21 min
Views82K

Допустим, вам потребовалось на языке программирования python, построить трёхмерную модель некоторого объекта, затем визуализировать его, или подготовить файл для печати на 3D принтере. Существует несколько библиотек, помогающих в решении этих задач. Поговорим о том, как строить трёхмерные модели из точек, граней и примитивов в python. Как выполнять элементарные приемы 3D моделирования: перемещение, поворот, объединение, вычитание и другие.

Читать далее
Total votes 21: ↑21 and ↓0+21
Comments26

Введение в анализ сложности алгоритмов (часть 1)

Reading time10 min
Views385K
От переводчика: данный текст даётся с незначительными сокращениями по причине местами излишней «разжёванности» материала. Автор абсолютно справедливо предупреждает, что отдельные темы покажутся чересчур простыми или общеизвестными. Тем не менее, лично мне этот текст помог упорядочить имеющиеся знания по анализу сложности алгоритмов. Надеюсь, что он будет полезен и кому-то ещё.
Из-за большого объёма оригинальной статьи я разбила её на части, которых в общей сложности будет четыре.
Я (как всегда) буду крайне признательна за любые замечания в личку по улучшению качества перевода.


Введение


Многие современные программисты, пишущие классные и широко распространённые программы, имеют крайне смутное представление о теоретической информатике. Это не мешает им оставаться прекрасными творческими специалистами, и мы благодарны за то, что они создают.

Тем не менее, знание теории тоже имеет свои преимущества и может оказаться весьма полезным. В этой статье, предназначенной для программистов, которые являются хорошими практиками, но имеют слабое представление о теории, я представлю один из наиболее прагматичных программистских инструментов: нотацию «большое О» и анализ сложности алгоритмов. Как человек, который работал как в области академической науки, так и над созданием коммерческого ПО, я считаю эти инструменты по-настоящему полезными на практике. Надеюсь, что после прочтения этой статьи вы сможете применить их к собственному коду, чтобы сделать его ещё лучше. Также этот пост принесёт с собой понимание таких общих терминов, используемых теоретиками информатики, как «большое О», «асимптотическое поведение», «анализ наиболее неблагоприятного случая» и т.п.
Читать дальше →
Total votes 106: ↑98 and ↓8+90
Comments27

Полезные консольные Linux утилиты

Reading time13 min
Views116K

В этой подборке представлены полезные малоизвестные консольные Linux утилиты. В списке не представлены Pentest утилиты, так как у них есть своя подборка.


Осторожно много скриншотов. Добавил до ката утилиту binenv.


binenv — cамая интересная утилита для установки новых популярных программ в linux, но которых нет в пакетном менеджере.

Читать дальше →
Total votes 96: ↑92 and ↓4+110
Comments110

8 команд для Python по работе с файлами и файловой системой, которые обязательно нужно знать

Reading time4 min
Views97K

Python становится все популярнее благодаря относительной простоте изучения, универсальности и другим преимуществам. Правда, у начинающих разработчиков нередко возникают проблемы при работе с файлами и файловой системой. Просто потому, что они знают не все команды, которые нужно знать.

Эта статья предназначена как раз для начинающих разработчиков. В ней описаны 8 крайне важных команд для работы с файлами, папками и файловой системой в целом. Все примеры из этой статьи размещены в Google Colab Notebook (ссылка на ресурс — в конце статьи).
Читать дальше →
Total votes 48: ↑34 and ↓14+32
Comments15

Как написать простого бота для ВК и Телеграм

Reading time14 min
Views65K


Мы уже упоминали, как мы предоставляем бесплатные VPS для студентов, чтобы они учились программировать. Один из наших подопечных Павел сделал простеньких телеграм и ВК ботов для FAQ. Они очень простые, тем не менее, начинающему программисту не помешают комментарии опытных ребят — поэтому публикуем его рассказ — Павел будет рад, если в комментариях ему дадут советы.
Читать дальше →
Total votes 27: ↑22 and ↓5+29
Comments12

Как искусственный интеллект научили решать диффуры

Reading time5 min
Views12K
Сегодня, в преддверии старта нового потока курса «Математика и Machine Learning для Data Science», делимся с вами полезным переводом статьи из MIT Technology Review о том, как исследователи Колтеха научили ИИ решать дифференциальные уравнения частных производных, зачем это нужно и как может изменить мир. Все подробности вы найдёте под катом.


Приятного чтения!
Total votes 20: ↑16 and ↓4+22
Comments9

Квантовое машинное обучение: знакомимся с Tensorflow Quantum

Reading time12 min
Views21K

На Хабре практически нет информации про квантовое машинное обучение (Quantum Machine Learning), и в этой статье я постараюсь подробнее раскрыть тему. Сразу скажу, что промышленных квантовых компьютеров сегодня не существует, все основные разработки в этой области носят теоретический характер, а задачу, которую мы будем разбирать в статье можно решить «по классике» за доли секунд. Но ведь еще 30 лет назад была так называемая «зима искусственного интеллекта», а сегодня нейронные сети буквально окружают нас. Кто знает, может быть вскоре и квантовые компьютеры станут неотъемлемой частью нашей жизни? К тому же область квантовых вычислений, а тем более область QML, обладает особой притягательностью и таинственностью и, как минимум, стоит быть замеченной.


Head image


В статье я постарался рассказать о QML в целом, а также об основном строительном блоке QMLVariational Quantum Circuit. Большую часть статьи я постарался сделать практической, c примерами кода на Cirq, а в конце — добавил реализацию одного из базовых алгоритмов QML на Tensorflow Quantum.

Читать дальше →
Total votes 26: ↑26 and ↓0+26
Comments9

Нобелевский лауреат по (математике?) о «Моде, вере, фантазии и новой физике Вселенной»

Reading time19 min
Views6.7K
image

Роджер Пенроуз стал лауреатом Нобелевской премии по физике 2020 года «за открытие того, что образование черных дыр является надежным предсказанием общей теории относительности».

Также Нобелевской премии по физике были удостоены Рейнхард Генцель и Андреа Гез «за открытие сверхмассивного компактного объекта в центре нашей галактики».

Роджер Пенроуз — член Лондонского королевского общества. Работает в различных областях математики, общей теории относительности и квантовой теории. Пенроуз — автор теорий, связанных с квантовым сознанием, квантовым скачком, квантовой биологией, автор книги «Мода, вера, фантазия и новая физика Вселенной», изданной в Издательстве «Питер».

Книга «Мода, вера, фантазия и новая физика Вселенной» основана на материале трех лекций, прочитанных Пенроузом в Принстонском университете. Автор и сам признает, что обычно мода, фантазия и вера совершенно не волнуют людей, всерьез изучающих первоосновы мироздания. Веру оставим церквям, моду – показам кутюрье, фантазию – писателям. Роджер Пенроуз на 500 страницах доказывает, что эти романтические слова могут быть важными в поисках фундамента Вселенной.
Читать дальше →
Total votes 12: ↑12 and ↓0+12
Comments37

Формат таблиц в pandas

Reading time4 min
Views67K

Если вы пока ещё не знаете как транслировать данные напрямую заказчику в подсознание или, на худой конец, текст сообщения в slack, вам пригодится информация о том, как сделать процесс интерпретации таблиц более быстрым и комфортным.


Например, в excel для этого используется условное форматирование и спарклайны. А в этой статье мы посмотрим как визуализировать данные с помощью Python и библиотеки pandas: будем использовать свойства DataFrame.style и Options and settings.

Читать дальше →
Total votes 13: ↑13 and ↓0+13
Comments14

Симуляция подъёмной силы Ньютона методом частиц на CUDA

Reading time22 min
Views14K

https://www.youtube.com/playlist?list=PLwr8DnSlIMg0KABru36pg4CvbfkhBofAi


Как-то на Хабре мне попалась довольно любопытная статья “Научно-технические мифы, часть 1. Почему летают самолёты?”. Статья довольно подробно описывает, какие проблемы возникают при попытке объяснить подъёмную силу крыльев через закон Бернулли или модель подъёмной силы Ньютона (Newtonian lift). И хотя статья предлагает другие объяснения, мне бы всё же хотелось остановиться на модели Ньютона подробнее. Да, модель Ньютона не полна и имеет допущения, но она даёт более точное и интуитивное описание явлений, чем закон Бернулли.


Основной недостаток этой модели — это отсутствие взаимодействия частиц газа друг с другом. Из-за этого при нормальных условиях она даёт некорректные результаты, хотя всё ещё может применяться для экстремальных условий, где взаимодействием можно пренебречь.


Я же решил проверить, что же произойдёт в модели Ньютона если её улучшить. Что если добавить в неё недостающий элемент межатомного взаимодействия? Исходный код и бинарники получившегося симулятора доступны на GitHub.


Перед тем как мы начнём, я бы хотел сразу обозначить, что это статься не о физике самой модели. Эта статья о GPGPU-программировании. Мы не будем рассматривать физические свойства самой модели, потому что она груба и не подходит для настоящих расчётов. И всё же, эта неточная модель даёт куда более интуитивное описание явления подъёмной силы, чем закон Бернулли.

Total votes 53: ↑52 and ↓1+64
Comments46

Как писать книгу по физике в LaTeX. Cтатья 1

Reading time26 min
Views36K
Это моя первая статья на Хабре.

Глава 1. Введение


1.1 Позвольте представиться и почему я это пишу

Я — научный сотрудник, физик. Недавно выпустил книгу по спектроскопии объемом 880 страниц и весом 1560 грамм. Эту книгу я писал 9 лет, параллельно читая лекции по ее содержимому. Она отняла у меня очень много времени, что естественно. Что не естественно — это то, что громадная часть потраченного времени ушла на оформление, то есть на изучение языка Латех. И это при том, что я на Латехе пишу всю жизнь, лично написал и опубликовал около 50 статей в разных издательствах.

В этой статье (планируется продолжение, но это как пойдёт) я хотел бы поделиться с читателями своими, с большими затратами полученными знаниями. Если читатель пишет только статьи, то моя статья ему не очень нужна — в ней собрано то, что требуется авторам больших книг.

После публикации книги (пока, увы, только на русском языке) у меня возникло громадное желание написать ещё книгу "Как написать книгу по физике в Латехе"
Читать дальше →
Total votes 90: ↑89 and ↓1+126
Comments100

Интерактивная визуализация алгоритмов на базе Jupyter

Reading time15 min
Views13K
Jupyter уже давно зарекомендовал себя как удобную платформу для работы в различных областях на стыке программирования, анализа данных, машинного обучения, математики и других. Вот например очень известная книга по анализу данных, состоящая из Jupyter блокнотов. Поддержка $\TeX$, markdown, html дает возможность использовать использовать Jupyter в качестве платформы для удобного оформления научного-технического материала. Преимущество таких блокнотов заключается в интерактивности, возможности сопровождать сухой материал примерами программ, при этом эта интерактивность очень естественна и проста в использовании. В этой статье хотелось бы рассказать про возможность создания в Jupyter анимированных примеров работы различных алгоритмов и привести несколько из них с исходным кодом. В качестве кликбейта алгоритм Дейкстры.


Читать дальше →
Total votes 23: ↑23 and ↓0+23
Comments3

Zero Inbox. Гайд по наведению порядка в почте

Reading time9 min
Views8.2K

Моему почтовому ящику на gmail много лет. Более десяти лет самостоятельного существования, а также в нем лежат архивы из других почтовых систем. Все эти годы я использовал его так как и нужно использовать умные продукты:


  • Не сортировал письма, так как для этого есть хороший поиск
  • Не удалял письма с большими вложениями, так как для этого есть куча пространства
  • Не категоризировал письма и позволял сервису обучаться на моих привычках, для автоматических эвристик

И это было чудесное время, пока мне не захотелось навести в нем порядок.


Задача навести порядок не была самоцелью, скорее меня начало раздражать что весь inbox завален каким-то мусором: заказы из магазинов, рекламные письма, обновления от почты, все это вперемешку с периодическими дайджестами и личной перепиской.


gmail inbox
^^ Это не настоящий скрин моей почты. Просто картинка для превью.

Total votes 6: ↑5 and ↓1+8
Comments14

Ресурсы для изучения Wolfram Language (Mathematica) на русском языке

Reading time7 min
Views104K

На протяжении довольно долгого времени я и мои коллеги, участники Русскоязычной поддержки Wolfram Mathematica, занимались разработкой и коллекционированием полностью бесплатных и качественных ресурсов на русском языке, которые позволили бы любому желающему научиться программировать на языке Wolfram Language (Mathematica) самостоятельно.

Думаю, что пришла пора рассказать об этом на Хабрахабре, создав статью о разрабатываемой коллекции ресурсов, которая будет постоянно расширяться и пополняться, и будет служить, по сути, русскоязычным аналогом страницы "Where can I find examples of good Mathematica programming practice?" на сайте Mathematica at StackExchange.com.
Читать дальше →
Total votes 30: ↑29 and ↓1+28
Comments11

Новое в Wolfram Language | Аналитическое решение уравнений в частных производных

Reading time6 min
Views24K

Перевод поста Devendra Kapadia "New in the Wolfram Language: Symbolic PDEs".
Код, приведенный в статье, можно скачать здесь.
Выражаю огромную благодарность Кириллу Гузенко KirillGuzenko за помощь в переводе и подготовке публикации
.
Уравнения в частных производных (УрЧП) играют очень важную роль в математике и ее приложениях. Их можно использовать для моделирования реальных явлений, таких как колебания натянутой струны, распространения потока тепла в стержне, в финансовых областях. Цель этой статьи — приоткрыть завесу в мир УрЧП (тем кто еще с ним не знаком) и ознакомить читателя с тем, как можно эффективно решать УрЧП в Wolfram Language, используя новый функционал для решения краевых задач в DSolve, а так же новую функцию DEigensystem, которая появилась в версии 10.3.

История УрЧП восходит к работам известных математиков восемнадцатого века — Эйлера, Даламбера, Лапласа, однако развитие этой области в последние три столетия так и не остановилось. И потому в статье я приведу как классические, так и современные примеры УрЧП, что позволит рассмотреть эту область знаний под разными углами.

Давайте начнем с рассмотрения колебаний натянутой струны с длиной π, закрепленной на обоих концах. Колебания струны можно смоделировать с помощью одномерного волнового уравнения, приведённого ниже. Здесь u(x,t) — вертикальное смещение точки струны с координатой х в момент времени t:


Читать дальше →
Total votes 12: ↑12 and ↓0+12
Comments2

Нелинейные дифференциальные уравнения, дискретность пространства-времени и эпсилон произведение

Reading time37 min
Views24K
Всё содержание этой статьи является следствием решения задачи уровня первого года институтского курса математического анализа.

Здесь мы вводим новое произведение для решетчатых функций (мы будем называть его эпсилон-умножением), что дает нам возможность увидеть интересную связь между интегрально-дифференциальными уравнениями (в том числе и нелинейными) и рекуррентными соотношениями. Это позволяет с необычного ракурса взглянуть на некоторые методы их решения.

Но, что мне показалось особенно интересным, это то, что новое произведение также позволяет нам «порассуждать» о таких фундаментальных вещах, как непрерывность пространства-времени. Это рассуждение, конечно, нужно рассматривать, скорее, как интеллектуальное упражнение.

Мне показалось, что этот математический ребус или, если хотите, небольшое математическое путешествие на уровне знаний первого-второго курса технического ВУЗа может заинтересовать читателей Хабра, интересующихся математикой.
Читать дальше →
Total votes 28: ↑28 and ↓0+28
Comments45

Ляпы и загогулины. 2

Reading time14 min
Views4.6K
Продолжаю тему ляпов и загогулин, начатую в статье “Ляпы учебников и курьезы учебы”. Напоминаю определения:
  • Ляп – явная или завуалированная ошибка, не носящая, впрочем, фундаментального характера, так что помучившись можно её исправить.
  • Загогулина – фраза, тема, изложенная так, что для ее понимания требуется поломать голову(обычную, не гения и не таланта).


1. Что такое простота формулы?


Возьмем книгу “Теория вероятностей. Основные понятия. Предельные теоремы. Случайные процессы», Ю.В.Прохоров, Ю.А.Розанов,”Наука”, 1967.
Цитирую текст на стр 14:
“Формула Стирлинга. Во всех приведенных выше формулах встречается выражение $n!=n(n-1)…1$. Непосредственное вычисление такого произведения при больших n весьма трудоемко. Существует сравнительно простая формула, дающая приближенное значение для n!, называемая формулой Стирлинга: при больших n

$n! \backsim \sqrt{2πn}n^n e^{-n}$


Подобная фраза встречается и в других книгах и в интернете.
Читать дальше →
Total votes 14: ↑5 and ↓9+1
Comments22
1

Information

Rating
Does not participate
Registered
Activity