NumPy, пособие для новичков. Часть 1

[@knups]

Вы напомнили мне про NumPy и про то, что я с ней не работал)

[@LeoMat]

Звучит, как воспоминание о боевой подруге.

[@hellman]

Из той же оперы еще SymPy неплох.

[@LeoMat]

Соглашусь с тем, что неплох. Я уже описывал его в курсе на Викиверситете, как пример отличной библиотеки для символьных вычислений. Но то, что из одной оперы, то здесь композиторы совсем разные и по большей части для разных вещей. Хотя в SymPy тоже поддерживаются, например, операции с линейной алгеброй.

[@hellman]

Да, SymPy удобен для операций с различными уравнениями, системами. А про оперу, я имел ввиду научное направление :) Хотя NumPy вообще много для чего удобен

[@MihailOlenin]

А еще массивы numpy без шаманства пиклятся и передаются в динамические библиотеки.

[@LeoMat]

Да, например, с помощью ndarray.dump(file).

[@MihailOlenin]

Если, что то это было утверждение =)
Просто данная функциональность немаловажна при многопоточном счете большого количества данных (например, вычислительная аэродинамика), когда требуется много перекидывать между потокамии и передавать в счетные библиотеки.

[@LeoMat]

Да, это я что-то вроде как кивнул.

[@hx0]

Спасибо! А то вроде как простых туториалов для numpy и нет, а в каком-нибудь проекте используешь списки — и все пинают в numpy — да и действительно, он значительно быстрее.

[@hx0]

Странно, что такие статьи не особо ценят.

И вот, назрел вопрос: как обрабатываются вещи типа a[1, :, ...] с точки зрения синтаксиса языка?

[@LeoMat]

Точно также. То же самое, что a[1, ...] и что просто a[1]. Легко проверяется в интерактивном режиме. Или в чем вопрос?

[@hx0]

Насколько я знаю, такое обращение вызывает магический метод типа __getitem__ или __getslice__. Что же ему передаётся в параметрах?

[@hx0]

Исследовал этот вопрос:

In [3]: class X:
...: def __getitem__(self, x):
...: print x
...:
...:

In [4]: X()[1,...]
(1, Ellipsis)

[@hx0]

При этом просто многоточие является ошибкой — это видимо синтаксический сахар только для квадратных скобок.

[@davinchi]

Да. Это спец объект Python под названием Ellipsis.

[@davinchi]

Хорошая статья. Вот только NumPy это не расширение для языка Python, а модуль для CPython. Как мне его не хватает в PyPy :-(

[@qmax]

а позвольте поинтересоваться, каковы причины необходимости именно PyPy?

[@davinchi]

Эм. Многократное ускорение?

В частности, на raytrace коде он даёт почти десятикратное увеличение скорости работы.

[@magik]

Спасибо, хорошая статья, я для себя даже кое-что новое узнал :)) Ну и за ссылку, данкешон :)

[@qmax]

хотелось бы не сухих комментариев к мануалу, а реальных примеров решения классических задач (3d графика, convex hull, voronoi, итп.)

[@LeoMat]

Это прямой перевод пособия, размещенного на сайте. В нем рассматриваются общие вопросы работы с массивами, само название говорит, для чего оно нужно. Более специфическим вопросам будут посвящены другие топики.

[@davinchi]

scipy/numpy не умеют convex hull. см delaunay package, который всё равно не pure python.

что вы понимаете под '3d графика'?

[@davinchi]

delny package: bitbucket.org/flub/delny

[@davinchi]

Вру, умеют: scipy.spatial.qhull

[@qmax]

ну так это обёртка к «канонической» C-шной реализации.
numpy тут вобще ни при чом.

[@davinchi]

Как это «не причём»?

Вы исходник scipy.spatial.qhull видели, прежде чем хоть какие-то выводы делать?

Если нет — показываю:

Файл: scipy/scipy/spatial/qhull.pyx

import numpy as np
cimport numpy as np

[@qmax]

Что-то сомневаюсь, что интерфейс к сишной реализации хорошо иллюстрирует применение numpy в питоне.

[@davinchi]

Уверен, что неплохо продемонстрирует применение numpy в pyrex'е.

Это я к тому, что numpy тут вообще-то причём.

[@qmax]

я имел ввиду именно примеры решения задач с использованием numpy, чтобы, так сказать, наглядно продемонстрировать приемущества использования в этих задачах numpy перед pure python.

в 3d графике используются вектора, а также матричная арифметика (причом в каждой 3д или игровой библиотеке реализованы свои вектора и матрицы, с шахматами и поэтэссами)

[@davinchi]

Я попробовал взять toy raytracer'ер[1] и заменить в нём их классы Vector и Point на numpy массивы получается обратная ситуация — код замедляется. Это, видимо, связано с тем, что проще перемножить/сложить 3 числа так, чем переходить для этого в C код Numpy. Я глубоко не копал в этом, точно сказать немогу.

При этом, если запустить код под pypy-c-jit, то pure python без Numpy выигрывает в несколько раз по сравнению с кодом с CPython + numpy.

Я прямо сейчас занимаюсь тем, что пишу 3d графику для Python. Правда, задача у меня несколько специфичная.

[1] www.lshift.net/blog/2008/10/29/toy-raytracer-in-python

[@qmax]

ну или вообще — для чего нужен этот numpy, в каких задачах его применение оправдано, а в каких нет.

[@AlienZzzz]

У меня вопрос. я как раз смотрел на эту либу:

Есть вариант такой

объект A, у него есть характеристики ( Цвет: Зеленый, размер: 10, вес: 100, противоводный: ДА )
объект B, у него есть характеристики ( Цвет: Красный, размер: 10, вес: 90, противоводный: НЕТ )
объект C, у него есть характеристики ( Цвет: Зеленый, размер: 10, вес: 100, противоводный: ДА )
объект D, у него есть характеристики ( размер: 10, вес: 100, противоводный: ДА, Скидка: ДА )

Нужно если например На входе фуннкции объект A, построить объекты в таком виде

объект C
объект B
объект D
т.е. объект С наиболее схож с объектом А и так далее.

Как я понимаю эту задачу я могу решить с этой либой ( п.с. размер: 10, вес: 100 — канечно это все будет идентификаторы, типа prp_id = 1( свойство размер), p2w_id= 2( значения свойства размер = 10),
prp_id = 2( свойство вес), p2w_id= 3( значения свойства размер = 100) )

) буду раз если Камрады помогут решить эту задачу.

Сейчас это все делаеться обходом цыкла, но хочеться красоты и прочего)

Ну и вторая задача выходит из этого

на входе: Цвет: Зеленый, размер: 10, вес: 100, на выходе все тот же список объектов, наиболее релевантные по входным параметрам.

[@poddubny]

Скажите пожалуйста, а можно ли выбирать конкретные столбцы в массиве?
Например, имея массив
array([[ 7., 5., 9., 3.], [ 7., 2., 7., 8.], [ 6., 8., 3., 2.]])
я хочу выбрать первый и 4й столбцы, чтобы получить
array([[ 7., 3.], [ 7., 8.], [ 6., 2.]])
Можно ли это сделать просто что-то типа array[:,0::4]?

[@kruft]

случаем обычный питоний zip в np не перегружен ли?

[@ciscodude]

лучше поздно, чем никогда, может кому-то пригодится

import numpy as np

a = np.array([[7., 5., 9., 3.],
              [7., 2., 7., 8.],
              [6., 8., 3., 2.]])

print(a[:, [0, 3]])

[[ 7. 3.] [ 7. 8.] [ 6. 2.]]

[@devidark]

Отличный мануал, спасибо!

Только видимо что-то отъехало в хабре — html-код в примерах какой-то полез.

[@LeoMat]

Да, исходно все было в порядке.

[@roller]

Все бы хорошо, если бы не поехавшая верстка (