cleg Jul 28 2008 at 17:53

Основы Python — кратко. Часть 4. Генераторы списков

3 min

220K

Comments 83

habamax Jul 28 2008 at 18:34

> к которой можно отнести и создание новых списков, и модификацию существующих.
Как, используя list comprehension, модифицировать существующий список?

Restorer Jul 28 2008 at 20:29

думаю что никак.
хотя в питоне и можно при генерации модифицировать исходный список, но новый всё равно создаётся.

tom Jul 28 2008 at 18:44

От условия в цикле можно избавиться используя defaultdict(int).

tom Jul 28 2008 at 18:49

Еще можно красиво посчитать суммарный трафик:
print "Total traffic: %d bytes" % sum (bytes for (ip, bytes) in lst)

cleg Jul 28 2008 at 22:05

спасибо, вы мне подсказываете поле дял будущей деятельности далеко вперед :)

habamax Jul 28 2008 at 18:49

Есть еще замечательная штука generator expressions, похож на list comprehension, только создается не список, а его элементы. :) Памяти ест намного меньше. Как-то так. :)

tom Jul 28 2008 at 18:51

Так и называется, потому что создается генератор элементов :)
Генераторы вообще отличная штука.

cleg Jul 28 2008 at 22:04

и итераторы, и декораторы и многое другое :)

the_bee Jul 29 2008 at 00:35

List comprehension - это и есть генератор, пропущеный через функцию list() путём помещения в квадратные скобки. А вот если всё так не упрощать, можно получить всякие замечательные штуки, например, объект, генерирующий бесконечную последовательность, элемент за элементом.

masai Jul 28 2008 at 18:51

Понятно, конечно, что xrange в первом примере статьи использовался как пример к последующему материалу, но применение range для создания списка нечетных числе выглядит более очевидным, да и работает быстрее. Впрочем, в Python 3000, если не ошибаюсь, range приобретет поведение xrange, а последний исчезнет.

Спасибо за статьи!

Joka Jul 28 2008 at 19:02

dic.has_key(x) не быстрее x in dic ??

tom Jul 28 2008 at 19:09

Вызов метода происходит дольше. И вообще, метод has_key, вроде, устаревшим уже считается.

cleg Jul 28 2008 at 22:06

именно. :) мне пришлось переучиваться.
кстати, open вроде тоже depricated... надо пользовать file.

khayrov Jul 28 2008 at 22:08

По крайней мере для 2.5 документация рекомендует для открытия файлов использовать именно open, а file оставить как тип. Поменялось ли что-то по этому поводу в 3.0, не помню.

cleg Jul 28 2008 at 22:28

http://docs.python.org/lib/bltin-file-ob…
или я что-то неправильно понял?

khayrov Jul 28 2008 at 22:41

То, что file новее open и идентичен ему, не значит, что старая функция стала deprecated. Раздел built-in functions рекомендует семантическое разделение, которое я полностью поддерживаю.

cleg Jul 29 2008 at 00:06

ну не от скуки ж ее объявили "оставленной для совместимости" :)

khayrov Jul 29 2008 at 00:15

Где именно?
Кстати, я сейчас быстренько собрал 3.0b2, и там file даже нет в built-ins, в отличие от open.

cleg Jul 29 2008 at 09:28

file() is new in Python 2.2. The older built-in open() is an alias for file().
ну да, в принципе это не deprecation. но меня слово older настраивает на минорный лад

mas Jul 29 2008 at 00:25

for line in file читается лучше, чем for line in open.

khayrov Jul 29 2008 at 00:53

Это уже субъективизм полнейший.
Я обычно пишу for line in some_file и some_file закрываю явно или с помощью with ... as

UFO landed and left these words here

mas Jul 30 2008 at 08:56

Советуют использовать k in a.

alex_blank Jul 28 2008 at 19:58

"list comprehensions" часто переводят, как "генераторы списков"

SCode Jul 28 2008 at 19:58

фак май брайн!
А питон, я на него смогу перейти с php?

sir_Jack Jul 28 2008 at 20:09

разумеется перейдешь) я с нуля питон осознал за 30 минут.. :) До этого вообще ни на чем не программил :) Отличный язык)

SCode Jul 28 2008 at 20:25

Ну ты меня успокойил, может у мну моск не столько функционален как твой))
попробуем

cleg Jul 28 2008 at 22:10

так ты можешь все это не использовать пока. Пайтон не Хаскелл. в нем ФП - приятное дополнение, а не необходимость. пока можешь писать императивно, а потом использовать все что хочется :)

masai Jul 29 2008 at 02:32

Ну, те же генераторы — это уж отголоски ленивых вычислений. Так что потихоньку различия стираются. :)

masai Jul 28 2008 at 20:30

Перейти с PHP на Python легко, а вот обратно сложновато. Потому что не хочется. :)

SCode Jul 28 2008 at 21:26

Ммм.. заинтриговал!

cleg Jul 28 2008 at 21:57

в точку. не могу использовать РНР хотя и пытался :(

SCode Jul 28 2008 at 22:45

питон на то и питон, задушил?? ))))

proxor Jul 29 2008 at 05:28

Да бросьте. Вполне нормально использую оба языка. Никаких проблем не заметил :)

ksi Jul 28 2008 at 20:07

Раз уж проскочила lamda, дальше лучше про функциональное программирование. За статьи спасибо. Давно хотел почитать, но было лень, а тут все готовое :)

termt Jul 28 2008 at 20:23

Спасибо за статью. Примеры достаточно интересные, вроде бы и раньше про это знал, однако на практике часто забываю.
"# 2 заполняем словарь" можно чуток сократить
rmp = {}
for ip, traffic in raw:
rmp[ip] = rmp.get(ip, 0) + int(traffic)

cleg Jul 28 2008 at 22:12

можно. я пытался не запутать все совсем окончательно :)

tom Jul 29 2008 at 07:04

from collections import defaultdict
rmp = defaultdict(int)
for ip, bytes in raw:
rmp[ip] += int(bytes)

Так гораздо приятнее, по-моему :)

cleg Jul 29 2008 at 09:46

вариант не мой, но внушает :)

l = (lambda f:

     (lambda l: l.sort(reverse = True, key = lambda (k, v): v) or l)(

          (lambda m, f:

               filter(

                    lambda (i, t):

                         m.__setitem__(i, m.get(i, 0) + int(t)),

                    [j.split(' ') for j in file(f, 'r').readlines()]

               ) or m.items()

          )({}, f)

     )

)('in.txt')



print '\n'.join('%s = %d' % (i, t) for (i, t) in l)

свернуть по вкусу.

tenshi Jul 29 2008 at 10:41

тут примеры покруче ;-)
http://ru.wikipedia.org/wiki/Brainfuck

gvidon Jul 29 2008 at 13:17

руки б за такие "варианты" поотрывал...
lftltltllormjijk - может еще так начнем писать?;)

cleg Jul 29 2008 at 15:12

это - всего лишь концепт. для демонстрации идеи что всем можно довести до безумия :)

Joka Jul 28 2008 at 20:26

на счет дельнеших уроков - я за ООП.. ибо питон сам по себе ООП язык - он на это больше их ориентирован

masai Jul 28 2008 at 20:39

Присоединяюсь! Хотелось бы почитать о «new-style» классах.

m4spam Jul 29 2008 at 09:24

class MyClass:
# old-style class
pass

class MyClass(object):
# new-style class
pass

Как-то так (:

pleax Jul 29 2008 at 10:14

ага, только еше super, mro и метапрограммирование.

pleax Jul 29 2008 at 10:17

ага, только еще super, mro и метапрограммирование.

m4spam Jul 29 2008 at 11:32

Может быть, ты тоже что-нибудь о python напишешь? Хотя бы в личный блог.
Например о том же мета-программировании, с практическими примерами и домашним заданием.

masai Jul 30 2008 at 01:27

Ну, это-то я знаю... Хотелось бы почитать про идеологические различия и про то, почему в Python 3000 все классы станут «new-style».

p0is0n Jul 28 2008 at 20:45

Раз уш использовали xrange то и вместо for name, salary in dic.items() лучше for name, salary in dic.iteritems() :)

А вообще спасибо) давайте продолжим ООП?)

GAZone Jul 28 2008 at 21:24

Вы бы добавили про разницу range и xrange...
range создает список, а затем по нему проходит. Если список очень большой, то он будет жить в памяти и сожрет много ресурсов.
xrange возвращает "xrange object". Каждый элемент поочередно создается и передается, затем память освобождается.

Например, x = range(0,10) создаст list и передаст его переменной x.
>>> print x
[1, 2, 3, 4, 5, 6, 7, 8, 9]

С xrange такой фокус не прокатит:
>>> x = xrange(0,10)
>>> print x
xrange(10)

Joka Jul 28 2008 at 21:34

это уже было в предыдущем уроке ;)

GAZone Jul 28 2008 at 21:36

Мда? Что-то пропустил, сорри :)

GAZone Jul 28 2008 at 21:38

Сейчас специально слазил - там нет ни слова про xrange :)

cleg Jul 28 2008 at 22:18

прошу прощения, мой косяк. мне упорно казалось что это я объяснил :(

p0is0n Jul 28 2008 at 22:03

Вместе с генераторами и расскажут;)

redchrom Jul 29 2008 at 03:29

Кстати в python 3000 range будет ленивым, т.е. вместо range будет xrange. Ленивыми также будут map/filter и т.д.

Tonik Jul 28 2008 at 21:26

Спасибо, очень интересно и практично. Не оторвано от реально жизни...
Как по мне, так ООП и так мейн стрим, найти инфу, что про него, что про ООП в питоне ю не так уж и сложно.
А вот с функциональным, все гораздо печальней. Найти материал, для чего функциональное программирование может быть полезным, не математику да еще и в питоне, не такто легко.
Так что обеими руками за функциональное программирование.

cleg Jul 28 2008 at 22:20

http://www.developers.org.ua/archives/ad…
вот неплохая статья "зачем" :) а "как" - постараюсь вскоре рассказать :)

Tonik Jul 28 2008 at 23:53

Спасибо за ссылку! Кажется даже читал в свое время :)
Но опять же, даже эта статья не дает простых, чётких примеров. Она интригует и манит, обещая невероятные чудеса... но не показывает их :)
Хотя думаю на деле все проще, и разница примерно как между Windows vs Linux. Фанаты спорят до хрипоты, а разумные так или иначе используют и то и другое. :)
Поэтому очень хочется увидеть в примерах, как это может упростит наш тяжелы, бессмысленный труд :)

PS - чую, что как человеку разрабатывающему на JavaScript, многие вещи окажутся очень знакомыми. Я же правильно понимаю, что анонимные ф-ции, замыкания и map reduce это все из ф-циональной оперы?

cleg Jul 29 2008 at 00:05

в общем - по всем пунктам вы правы. даже и добавить нечего :)

tenshi Jul 29 2008 at 11:34

нет, функции высшего порядка, замыкания и свёртки не являются прерогативой фп. лексические замыкания, например, появились первыми в императивных языках, потом их подхватили функциональные, потом императивные позаимствовали у функциональных функции высшего порядка и свёртки.

tenshi Jul 29 2008 at 11:49

точнее сказать, свёртки можно было создавать на императивных языках и раньше, но в этом небыло особого смысла ввиду отсутствия функций высшего порядка.

bubuq Jul 28 2008 at 21:31

list comprehension => списковое включение (?)

cleg Jul 28 2008 at 21:59

возможно. не могу спорить, но мне этот термин почему-то кажется каким-то громоздким и непонятным. ъотя омжет я не прав.

khayrov Jul 28 2008 at 22:32

Общепринятого перевода нет, насколько я знаю, даже для соответствующего теоретико-множественного понятия, от которого и пошёл английский термин. Все равно тащить математические истоки не получится, ZF-нотация будет звучать совсем дико. Списковые включения, списковые выделения…

redchrom Jul 29 2008 at 03:26

>print "\n".join(["%s = %d" % (name, salary) for name, salary in dic.items()])
моожно так print "\n".join("%s = %d" % (name, salary) for name, salary in dic.items())
Ваш вариант генерит список и он отдаётся дойну, второй вариант создаёт генератор на пододе xrange.
А вообще продолжайте в том же духе, пусть народ пишет на питон "правильно" :)

cleg Jul 29 2008 at 09:32

у меня цель была - продемонстрировать list comprehensions в работе.
если захотеть, можно этот пример в однострочник свернуть, но смысл?

tenshi Jul 29 2008 at 09:51

if ip in rmp: rmp[ip] += int(traffic)
else: rmp[ip] = int(traffic)

ужос. так нельзя?

if ip in rmp: rmp[ip] = ( rmp[ip] || 0 ) + int(traffic)

tenshi Aug 31 2008 at 15:18

всмысле, просто: rmp[ip] = ( rmp[ip] || 0 ) + int(traffic)

Ferroman Jul 29 2008 at 16:34

А на хабре никак нельзя использовать подсветку кода? Ну или хотя бы форматирование что бы сохраняло - удобнее читать. А то через строчку - неудобно, да и преимущество форматирования табами - не так заметно.
Ну и стоило сказать,что не надо увлекаться подобного рода сахаром в явный ужерб читабельности :)

cleg Jul 29 2008 at 17:29

подсветку - только сторонними "раскрашивалками". для пайтона я пока не нашел подходящей.
а большие интервалы между строками - "фича" работы тега pre

Ferroman Jul 29 2008 at 17:34

Ядумаю, любая из популярных подойдёт. Не понравится - замените.
Всё лучше чем плейн-текстом. Эта "фича" - сильно глаз режет.

cleg Jul 29 2008 at 18:12

честно. я нашел парочку, но они дают хабронесовместимый код. так что я не знаю пока что делать...

mPuT Nov 1 2008 at 04:18

Скажите, а продолжение будет?
И не подскажите где можно найти разнообразных задачек?

cleg Nov 1 2008 at 11:41

продолжение, надеюсь будет… когда будет время :(
а задачки — попробуйте Python Challenge — там их дико много…

mPuT Nov 4 2008 at 17:15

А на русском?

cleg Nov 4 2008 at 17:23

я не знаю, к сожалению.

kimitake Jan 16 2009 at 11:24

спасибо за хороший цикл статей, надеюсь, что напишите-таки продолжение.

и просьба-совет — было бы очень удобно, если бы в начале давались ссылки на остальные статьи этого цикла.

L0rdJ Jan 31 2010 at 01:44

Действительно отличный цикл статей для людей, который вообще с пайтоном не знакомы (как я :)).
Но последний пример можно реализовать в 8 строк читаемого кода на PHP (в примере я насчитал 10):

L0rdJ Jan 31 2010 at 01:44

$lines = file( 'ip.log' );
$data = array();
foreach( $lines as $line ) {
$lineData = explode( ' ', $line );
$data[ $lineData[0] ] = isset( $lineData[0] )? $data[ $lineData[0] ] + $lineData[1]: 0;
}
arsort( $data );
var_dump( $data );

L0rdJ Jan 31 2010 at 01:46

В будущем, хотелось бы почитать об ООП в пайтоне, и если можно, сравните реализацию ООП с PHP

cleg Jan 31 2010 at 16:41

если поставить за цель — в пайтоне можно строки в 4-5 уложиться. но сильно в ущерб читабельности это ж просто учебный пример.