sagod 9 апр 2012 в 18:43

Парсим Python код с помощью Flex и Bison

6 мин

33K

Веб-разработка*Программирование*C++*

Из песочницы

+36

Комментарии 28

hellman 9 апр 2012 в 19:53

Жаль не на питоне…

+10

garex 9 апр 2012 в 22:59

Боюсь быть КО, но «The main project languages are C and C++» :)

-1

НЛО прилетело и опубликовало эту надпись здесь

just_wow 9 апр 2012 в 20:12

И чем же bison/flex лучше нежели docs.python.org/library/ast.html?

sagod 9 апр 2012 в 20:35

Мне сложно ответить на ваш вопрос, так как я никогда не использовал указанный вами инструмент.
Но могу аргументировать свой выбор: в мой код встраиваются функции из написанной на C библиотеки (http://goo.gl/0Kx5B).

just_wow 9 апр 2012 в 21:48

Python из коробки решает и эту проблему при помощи docs.python.org/library/ctypes.html

-1

rumkin 9 апр 2012 в 22:51

Как же вы надоели, злобные потребители готового! Идите сюда pypi.python.org/pypi/ и разводите свои холивары, а мне нужны пимеры bison+flex с форматированием на отступах.

just_wow 9 апр 2012 в 22:58

Ну что вы, в самом деле. Может человек просто не в курсе был, что такие библиотеки существуют. А то сразу, «холивар, холивар»…

НЛО прилетело и опубликовало эту надпись здесь

rumkin 10 апр 2012 в 01:08

Опять-25! До C++ тоже были объектные обертки, до jQuery js-фреймворки, до node.js серверный javascript, до MongoDB документарные базы данных, до Apple наладонники с тачскрином и GSM-модулем, до Феррари спортивные автомобили, до Теории относительности теории пространства и времени… Продолжать?

НЛО прилетело и опубликовало эту надпись здесь

rumkin 11 апр 2012 в 01:03

… к слову для питона полно парсеров...

По-моему, здесь дана достаточно узкая тема, чтобы ее не превращать в холивар на тему изобретения велосипедов.

НЛО прилетело и опубликовало эту надпись здесь

rumkin 11 апр 2012 в 05:30

Тогда, почтеннейше прошу простить! Спасибо за ссылку )

НЛО прилетело и опубликовало эту надпись здесь

lunat1k 9 апр 2012 в 22:28

Так же не интересно) Проект родился в недрах вуза и решал скорее образовательную задачу нежели привносил чтото сильно новое. Так что результат это багаж знаний который человек получил в ходе работы. Но заказчику этой фичи я обязательно ткну носом в pycallgraph, спасибо =)

НЛО прилетело и опубликовало эту надпись здесь

mejedi 10 апр 2012 в 00:09

В продукции class_arg у вас баги (допускает например следующее: ID ID ID...,, ,).

sagod 10 апр 2012 в 00:52

Спасибо, исправил.

mejedi 10 апр 2012 в 00:13

Тут, на самом деле, можно было обойтись регулярным выражением, но тогда не получится верно определить номер строки — мы не сможем узнать количество съеденных регэкспом строк (или сможем? если да — пишите способ).

YY_USER_ACTION

to_climb 10 апр 2012 в 18:51

И определить его, например, так:

static void updateLocation()
{
	// Начало токена
	yylloc.first_line = line_number;
	yylloc.first_column = column_number;

	// Новое смещение
	for( int i = 0; i < yyleng; i++ ) {
		if( yytext[i] == '\n' ) {
			line_number++;
			column_number = 1;
		} else {
			column_number++;
		}
	}

	// Конец токена
	yylloc.last_line = line_number;
	yylloc.last_column = column_number;

	printf( "%s", yytext );
}

(yylloc есть в справке bison'а)

mejedi 10 апр 2012 в 00:21

И мне ваш способ обработки вложенности не нравится — вам отдельный стек потребовался, а можно было средствами бизона сделать. Для этого достаточно было из лексера генерировать токены INCREASE_INDENT, DECREASE_INDENT в начале строк, и вписать их в грамматику.

Saturn812 10 апр 2012 в 09:57

Поправьте, если не прав, но разве из вашего мини-графа(где sign: PLUS | MULT) 3 + 4 * 15 не следует то, что он сначала прибавит 3 и 4, и затем сумму умножит на 15?