Статья не имеет цели доказать важность и необходимость существования документа «Текст программы» и, тем более, необходимость его разработки в виде документа, которым кто-то когда-либо воспользуется. Цель статьи показать основы автоматизации обработки документов формата *.doc (*.docx) с использованием скриптов, написанных на языке Python.
Документ «Текст программы» (далее – Документ) входит в состав комплекта программных документов, перечень которых определен ГОСТ 19.101-77. ГОСТ, бесспорно, достаточно старый, однако его требования до сих пор востребованы при разработке программной продукции, соответственно требуется и разработка рассматриваемого Документа.
Содержание Документа определено ГОСТ 19.401-78 и должно включать в себя либо символическую запись на исходном языке, либо символическую запись на промежуточных языках, либо символическое представление машинных кодов (и т.п.).
Учитывая объемы современных веб приложений, разрабатываемых с использованием нескольких фреймворков, подготовить данный документ без использования автоматизации достаточно сложно.
Возможно два варианта создания документа:
разработчики собирают содержание всех файлов проекта в один текстовый файл и передают техническому писателю на обработку;
разработчики передают техническому писателю архив с файлами проекта, которые технический писатель должен обработать сам.
Первый вариант зависим от загруженности разработчиков. Чтобы сформировать текстовый файл с кодом программы, кто-то из команды разработчиков должен отвлечься, выгрузить код проекта из репозитория, написать программу, которая обработает выгруженный код и выдаст текстовый файл. Файл может быть размером как в пару мегабайт, так и в пару сотен мегабайт, его нужно вставить в Документ и как-то оформить. Вставка такого объема информации в файл Microsoft Word может занять как 30 минут, так и несколько часов. При этом, когда вставка будет завершена, Документ будет не структурирован и не читаем.
Второй вариант зависим от технических навыков исполнителя, но предпочтителен с точки зрения отсутствия необходимости привлечения людей, не имеющих отношения к разработке документации, вследствие чего будем автоматизировать именно этот вариант.
Автоматизация рассматриваемого Документа заключается в том, чтобы перенести текст кода программы в документ с заданным форматированием и структурой, чтобы в дальнейшем им можно было воспользоваться (маловероятный, но имеющий право на жизнь вариант использования).
Файл формата Microsoft Word (*.doc, *.docx) представляет собой набор данных в разметке xml. Файл имеет такие атрибуты, как параграф, рисунок, таблица, стиль. Для доступа к файлу и его атрибутам Microsoft в свое время была разработана технология OLE (Object Linking and Embedding). OLE позволяет передавать часть работы от одной программы редактирования к другой и возвращать результаты назад.
Библиотеки, осуществляющие взаимодействие с файлами офисного пакета Microsoft Office с использованием технологии OLE, есть практически для всех языков программирования. Для Python это библиотека python-docx. Описание библиотеки доступно по ссылке. Установить библиотеку можно командой:
!pip install python-docxОбщий алгоритм разработки Документа представляет собой последовательность шагов:
Подготовка шаблона документа;
Подготовка скрипта сборки на Python;
Обновление содержания и числа страниц;
Сохранение в PDF.
Шаг 1
Конечный Документ проще сформировать на основе заранее подготовленного шаблона (например файл с именем template.docx). Форматирование и атрибуты (наименование программы, разработчик, децимальный номер, аннотация, текст основной части) шаблона Документа должны соответствовать ГОСТ 19.104-78.
Кроме требований ГОСТ шаблон Документа должен удовлетворять следующим требованиям (последовательность шагов описана для Microsoft Word 2019):
иметь поле автоматического подсчета числа страниц в строке «Листов …»:
иметь предопределенные стили для заголовков уровня 1, 2, 3, а также для кода:
иметь поле автоматической сборки содержания:
заголовки уровня 1, 2, 3 должны переноситься в содержание (Ссылки→Оглавление→Настраиваемое оглавление→Параметры→Выбрать созданные стили и присвоить им уровень);
шаблон документа должен содержать фразу, на место которой будет вставлен код программы, выполненную в необходимом стиле, например «<КОД ПРОГРАММЫ>».
Шаг 2
Папка с проектом содержит значительное число файлов, часть которых не являются кодом. К ним относятся графические файлы интерфейса программы, файлы фреймворков, а также файлы программ, используемых в процессе разработки и оставляющих после себя следы (GIT, SVN, Docker). Все эти файлы необходимо отфильтровать.
Функция, которая будет отфильтровывать только файлы, удовлетворяющие условию, выглядит следующим образом:
def check(string):
result = False
if string[-3:] == '.js':
result = True
if string[-4:] == '.vue':
result = True
if string[-5:] == '.json':
result = True
if string[-4:] == '.css':
result = True
return resultЧтобы получить список файлов, удовлетворяющих условиям фильтра, сначала необходимо получить список всех каталогов в директории проекта:
folder = []
for i in os.walk(folder_name):
folder.append(i)Из полученного списка каталогов читаем имена всех файлов во всех директориях проекта, и те, которые удовлетворяют условиям фильтра, складываем в отдельный список:
paths = []
for address, dirs, files in folder:
for file in files:
if check(file):
paths.append(address+'\\'+file)Перед обработкой полученного списка файлов необходимо подготовить функцию, которая будет считывать содержимое файла в одну строку с сохранением разметки переносов строк. Это необходимо для дальнейшего ускорения вставки кода в Word.
def read_file(filename):
f = codecs.open(filename, "r", "utf_8_sig" )
file = []
for line in f:
file.append(line)
file = ''.join(file)
f.close()
return fileИспользуя функцию read_file, считываем содержимое отфильтрованных файлов, попутно вставляя строки-разделители каталогов и файлов. Это понадобится для автоматического формирования содержания.
total_code_file = []for i, path in enumerate(paths):
if i == 0:
catalog = path[folder_name_len:].split('\')[1]
total_code_file.append('Каталог '+catalog+'\n')
if path[folder_name_len:].split('\')[1] != catalog:
catalog = path[folder_name_len:].split('\')[1]
total_code_file.append('Каталог '+catalog+'\n')
total_code_file.append('Файл '+path[folder_name_len:]+'\n')
total_code_file.append(read_file(path))
total_code_file += '\n'Для переноса полученного кода программы подключаемся к документу, ищем контрольную фразу, заменяем ее на пустую строку и начинаем вставлять полученный код. Если код содержит слово «Каталог», форматируем его в стиле заголовка 2 уровня, если содержит слово «Файл» – в стиле заголовка 3 уровня, остальной текст форматируем в стиле кода программы:
doc = Document(sample_file)
for p in doc.paragraphs:
if '<КОД ПРОГРАММЫ>' in p.text:
p.text = ''
for line in total_code_file:
if line.rstrip() > '' and line.split()[0] == 'Каталог':
p.insert_paragraph_before(line.rstrip(), 'ЗАГ_2')
elif line.rstrip() > '' and line.split()[0] == 'Файл':
p.insert_paragraph_before(line.rstrip(), 'ЗАГ_3')
else:
p.insert_paragraph_before(line.rstrip(), 'КОД')По завершении сохраняем документ. Программная обработка документа завершена.
doc.save(filename+'.docx')Шаг 3
После вставки текста программы в Документ необходимо открыть его в Microsoft Word, выделить все (Ctrl+A) и обновить автозаполняемые поля (F9). Данную операцию необходимо выполнить дважды, так как поля обновляются последовательно, и после формирования содержания итоговое число страниц изменится.
Данная операция занимает время, так как Word выполняет расчет страниц, последовательно обрабатывая документ до конца.
Шаг 4
После завершения обновления автозаполняемых полей необходимо сохранить Документ в формате *.pdf средствами Word. Это необходимо, чтобы зафиксировать форматирование и исключить дальнейшую работу с файлом в Word, так как Word будет выполнять пересчет числа страниц при каждом открытии файла или его изменении. С *.pdf такой проблемы не будет.
*.pdf имеет больший размер, но легко открывается любой подходящей программой. Ссылки в содержании после сохранения работают.
Полный код проекта доступен по ссылке.
Описанный вариант автоматизации не обрабатывает ошибки, связанные с разными кодировками файлов, и имеет варианты развития:
обработка ошибок, связанных с кодировкой файлов;
автоматическая выгрузка архива проекта;
программный запуск пересчета полей автозаполнения.
