Привет, Хабр! На связи участник профессионального сообщества NTA Губин Никита.
Введение
Code mining — это процесс анализа и извлечения информации из исходного кода для получения полезных данных. Аналитики, имея базовые компетенции в разработке, могут использовать их как дополнительный источник информации для улучшения процессов. Инструмент, о котором я расскажу в посте, разделяет код на логические блоки, что позволит улучшить взаимодействие DS‑специалистов и аналитиков.
Аналитики и код
Почему же аналитикам трудно самостоятельно анализировать исходный код?
Выделим несколько причин:
Незнакомые средства, в виде расширенного поиска по составам репозиториев;
Непривычное разрозненное расположение информации, которая распределена по умозрительным и непонятным для аналитика признакам;
Возможное несоответствие документации с исходным кодом.
Решение
В качестве решения было разработано приложение, которое парсит все файлы проекта с кодом в один excel файл, поделенный на логические блоки:
Преимущество данного решения:
Привычный инструмент. Excel — один из основных инструментов аналитика;
Код проекта, состоящий из нескольких файлов, собирается в одном месте;
За счет структуры файла, у аналитика появляются широкие возможности по фильтрации, анализу и поиску необходимой информации.
Реализация
Код написан на Python и предназначен для разбора кода так же на Python.
В посте будут разобраны ключевые моменты. Полный код доступен по ссылке на Github.
Изначально, необходимо собрать файлы (.py), которые в дальнейшем будем обрабатывать:
#Метод выгрузки данных def folder(fold,pth,filenames): if fold == True: filenames = glob(os.path.join(pth, "*.py")) elif fold == False: for root, dirs, files in os.walk(pth): files = [f for f in files if not f[0] == '.'] dirs[:] = [d for d in dirs if not d[0] == '.'] for file in files: if(file.endswith(".py")): filenames.append(os.path.join(root,file)) return filenames
Предусмотрено 2 варианта сбора:
Только из указанной папки;
Из указанной папки и всех подпапок (кроме скрытых).
Задаем DataFrame со структурой будущего excel файла:
# Создаем DataFrame с соответствующими колонками col = ['Стратегия', 'Путь', 'Исходная функция', 'Номер строки фрагмента', 'Тип фрагмента', 'Фрагмент'] df = pd.DataFrame(columns=col)
Построчно обрабатываем файлы:
for i in my_code: counter += 1 # Обрабатываем строку i = i.strip(' ') # Проверка для записи исходной строки if 'def ' not in i: ish += i # Обрабатываем комментарии if i[0] == '#': if per != '': perem() # Заполняем IF не в одну строку if y == 1: df.at[row_in_dataframe, 'Стратегия'] = strategy df.at[row_in_dataframe, 'Путь'] = path df.at[row_in_dataframe, 'Номер строки фрагмента'] = counter df.at[row_in_dataframe, 'Тип фрагмента'] = 'Условие IF' df.at[row_in_dataframe, 'Фрагмент'] = usl row_in_dataframe += 1 usl = '' y = 0 dfwrite('Комментарий') # Обрабатываем пустые строки elif i.strip('\n') == '': continue
Python обладает четкой структурой, поэтому, каждая строка проверяется на условия:
# Обрабатываем переменные elif ('=' in i) and (('if ' or 'else' or 'elif ') not in i): y = 0 p = 1 per += i counterP=counter elif (p == 1) and (('if ' or 'else' or 'elif ') not in i): per += i # Обрабатываем IF с условием в одну строку elif (('if ' or 'else' or 'elif ') in i) and (':' in i): if per != '': perem() if ret != '': reter() dfwrite('Условие If') p = 0
Но если каждую строку просто записывать в DataFrame, то в итоговом результате получим «кашу».
Элементы часто занимают более одной строки, поэтому в коде предусмотрены флаги, для записи однотипных данных в одну запись. Например, когда подряд объявляются несколько переменных:
Отобранные данные записываются в DataFrame:
#Обработка фрагментов def dfwrite(fragm): global row_in_dataframe, strategy, path, counter, i, df df.at[row_in_dataframe,'Стратегия']=strategy df.at[row_in_dataframe,'Путь']=path df.at[row_in_dataframe,'Номер строки фрагмента']=counter df.at[row_in_dataframe,'Тип фрагмента']=fragm df.at[row_in_dataframe,'Фрагмент']=i row_in_dataframe+=1 pass
Полученный результат записываем в Excel или в csv:
#Параметры и формат сохранения def save(df,xl,pthEnd): if xl == True: df.to_excel(os.path.join(pthEnd, "CodeMine_Result.xlsx")) elif xl == False: df.to_csv(os.path.join(pthEnd, "CodeMine_Result.csv"), encoding="windows-1251", sep="~")
Для удобства работы добавим пользовательский интерфейс:
if __name__ == "__main__": root = Tk() root.geometry('600x400') var1 = BooleanVar() var1.set(False) var2 = BooleanVar() var2.set(False) lbl = Label(text="Задайте параметры") lbl.pack() frame1 = Frame(borderwidth=1, relief=SOLID) path_label = Label(frame1,text="Введите путь") path_label.pack(anchor=NW) path_entry = Entry(frame1, width=50) path_entry.pack(anchor=NW) open_button = Button(frame1,text="Открыть проводник", command=open_dir1) open_button.pack(anchor=NW) frame1.pack(anchor=NW, fill=X, padx=5, pady=5 )
Путь до обрабатываемых папок выбираем через проводник:
def open_dir1(): global path_entry,filepath1 path_entry.delete(0, END) filepath1 = filedialog.askdirectory() path_entry.insert(0,filepath1)
А после выполнения программы предлагаем открыть результат:
# Сохраняем полученный DataFrame save(df, xl, pthEnd) resultMess = askyesno(title="Разбор выполнен успешно", message="Открыть полученный файл?") if resultMess == True: if xl == True: os.startfile(os.path.join(pthEnd, "CodeMine_Result.xlsx")) else: os.startfile(os.path.join(pthEnd, "CodeMine_Result.csv"))
Давайте рассмотрим применение программы на примере:
Результатом разбора данного фрагмента будет excel файл:
На рисунке выше можно увидеть, какие переменные используются при работе и как они преобразовываются. А за счет фильтров можно отобрать только необходимую в данный момент информацию:
Вывод
Данная программа позволила привлечь к проверке исходного кода специалистов, ранее не сталкивающихся с подобными задачами. Полученная обратная связь была позитивной и, сейчас, система проходит активную стадию тестирования.
Очевидно, что это не конечный продукт и на основе обратной связи будут дорабатываться и внедряться различные методы визуализации и обработки данных. Например, на основе графов.
Но уже сейчас, можно дать ответ на вопрос из темы поста. Да, аналитики могут читать код. И основа, заложенная в тему данного поста, является тому подтверждением.
