Jira worklog без плагинов

В связи с ситуацией и отключением плагинов табеля рабочего времени в Jira я начал изучать тему получения нужной информации по трудозатратам через Jira API. Даже нашел несколько статей на эту тему на уважаемом ресурсе. Но, как оказалось, некоторые моменты устарели, а некоторые были упущены авторами, либо они на них просто не наткнулись.

Итак, для работы с Jira через python есть уже готовая библиотека с документацией.

Задумка возникла следующая: писать в базу PG данные по трудозатратам и визуализировать их с помощью Yandex DataLens. Дополнительно для экономистов и PM готовить выгрузку в EXCEL. Соответственно, изначально получилось вот так:

from pickle import TRUE
from jira import JIRA
import re
import time
import traceback
from datetime import datetime , timedelta
import psycopg2
import pandas as pd

Далее приведу примеры того, что поменялось с момента написания аналогичных статей.

Подключение к Jira

Подключится удалось только через логин и ... внимание — токен. Аутентификация через логин-пароль или только через токен была неуспешной.

Соответственно в Jira под админом создаете токен. Его имя неважно, оно нигде не используется. Далее используете его и логин (я использовал свой админский).

login = '[e-mail]'
token_val = 'you_jira_token_generated_for_app'
jira_options = {'server': 'https://you_project.atlassian.net'}
jira = JIRA(options=jira_options, basic_auth= (login,token_val))

Далее есть куча примеров, и описано в документации, как получать список issue. Тут также важный момент, что по умолчанию Jira отдает не более 100 issues за запрос, и важно отключить это ограничение, иначе данные будут неполные. Выясняется это, когда начинаешь тестировать и сравнивать выгруженный результат со старыми выгрузками из плагина Timesheet (нужно добавить maxResults=0 в метод search_issues).

jsql_str =  f"worklogDate >= {work_date_start_str} AND worklogDate <= {work_date_end_str} ORDER BY created DESC"
issues_list = jira.search_issues(jql_str = jsql_str,maxResults=0)

Следующие грабли связаны с получением журнала логов. Аналогично, есть лимит на получение записей work_log. Тут ограничение установлено в 20 записей. Просто установкой параметра здесь не обойтись, и нужно использовать вместо issue.fields.worklog.worklogs — jira.worklogs(issue = issue.key). Он не имеет ограничений на количество записей. Другого способа обойти ограничение я не нашел.

work_log_df = []
for work_logs in jira.worklogs(issue = issue.key): # надо делать именно так. чтобы обойти ограничение в 20 записей на issue
        print (work_logs.started)
        print (work_logs.created)
        print (work_logs.self)
        worklog_date_str = re.search(r'(\d{4}-\d{2}-\d{2})', work_logs.started)
        worklog_date = datetime.strptime(worklog_date_str.group(0), '%Y-%m-%d')
        if work_logs.timeSpent is not None and worklog_date >= work_date_from and worklog_date <= work_date_to:
          work_line = {}
          #print(issue.key)
          isuekey = issue.key
          work_line['key'] = isuekey
          #print(issue.fields.project.key)
          projkey = issue.fields.project.key
          proj_name = issue.fields.project.name
          work_line['project'] = projkey
          work_line['project_name'] = proj_name

Далее собираем данные для Excel и вставки в БД. Данные в БД удаляются перед вставкой за выбранный период, после чего определяется курсор для вставки. В этой версии вставляем по одной строке:

try:
    conn = psycopg2.connect('postgresql://jiraapi:user@host:port/jiradb')
    print("Connect to database successfully")
    cur = conn.cursor()
    sql = """delete from public.jira_tasks where work_date >= %s and work_date <= %s;"""
    cur.execute(sql,(work_date_start_str,work_date_end_str))
    conn.commit()
    cur.close()
    print("Data in period deleted")
    cur = conn.cursor()
    sql = """INSERT INTO public.jira_tasks(project,project_name,task,work_time,work_time_sec,wuser,work_date) VALUES(%s,%s,%s,%s,%s,%s,%s);"""
  except:
    print("Can't connect to database")

Для удобства анализа данных в EXCEL сразу выводим месяц и дату в файл:

work_line['worklog_date'] = worklog_date
work_line['work_hours'] = round(swork_time_sec / 3600,2)
work_line['month'] = worklog_date.strftime("%m")
work_line['day'] = worklog_date.strftime("%d")
work_line['year'] = worklog_date.strftime("%Y")

Непосредственно запись в БД и вывод файла в EXCEL с обработкой возможных ошибок.

    cur.execute(sql, (projkey,proj_name,isuekey,swork_time,swork_time_sec,sauthor,worklog_date))
    work_log_df.append(work_line)
    n = n + 1
    conn.commit()
    cur.close()
   if n >= 1:
      file_name = 'WorkLog_' + str(n) + '_' + work_date_start_str + '_' + work_date_end_str + '.xlsx'
      pd.DataFrame(work_log_df).to_excel(file_name, index=False)
      print ('Выгружено ' + str(n) + ' записей')
    else:
      Print('Нет данных для выгрузки')
  except:
      cur.close()
      print('Ошибка при записи данных', traceback.format_exc())

Работа с DataLens

Решил попробовать, что такое DataLens от Yandex.

Первое, что надо сделать — создать «подключение к БД». Выбираем Postgress из возможных вариантов.

После создания подключения создаем датасет. Тут все просто. Выбираем наше подключение, ниже выводятся доступные таблицы и view. Вытаскиваем нужный в область справа.

После создания датасета можно делать диаграммы, а затем из готовых создавать дашборд. Набор диаграмм стандартный, жаль, что нет ничего типа календаря. Пришлось использовать сводную таблицу. И не успел разобраться с drill_down, и есть ли он вообще в DataLens, пока непонятно.

После того как вытащили диаграммы на дашборд, можно создать единые фильтры для всего дашборда.

В итоге получилось вот так:

Вторая часть дашборда:

К сожалению, периодически возникает ошибка при обращении к датасету и иногда какие-то «глюки», но в целом BI работает. DataLense + Excel дали функционал по аналитике даже немного больший, чем плагины, НО, конечно, анализировать трудозатраты и сразу закрывать пропуски непосредственно в Jira разработчикам было удобнее )