Нарастающий итог в SQL с разрывами в данных

Ранее мы рассмотрели способы расчёта нарастающего (накопительного) итога в SQL. Самый распространённый вопрос - как посчитать тоже самое, но на данных с разрывами? После написания исходной статьи мне его задавали неоднократно – так что есть смысл написать об этом отдельно.

Для начала освежим в памяти саму постановку вопроса. Предположим, у нас есть таблица продаж разных товаров (product) по дням (dt):

Создание таблиц

-- основная таблица с данными: продажи (sales) по дням (dt) и товарам (product)
create table product_sales (dt date null,
                            product varchar(10) null,  -- varchar2(10) in Oracle
                            sales int null
                          );
insert into product_sales (dt, product, sales) values ('2021-12-01', 'A', 10);
insert into product_sales (dt, product, sales) values ('2021-12-01', 'B', 20);
insert into product_sales (dt, product, sales) values ('2021-12-05', 'C', 50);
insert into product_sales (dt, product, sales) values ('2021-12-10', 'A', 30);
insert into product_sales (dt, product, sales) values ('2021-12-12', 'B', 40);
insert into product_sales (dt, product, sales) values ('2021-12-15', 'C', 10);
insert into product_sales (dt, product, sales) values ('2021-12-20', 'A', 20);
insert into product_sales (dt, product, sales) values ('2021-12-25', 'B', 50);
insert into product_sales (dt, product, sales) values ('2021-12-31', 'B', 30);

-- календарь
create table dim_dt (dt date not null);
insert into dim_dt (dt) values ('2021-12-01');
insert into dim_dt (dt) values ('2021-12-02');
insert into dim_dt (dt) values ('2021-12-03');
insert into dim_dt (dt) values ('2021-12-04');
insert into dim_dt (dt) values ('2021-12-05');
insert into dim_dt (dt) values ('2021-12-06');
insert into dim_dt (dt) values ('2021-12-07');
insert into dim_dt (dt) values ('2021-12-08');
insert into dim_dt (dt) values ('2021-12-09');
insert into dim_dt (dt) values ('2021-12-10');
insert into dim_dt (dt) values ('2021-12-11');
insert into dim_dt (dt) values ('2021-12-12');
insert into dim_dt (dt) values ('2021-12-13');
insert into dim_dt (dt) values ('2021-12-14');
insert into dim_dt (dt) values ('2021-12-15');
insert into dim_dt (dt) values ('2021-12-16');
insert into dim_dt (dt) values ('2021-12-17');
insert into dim_dt (dt) values ('2021-12-18');
insert into dim_dt (dt) values ('2021-12-19');
insert into dim_dt (dt) values ('2021-12-20');
insert into dim_dt (dt) values ('2021-12-21');
insert into dim_dt (dt) values ('2021-12-22');
insert into dim_dt (dt) values ('2021-12-23');
insert into dim_dt (dt) values ('2021-12-24');
insert into dim_dt (dt) values ('2021-12-25');
insert into dim_dt (dt) values ('2021-12-26');
insert into dim_dt (dt) values ('2021-12-27');
insert into dim_dt (dt) values ('2021-12-28');
insert into dim_dt (dt) values ('2021-12-29');
insert into dim_dt (dt) values ('2021-12-30');
insert into dim_dt (dt) values ('2021-12-31');

-- словарь товаров
create table dim_product (product varchar(10) not null);
insert into dim_product (product) values ('A');
insert into dim_product (product) values ('B');
insert into dim_product (product) values ('C');

Как видим, продажи есть только в некоторые дни. Все остальные дни – это "разрывы" без данных. Т.е. это вариант очень распространенной в SQL задачи о разрывах (gaps and islands problem).

Посчитаем нарастающий итог, используя оконную функцию:

select 
        ps.dt
      , ps.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by ps.product order by ps.dt), 0) as sales_total
from product_sales ps
order by ps.product, ps.dt;

Результат корректен, но сохраняет те же самые разрывы, что были в исходных данных. Как посчитать итоги за все дни декабря, даже если в этот конкретный день не было записей в исходной таблице? Т.е. так, чтобы у нас вышло 93 строки за декабрь (комбинация 31 день Х 3 вида товаров). Фрагмент ожидаемого результата:

Проще всего, если у нас в базе есть таблицы-справочники со всеми датами (календарь) и со всеми товарами (словарь товаров). Тогда мы может создать идеальный (полный) набор сочетаний дат и товаров:

select 
         d.dt
       , p.product
from dim_dt d
cross join dim_product p
where d.dt between '2021-12-01' and '2021-12-31';

Далее к идеальному набору можно присоединить через left join таблицу с фактическими продажами:

with ideal_combination as
    (select 
             d.dt
           , p.product
    from dim_dt d
    cross join dim_product p
    where d.dt between '2021-12-01' and '2021-12-31')
select
        i.dt
      , i.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by i.product order by i.dt), 0) as sales_total
from ideal_combination i
left join product_sales ps
   on i.dt = ps.dt
      and i.product = ps.product
;

Или если избавиться от CTE в запросе:

select
        d.dt
      , p.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by p.product order by d.dt), 0) as sales_total
from dim_dt d
cross join dim_product p
left join product_sales ps
   on d.dt = ps.dt
      and p.product = ps.product
where d.dt between '2021-12-01' and '2021-12-31';

Впрочем, далеко не всегда нам доступны заранее созданные и заполненные таблицы, как dim_dt и dim_product в этом примере. Если их у нас нет – можно генерировать соответствующие наборы самим.

С набором товаров все просто - это либо ручной ввод как

          select 'A' as product 
union all select 'B' 
union all select 'C'
;

или же извлечение уникальных названий товаров из таблицы продаж по дням:

select distinct product from product_sales;

А вот генерация набора дат будет специфична для конкретной СУБД. Проще всего с PostgreSQL, где есть функции для генерации данных (set returning functions):

select t.dt::date as dt
from generate_series('2021-12-01', '2021-12-31', interval  '1 day') as t(dt);

-- или тоже самое чуть короче:
select generate_series('2021-12-01', '2021-12-31', interval '1 day')::date as dt;

Соответственно, полный запрос в PostgreSQL будет выглядеть так:

select
        d.dt
      , p.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by p.product order by d.dt), 0) as sales_total
from (select generate_series('2021-12-01', '2021-12-31', interval '1 day')::date as dt) d
cross join (select distinct product from product_sales) p
left join product_sales ps
   on d.dt = ps.dt
      and p.product = ps.product
;

В большинстве других СУБД функции generate_series или её эквивалента нет, так что придется воспользоваться рекурсивным CTE. Например, в SQL Server мы возьмем исходную дату периода как select '2021-12-01', и будем прибавлять к ней по одному дню при помощи функции dateadd, пока не достигнем конца периода (where dt <= '2021-12-31'):

with dates_range (dt) as
    (
    select convert(date, '2021-12-01', 102) as dt
    union all
    select dateadd(day, 1, dt) 
    from dates_range
    where dt <=  convert(date, '2021-12-31', 102)
    )
select *
from dates_range

А итоговый запрос будет выглядеть так:

with dates_range (dt) as
    (
    select convert(date, '2021-12-01', 102) as dt
    union all
    select dateadd(day, 1, dt) 
    from dates_range
    where dt <=  convert(date, '2021-12-31', 102)
    )
select
        d.dt
      , p.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by p.product order by d.dt), 0) as sales_total
from dates_range d
cross join (select distinct product from product_sales) p
left join product_sales ps
   on d.dt = ps.dt
      and p.product = ps.product
;

В других СУБД, поддерживающих рекурсивные CTE, запрос будет практически таким же. Возможная разница заключается только в работе с датами (необходимо применить эквиваленты convert и dateadd из SQL Server). Например, в PostgreSQL :

with recursive dates_range (dt) as
    (
    select '2021-12-01'::date as dt
    union all
    select (dt + interval '1 day')::date
    from dates_range
    where dt <= '2021-12-31'::date
    )
select
        d.dt
      , p.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by p.product order by d.dt), 0) as sales_total
from dates_range d
cross join (select distinct product from product_sales) p
left join product_sales ps
   on d.dt = ps.dt
      and p.product = ps.product
;

При использовании рекурсивных CTE следует помнить, что в некоторых СУБД их максимальная глубина ограничена. Например, значение по умолчанию для MySQL 8.0 – 1000 итераций (параметр cte_max_recursion_depth), а для SQL Server 2014+ – 100 итераций (параметр MAXRECURSION).

В Oracle DB рекурсивные CTE могут быть заменены проприетарной реализацией иерархических запросов через connect by. Так что диапазон дат генерируется как

select (to_date('2021-12-31', 'YYYY-MM-DD') - level + 1) as dt
from dual
connect by level <= (to_date('2021-12-31', 'YYYY-MM-DD') - to_date('2021-12-01', 'YYYY-MM-DD') + 1);

А запрос приобретает вид:

select
        d.dt
      , p.product
      , coalesce(ps.sales, 0) as sales
      , coalesce(sum(ps.sales) over (partition by p.product order by d.dt), 0) as sales_total
from 
    (
    select (to_date('2021-12-31', 'YYYY-MM-DD') - level + 1) as dt
    from dual
    connect by level <= (to_date('2021-12-31', 'YYYY-MM-DD') - to_date('2021-12-01', 'YYYY-MM-DD') + 1)
    ) d
cross join (select distinct product from product_sales) p
left join product_sales ps
   on d.dt = ps.dt
      and p.product = ps.product
;

В других СУБД могут использоваться альтернативные варианты синтаксиса, но общая идея решения будет похожей: генерируем идеальный набор и присоединяем к нему через left join свои фактические данные.