«Супербаза»

[VioletTape]

Без диаграмм и схем для потоков данных непонятно почему все стало быстро работать. Звучит вроде бы все понятно, но в голове не укладывается. Или это применить можно только к 1С? Что-то подсказывает, что это можно провернуть и на других базах, данных, но без схемы тяжело.

[serbod]

Да уж не знаю, как это изобразить. Идея-то проста до безобразия. С другими базами наверняка тоже можно так же поступить.

[Fragster]

Все новое — давно придуманное старое:
v8.1c.ru/consolid/

[Fragster]

Ну и магические буквы OLAP автору тоже помогут углубить свои знания

[serbod]

А оно быстро работает? Железо какое нужно? Новые базы сами подключаются? Сколько денег стоит? Паралельный запуск делать умеет?

[FIZIK]

Это вы сколько там сущностей наплодили, если в каждой базе тысяча файлов? Или вы индексы тоже считаете? 1sqlite не пробовали? Выборки в сотни тысяч строк формируются буквально за секунду-две.

[serbod]

Насчет тысячи не уверен, может и полтыщи с индексами, точно не помню. Новых сущностей там не так много, в основном отчеты и печатные формы.

Я много чего пробовал, и прямые запросы, и оптимизация кода с замером производительности в отладчике и профайлере MSSQL. Да, можно очень быстро строить некоторые отчеты, но проблемы с наполнением и обслуживанием это не решает. 1С 7.7 просто не расчитана на работу с такими объемами. Удаление помеченных объектов не работает, много непонятных глюков. А 8.х тормоз еще тот, и железо для него нужно приличное.

Мне не требовалось формировать супер-отчеты за секунду. Достаточно было запускать отчеты в фоне и просматривать их по мере формирования.

[FIZIK]

1sqlite работает как раз с файловым вариантом базы. Как вариант, я бы вам предложил, также в фоне запускать отчет в каждой базе, выбирать все необходимые данные и складывать в одну консолидированную базу sqlite (компонента позволяет уложить любую ТЗ и Список значений в базу sqlite буквально 1й строкой.). Плюсы: Для каждой новой базы запускать выборку потребуется 1 раз. У вас будет большая консолидированная база с довольно шустрым движком. А там уже и мегаотчеты захотите делать.

[serbod]

Повторюсь, проблема не сколько в извлечении, сколько в консолидации, объединении не вполне корректных данных. Например, в марте товар назывался «консервы рыбные», а в апреле он же называется «кукурузные палочки». То есть, каждая база актуальна и относительно корректна в своем периоде (за месяц), но если их сложить за год, получится хрень. Кроме того, заранее не известно, какие данные могут понадобиться в отчетах, а вытаскивать и синхронизировать из баз все подряд — весьма непростая и неблагодарная задача.

Кроме того, набор автономных баз отлично решает проблемы с безопасностью. Флешки с базами у директора, и лишний раз доступа к ним нет даже у админа. Нужны данные за прошлый год — взял у директора флешку, поработал, вернул.

[pred8or]

Поздравляю, Вы изобрели BI, ETL и несколько других технологий

[serbod]

Спасибо. А несколько других — это какие?