Airbyte хорошо подходит, как универсальный инструмент, если надо онбордить много источников данных. Если кликстрим то я бы писал кастомную оптимизированную загрузку. Мы на него постепенно переезжаем с Fivetran. Естественно по причине стоимости. Скорее всего полностью не переедем никогда, так как у них разный набор коннекторов. Я люблю готовые ELT сервисы за то, что можно очень быстро отдать данные клиету не тратя время на разработку
Если есть желание перекладывать исторические данные на диск помедленнее, насколько например Merge в файловую группу, которая лежит на этом диске будет медленнее/быстрее, чем перенести файловую группу на другой диск. И можно ли эту операцию выполнить без даунтайма?
В общем, согласен почти со всеми комментариями, кроме некоторых моментов. Например — по поводу грязного чтения. Сама 1С использует read uncommited в полный рост).
И еще один важный момент — реальная практика показывает, что это работает. Работает стабильно. Годами. Со всеми версиями, начиная от 8.1.
Есть вариант использовать внешние источники. Тогда больше логики придется реализовать 1С + автоматизация процесса выгрузки средствами 1С. Согласен, что имеет право на существование, как подход. Но я бы не сказал, что он единственно верный из возможных. Из минусов — мы опять же не можем использовать версии объектов, только планы обмена и онлайновая запись, что получается дороже. И хуже контроль над процессом со стороны ETL.
Моя статья не о том, как сгенерировать View, которые будут смотреть в базу.
Когда есть задача забрать данные, и сделать это достаточно оптимально, не вытягивая таблицы целиком, можно воспользоваться версиями объектов или планами обмена.
И эту задачу указанные генераторы не решают. И, конечно, это можно завернуть в еще одну удобную обертку в виде View.
Не очень понимаю, почему использование View не нарушает лицензионное соглашение?
Предложенные средства работают, но решают немного другую задачу. Наша задача — получение измененных данных из 1С. Статья в первую очередь о правильном заборе данных из 1С средствами СУБД.
Тем более что 1С это не только SQL но и Oracle, Postgresql, DB2.
Разумеется. И в любой из этих СУБД, кроме файловой, предложенные методы работают.
Спасибо за комментарий)
Информация
В рейтинге
Не участвует
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Airbyte хорошо подходит, как универсальный инструмент, если надо онбордить много источников данных. Если кликстрим то я бы писал кастомную оптимизированную загрузку. Мы на него постепенно переезжаем с Fivetran. Естественно по причине стоимости. Скорее всего полностью не переедем никогда, так как у них разный набор коннекторов. Я люблю готовые ELT сервисы за то, что можно очень быстро отдать данные клиету не тратя время на разработку
Тут речь не о проезжей части, а об общей 'уличной' территории.
И еще один важный момент — реальная практика показывает, что это работает. Работает стабильно. Годами. Со всеми версиями, начиная от 8.1.
Когда есть задача забрать данные, и сделать это достаточно оптимально, не вытягивая таблицы целиком, можно воспользоваться версиями объектов или планами обмена.
И эту задачу указанные генераторы не решают. И, конечно, это можно завернуть в еще одну удобную обертку в виде View.
Предложенные средства работают, но решают немного другую задачу. Наша задача — получение измененных данных из 1С. Статья в первую очередь о правильном заборе данных из 1С средствами СУБД.
Разумеется. И в любой из этих СУБД, кроме файловой, предложенные методы работают.
Спасибо за комментарий)