Приветствую всех хаброжителей и тех, кто читает мою статью. Меня зовут Александр, я являюсь ИТ директором с более 15-летним стажем, начинал в 2002 году обычным программистом в международной FMCG компании, что сильно повлияло на меня как человека и как ИТ специалиста.
Но статья не об этом, повествование пойдет о другом, об 1С и SQL, а именно о том, как быть если нужно выгружать данные из этой самой 1С, да еще, когда она не одна, да и в разных городах и странах. Трудился я в международной алкогольной компании и достался мне «зоопарк» ИТ систем (думаю, что многим понятно и известно, о чем я говорю). Среди этих систем была самописная ERP система с подчиненными базами (больше 100 штук) на базе СУБД Firebird и клиенты, написанные на Delphi и Microsoft С#, годами пока это все развивалось и росло, появились запросы и потребность в анализе данных и стали реализовываться различные выгрузки данных. Получаемые данные как тогда водилось стали выгружать в MS SQL в специально созданную базу (DWH) используя MS SSIS и потом трансформировались в OLAP кубы в MS SSAS. Еще была систем именуемая как «Бизнес-процессы» на базе 1С Бухгалтерия 1.6, с последующим обновлением и совместимостью, чтобы запустится на платформе 1С 8.3, на обычных формах с многокилометровыми модулями кода. Обшито все это было микросервисами (как сейчас это принято называть) и обменивалось между собой как-то, никому 100% не известно как.
И вот мне это все хозяйство нужно было принять со всем учетом того, что работает оно в 10 странах. Осмыслив как с этим всем быть (долго и тяжело пришлось осмысливать) принял решение, что будем использовать решения на платформе 1С и будем запускать в двух странах 1С: ERP для производств (заводы) и дистрибьюции (торговые дома). Пошел процесс организации перехода, проектные команды, подрядчики, анализ ситуации, интервью, проектирование, моделирование и вдруг случилась пандемия, но разве это будет мешать бизнесу, бизнес говорит мы идем дальше и покупаем новые заводы и будем открывать новые торговые дома с дистрибьюцией и сроку дадим, месяц вам хватит. Мысли всякие в этой ситуации были, больше плохих, но вызов принят, задача решена (лучше не вспоминать как это было) завод автоматизирован и запущен в работу, дистрибьюция открыта и также автоматизирована. И вот тут заканчивается предыстория и начинается сама суть. А как быть с отчетностью, она же нужна на уровне холдинга, и никто не будет ходить в 1С смотреть отчеты, что там настроены локально для сотрудников, ТОПы и собственник все привыкли смотреть в кубах цифры. И тут можно сказать, что проблема то не новая и не уникальная, можно же выгружать данные используя платформу 1С и сохранять куда нужно, но не все так просто. Бизнес решил, что раз удалось один раз, то удастся и второй, пришла задача автоматизации производства и дистрибуции в новой стране (итого так было 5 раз), а ресурс на поддержку запущенного выделен не был (не согласован в итоге, тут можно отдельную статью написать почему и как происходило). Пришлось имеющий ресурс направить на вторую страну и заниматься задачей по выгрузке данных из 1С с интеграцией в имеющуюся «систему» аналитики холдинга.
Как описал выше, 1С ресурса нет, анализ показал, что необходимо выгружать данные из 1С для всех департаментов и не отделаться какими-то не большими выгрузками, нужно искать другое решение. Требовалось решение, чтобы аналитик и BI специалист без участия специалиста по 1С (назову так программиста 1С) могли самостоятельно забрать данные и преобразовать, обработав их в нужный формат и вид. Покупать какие-либо внешние инструменты не хотелось, чтобы еще сильнее не усложнять имеющийся «зоопарк», было принято решение забирать данные на прямую из базы данных с MS SQL. И идея то тут опять не новая, есть примеры как это можно сделать, но как сделать это максимально быстро, не уходя на «месяца» в разработку и организацию процесса получения данных.
Я знал ребят, ИТ специалистов, кто имел опыт организации подобных выгрузок и обратился к ним за решением этой задачи. В то время, ребята уже наработали опыт и набили руку, на том, как быстрее можно получить данные из базы MS SQL, а самое главное у них были наработки, чтобы это делать в автоматизированном виде. Мы обсудили с ребятами мою проблему и договорились совместно решить эту задачу. Тут нужно опять упомянуть бизнес, что аппетит никогда не проходит, а только растет и уже не только ТОПам и собственнику нужны в привычном формате данные, но и локально в стране нужны уже общекорпоративные отчеты. Поразмыслив с ребятами, приняли решение, что будем локально (из-за каналов связи, шла потеря данных при передаче напрямую из базы 1С) в стране организовывать новое хранилище данных минуя звено MS SSAS, и сразу сделать DWH таким образом, чтобы все факты и измерения были в хранилище и можно было реализовать нужные отчеты из DWH. Разобрались в структуре хранилища, ранее созданного в холдинге, а так как мы сразу брали НСИ для 1С ERP из корпоративной ERP и организовывали ее дальнейшее ведение в корпоративном формате (понимая, что нас ждет в будущем, если не сделаем так), то это все нам сильно помогло и облегчило задачу и очень сильно сократило время. В последствии применили эту концепцию уже с другими странами и не проиграли.
Наступают события 2022 года, уход, развал, национализация и все что с этим может быть связано, но жизнь продолжается. Случился в моей профессиональной жизни новый опыт, но совсем другой отрасли, фармацевтической, нужно импортозамещать SAP, ну и на, что его же замещать, как не на 1С и выбрал я 1С: ERP УХ. И снова встает ситуация, что нужно будет получать данных из 1С и представлять эти данные в виде управленческой отчетности. Не сложно догадаться, что я сделал, я взял к себе в команду ребят с их наработками, чтобы использовать их и ускорить процесс получения данных, чтобы быстрее разработать нужны отчеты. В фармацевтической компании имелась управленческая система на базе 1С, откуда можно было уже брать информацию, что, собственно, мы и сделали, имея уже разработанный для это ранее инструмент. Команда выполнила работы по выгрузке, разработала дашборды, обеспечили поддержку всех выгрузок, дали возможность ТОПам получать оперативно управленческую отчетность, результат был достигнут.
Но наступает новая глава в жизни (тут тоже тема отдельной статьи, но не буду), случилось так, что мне с командой пришлось разойтись (не по нашей вине), но жизнь не просто так дает нам встречи с людьми. Через некоторое время, как-то обсуждая дела минувших дней, была озвучена (опять не новая) идея, имеющиеся наработки оформить в ИТ продукт. Сели думать, обсуждать, что можно сделать и как использовать, а главное, где, да и как назвать все это дело. И как в одном известном советском мультике, «Как корабль назовешь, так он и поплывет», один из членов команды сказал, что зачем что-то придумывать, если мы делаем аналитику, то и называть тем, что делаем. Посидели, покрутили слово АНАЛИТИКА, был озвучен вариант «LYTICA» отделив часть слова и с написанием на латинице. По началу всем показалось, что нужно, что-то другое, но поразмыслив, все согласились, что звучит не плохо и отражает суть и смысл. Ну а раз выбрали название, то кто-то должен же был возглавить это дело, чтобы организовать все процессы и сделать из наработок ИТ продукт, долго выбирать не пришлось, команда выбрала меня на эту роль, что даже аргументы не потребовались, собственно, почему меня.
И вот мы уже снова вместе, единая команда и снова творим, но уже делаем ИТ продукт, что как оказалось у нас в команде, то, о чем многие мечтали. За несколько месяцев мы пересобрали функционал, так как ранее все это делалось для внутренних нужд и не особо заморачивались внешним видом, удобством пользования, как обычно это бывает, главное, чтобы работало. Переработали продукт в виде расширения 1С, доработали функционал (ранее был еще сформирован бэклог, чего хотелось, чтобы было из функций), выловили баги, оттестировали на различных конфигурациях 1С. Добавили поддержку СУБД PostgreSQL (с MS SQL тоже работает) и можем работать не только на 1С 8.3, а теперь и на платформе 1С 8.5.
И вот мы подошли к этапу, пора тестировать наш продукт LYTICA, в связи с этим мы ищем компании, готовые БЕСПЛАТНО взять и протестировать наш продукт LYTICA у себя. Никаких денег, мы за тестирование не просим и не берем, нам интересно проверить работу продукта и его применимость на реальных бизнесах и его задачах, получить обратную связь, что удобно, что нет, что необходимо доработать и какими функциями расширить возможности продукта.
Поэтому если Вам интересно принять участие в тестировании или Вы знаете кому это может быть интересно, то вы можете написать нам письмо на электронную почту info@lytica.org и мы обсудим с Вами как провести тестирование нашего продукта. Для LYTICA мы разработали сайт, где разместили дополнительную информацию, если Вам интересно, то Вы можете с ней ознакомиться по ссылке https://lytica.org.
Наша команда открыта к любому сотрудничеству, мы готовы быть взаимно полезны.
Всем удачи и успехов.
P.S.
Если, что прошу простить за много букв))