Pull to refresh
48
Вадим Петряев@ptr128

Архитектор ИС

0,6
Rating
41
Subscribers
Send message

Только ради того, чтобы перейти на virtualbox-7.2 не сейчас, а чуть позже, когда Canonical включит в дистрибутив? Причем ценой замораживания обновлений kernel 6.17 от Canonical.

в репозитории есть примеры SQL и описания таблиц

Есть, но нет запросов к LLM, которые привели к их формированию и нет анализа их плана выполнения. Так что толку от них - ноль.

Если запрос почему-то работает не ожидаемо долго

То есть агент намного глупей джуна и вообще не оценивает план запроса?

Зачем? Ну хотя бы затем, чтобы не ставить что-то, причем в kernel, из репозитория неизвестного мне Васяна.

Я не любитель острых ощущений и не верующий в этого Васяна сектант.

Выполняем SQL запрос к СУБД (ClickHouse, MSSQL или любой другой с нормальным провайдером), получаем DataTable и отправляем его в ReportViewer, строим отчет и получаем его в нужном формате

Вы не видите разницы между этим, и тем что Вы написали ранее?

можно генерить отчеты одновременно подключаясь к MSSQL и ClickHouse в одном отчете

Ну ладно, на пальцах:

SELECT ...
FROM mssqldatasource.mssqldb.dbo.table1 M1
JOIN clickhousedatasource.clickhousedb.table2 C1
  ON M1.some_field = C1.some_field
WHERE M1.another_field = ? AND С2.another_field = ?

Так как ClickHouse ODBC не поддерживает четырехуровневое именование, то такой запрос на MS SQL не реализуем. Как этот запрос в SSRS будет обработан средствами ImportExportDataSql? Будем считать, что кардинальность some_field низкая только в сочетании с another_field. То есть, для примера, пусть фильтрация только по another_field даёт миллион записей, а всего запрос возвращает тысячу записей.

Если бы SSRS работал с MS SQL и ClickHouse через соответствующие .NET Data Provider, то он бы выполнил push-down. А что происходит у Вас?

P.S. Обратите внимание, что в решении, описанном в статье, реализовать push-down в ClickHouse не представляет проблем и не требует передачи миллионов строк по сети.

Много связей могут приводить к сложной реализации. Классический пример, когда каждая из четырёх таблиц косвенно связана только с двумя остальными:

SELECT a.id, b.id, c.id, d.id
FROM t1 AS a
JOIN t2 AS b ON b.id_a = a.id_b
JOIN t3 AS c ON c.id_a = a.id_c
JOIN t4 AS d ON d.id_b = b.id_d AND d.id_c = c.id_d
WHERE a.l1 = ? AND a.l2 = ? AND b.l1 = ? AND b.l2 = ?
  AND c.l1 = ? AND c.l2 = ? AND d.l1 = ? AND d.l2 = ?

При достаточно высокой кардинальности полей l1, l2 и id_* оптимизатор на таких запросах часто ломается. Ключевой вопрос - с какой таблицы нужно заставить оптимизатор начинать выборку и в каком порядке соединять таблицы дальше.

Эта задача не имеет решения в общем случае без динамического SQL и явного вычисления кардинальностей, но в частных случаях для неё почти всегда есть решения через материализацию, pg_variables, промежуточную нежурналируемую таблицу и т.п.

Не понимаю связи между кодом, на который Вы отказываетесь дать ссылку, и возможностями SSRS. Вы хотите сказать, что реализовали полностью пользовательский ,NET Data Provider для ClickHouse? Но тогда при чем тут ImportExportDataSql, если это по определению отдельный компонент в отдельной DLL?

Не вижу ни одного примера с генерацией SQL запросов и анализом их плана выполнения. Так что Вы явно что-то не то прикрепили.

Никакого сдвига парадигмы. По прежнему техническая или научная статья без примеров и их анализа не имеет никакой практической ценности.

можно генерить отчеты одновременно подключаясь к MSSQL и ClickHouse в одном отчете.

SSRS поддерживает подключение к ClickHouse только через OLE DB for ODBC, что, как я описал в статье, катастрофически медленно и из-за этого почти не имеет практического применения.

Понятно. Всё же бот...

Обратите внимание, что ни в статье, ни в комментариях её автора, нет ни одного повторяемого примера использования рекламируемой им модели. А на просьбы продемонстрировать хотя бы один пример, автор предлагает самому этим заниматься, заплатив сначала за LLM из весьма широкого списка. Даже без каких-либо сравнений возможностей этих моделей в рамках обсуждаемой задачи.

Какие выводы напрашиваются?

Ну вот кстати, гайцы на дорогах - вымирающий вид, сильно меньше стало.

Вы не поняли посыла. Это яркий пример того, как человек, в обязанности которого входит перепроверять гипотезы AI, по совершенно объективным психологическим причинам этими обязанностями пренебрегает, принимая эти гипотезы, как догмы.

потом серия экспериментов

Которые, если не относиться критически к гипотезам AI, могут иметь катастрофические последствия.

AI - весьма полезный инструмент. Но заменить человека, а не только повысить его производительность труда, он сможет не ранее, чем придумают, как ограничить его хотя бы тремя (четырьмя) законами робототехники Азимова. Удивительно, что Вы это не понимаете. Или я веду дискуссию с ботом?

Я имел ввиду, что ученый будет бегать на побегушках у LLM, как сейчас лаборант у профессора.

Что и превращает в лаборанта если не этого учёного, то того, кто придет ему на смену.

Есть принципиальная разница между использованием AI в качестве дополнительного источника гипотез, как впрочем и любого лаборанта или даже ребёнка (и такое бывало!), и как постановщика задач для экспериментов.

А вот там где нет проблем взаимодействия с внешним миром не очень понятно зачем нужны будут прокладки в виде людей.

Это уже проходили )))

Даже не пытался эту связь доказать, хотя, корреляция, наверняка, ненулевая.

Вы вообще в курсе, чем корреляция отличается от причинно-следственной связи?

Это ленивый источник и супер поиск

Какая разница, если речь идёт о ВЕРЕ? Для меня любой источник информации - лишь гипотеза, требующая экспериментального подтверждения или опровержения. Для верящего - это догма и руководство к действию.

Меня именно сравнение слоны против Воронов заинтересовало, оба вида стабильно в топах умнейших животных

У которых вес мозга различается на два порядка, что полностью опровергает гипотезу о зависимости интеллекта от веса мозга.

Сначала Вы мне докажите, что Ваш подход тут сработает. Обсуждается Ваша статья, а не моя.

Купили как-то суровым сибирским лесорубам японскую бензопилу.

Собрались в кружок лесорубы, решили ее испытать.Завели ее, подсунули ей деревце.

«Вжик» — сказала японская пила.

«У, б...» — сказали лесорубы.

Подсунули ей деревце потолще.

«Вж-ж-жик!» — сказала пила.

«Ух, б...!» — сказали лесорубы.

Подсунули ей толстенный кедр.

«ВЖ-Ж-Ж-Ж-Ж-Ж-Ж-ЖИК!!!» — сказала пила.

«Ух ты, б..!!» — сказали лесорубы.

Подсунули ей железный лом.

«КРЯК!» — сказала пила.

«Ага, б...!!!» — укоризненно сказали суровые сибирские лесорубы!

И ушли рубить лес топорами…

неужели думаете, что ученые мужи не смогут отличить безопасный эксперимент от опасного?

Нехорошо заниматься демагогией. Это кто писал?

ученый превращается в лаборанта

Неужели Вы думаете, что лаборант сможет отличить безопасный эксперимент от опасного? Мой опыт показывает совершенно обратное )))

Мощность двигателя УМЗ-4216 107 л.с. Mощность двигателя V8 LT5 - 375 л.с.

Максимальная разрешённая масса Газели 3302-216 3300 кг, а Corvette ZR1 - 1800 кг.

Будете дальше доказывать, что есть причинно-следственная связь между весом автомобиля и мощностью его ДВС? )))

Ну это же Вы написали, что LLM может поставить целью уничтожить лаборанта, не я написал.

Иксодовый клещ может "поставить целью" заразить Вас энцефалитом? Следует ли из этого что он обладает "не только умом и сообразительностью, но и волей"? )))

Так же и AI. Цели могут быть самые обычные - уточнить данные для формирования правильного ответа, при отсутствие каких-либо этических и моральных ограничений.

А как его контроллировать от ошибок и проверять я в том же сообщении и написал.

Это и близко не контроль. Так как для того, чтобы критически оценить предлагаемые AI эксперименты, нужно быть именно учёным, а не лаборантом.

я никогда не тратил "час времени" на текстовое описание запроса

Получается, что Вы не занимались постановками для более-менее сложных задач и не имеете такого опыта.

верхнеуровневую бизнес постановку задачи + SQL как результат

Если ограничиться общедоступной информацией и максимально упростить задачу, попробуйте написать SQL запрос, вычисляющей тариф на заданную дату на перевозку только собственных порожних полувагонов (ЕТСНГ 42103) и только в пределах РФ. Зависимость тарифа от предыдущего груза можете не учитывать. Все необходимые для этого нормативные документы найдёте тут. А вот архив тарифного руководства N4 проще загрузить отсюда.

Я понимаю, что это бизнес-задача низкого уровня, но сразу перейти к формированию ПСДЦ потребовало бы слишком объёмного описания бизнес-задачи.

не стоит недооценивать интеллект и кругозор последних моделей

Кругозор тут значения не имеет, а интеллекта у моделей нет и быть не может. В английском языке словосочетание "artificial intelligence" не имеет антропоморфной окраски, которую оно приобрело в традиционном русском переводе: слово intelligence в используемом контексте скорее означает «умение рассуждать разумно», а вовсе не «интеллект» (для которого есть английский аналог intellect).

Вы можете нанять гения аналитика с широчайшим кругозором, но всё равно ему потребуются месяцы тесного общения с заказчиком, прежде чем он сможет самостоятельно приступить к постановкам, которые выходят за рамки, ограниченные нормативкой.

Information

Rating
2,314-th
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity