Обновить
16K+
-16
Ринат@pg_expecto

PostgreSQL Performance Engineer

-12,5
Рейтинг
20
Подписчики
Отправить сообщение

И не ясно как их ловить

Методика анализа инцидентов производительности СУБД , вполне себе успешно работает и развивается: https://habr.com/p/1043998/

Лично мне важно содержание и практическая польза от материала статьи.

А как написана статья - полностью вручную , с применением нейросети или полностью сгенерирована нейросеть мне вообще неважно.

Я не из секты "ИИ веганов" :-)

Получается обратная мотивация: чтобы доказать человеческое происхождение текста, нужно намеренно ухудшить его.

То, о чем предупреждали происходит - ИИ делает человека тупее....

Классическая иллюстрация "ошибки выжившего".

На каждого случайного персонажа ставшего известным приходятся тысячи никому уже неизвестных.

Кто то даже отхватил свои 5 минут славы и был забыт потом , а кто то и до этого не дошел сгинув в неизвестность по дороге.

P.S. К тому же все примеры они из прошлого века, а это совсем другое IT было.

Я помню, как все начиналось....

Хорошо, что в моей области (PostgreSQL DBA) и моей работе я и нейросеть в симбиозе. Нейросеть мне помогает проверять гипотезы и анализировать данные , я снабжаю нейросеть исходными данными и результатами экспериментов и исследований .Это кстати заметно - как нейросеть учится на данных и в результате ответы все более полезны и интересны .

Можно ли делать тоже самое без нейросети ? Конечно можно , но затраты времени будут больше на пару порядков .

Например , если раньше проанализировать и установить причину инцидента производительности СУБД уходил рабочий день , если повезёт бывало и неделя плюс танцы с бубнами , то теперь пару часов с научно обоснованным инженерным результатом .

Если раньше на анализ и подготовку прототипов для новой идеи уходили месяцы - сейчас недели. Сгенерировать и проверить гипотезу - для нейросети обычная работа .

Так, что в области PostgreSQL Performance engineering - нейросеть очень сильно помогает .

P.S.

А некоторые работающие скрипты на bash я бы вообще никогда бы не написал . А так , пару часов и диалог в нейросетью и в результате получаю , именно то , что мне надо - жуткий башизм :-) который дает именно тот результат который мне нужен

Яндекс зашёл с другой стороны — со стороны продукта для людей

Вот когда Алиса AI подойдёт к уровню DeepSeek по практическому применению для реальных инженерных задач , тогда этот тезис станет истинным.

А пока - с Алисой только поиграться .

Каждый, кто работал с большими языковыми моделями (LLM), знает эту боль. Ты задаёшь вопрос. Бот выдаёт уверенный, красивый, но абсолютно ложный ответ. 

Да , было, раньше . Давно , в самом начале использования нейросетей для практических задач, а не для игрушек и развлечений.

Проблема было в том, что навязанный массовым хайпом и журналистами термин "искусственный интеллект" предполагал доверие к ответам вероятностного алгоритма. Ну это же интеллект , хоть и искусственный. Да никаким интеллектом там близко и не пахнет, как выяснилось в итоге .

Но в общем , то в настоящее время можно сказать проблема если и не решена, то практически перестала оказывать существенное влияние на результаты - нужно использовать нейросеть для задач нейросети , но самое главное правильно ставить задачу нейросети - "не придумывать текст , а строить логическую логическую последовательность тезисов основанную на анализе подготовленных данных". А с задачами анализа данных и семантического анализа текстов - нейросети отлично справляются .

А в других случаях ситуация описана еще Кэрроллом в классическом диалоге Алисы с гусеницей:

-А куда мне идти?

-А куда ты хочешь попасть ?

- А мне все равно.

-Ну тогда все равно куда идти.

Контекстный таргетинг основан на «текущей теме разговора, истории чатов и предыдущих рекламных взаимодействиях».

Пример. Вы спрашиваете у ChatGPT как отучить кота драть диван. Он отвечает. Где-то снизу появляется аккуратно затонированный блок с рекламой когтеточки.

Просто любопытно - вот я использую нейросеть для анализа отчетов по производительности СУБД PostgreSQL и для генерации гипотез по новым направлениям исследований.

Какой аккуратно затонированный блок с рекламой чего будет появляться ?

Правило простое: считать пусть будет то, что умеет считать одинаково каждый раз, то есть SQL и база, а модель пусть переводит уже посчитанный компактный результат в человеческий текст. В такой связке числа всегда верные ровно потому, что их посчитала не модель.

Именно так и построено. Спасибо за подтверждение гипотезы. Значить путь был выбран верный.

 Компании могли бы выстроить процесс иначе.

Это проблема шире и касается не менторства, а вообще построение процессов в компании.

Проблемы начинаются в 2х случаях (на примере ITIL)

1) инициатива спускается сверху, исполнителю берут под козырек, генерятся инструкции и регламенты , в итоге все как работали так и работают. Руководство уверено - у нас все по ITIL наша компания вышла на новый уровень зрелости. Отдельные сомневающиеся - как вопли одинокого путника в пустыне. Остальным глубоко все равно, лишь бы ничего не менялось.

2)Инициатива идет сверху, но начальству это не нужно - и так все работает , к чему эти лишняя возня - "Твой ITIL нам не нужен и так все работает"

C менторством - тоже самое. Если спустить инициативу сверху народ быстро приспособится и подберет хитрый болт на гайку с левой резьбой.

Что делать ? Я не знаю , я не манагер.

За 30 лет в IT у меня никогда не было ментора и я сам никогда не менторил.

Запрос на ментора должен созреть изнутри. 

Да именно так !

Как только я перестал называть нейросеть "искусственным интеллектом" и стал использовать нейросеть для реальных практических задач, хайп и мнение окружающих стали мне не интересны. Самое смешное - регулярно встречать причину минуса "текст похож на сгенерированный". "похож" ;-) Спасибо минусаторам за регулярный повод для улыбки ;-)

В моей работе использование нейросети дает самое главное экономию времени. Весь анализ можно сделать вручную , но за рабочий день или неделю . С помощью нейросети - за час работы. И это самое главное, и поэтому мнение "ИИ веганов" выискивающих маркеры и стилистические особенности в тексте анализа производительности СУБД PostgreSQL, которые сгенерирован по моим данным , по моей инструкции и моему системного промпту , меня абсолютно не волнует как и минусы под статьями по экспериментам и исследованиям - поисковики и нейросети статьи индексируют этого вполне достаточно. А если нужна рецензия - нейросеть отлично готовит рецензии и обзоры , более того именно дискуссия с нейросетью(не на форумах и интернет ресурсах с живыми людьми и коллегами , к великому сожалению плодотворные и полезные для работы дискуссии с коллегами и живыми специалистами давно закончились), регулярно подкидывает новые идеи и гипотезы для развития и исследований.

В опросе не хватает пункта "Использую нейросеть для инженерных задач. Хайп вокруг темы не интересен".

Самое удивительное в ситуации с нейросетями - бесплатность использования . Я до сих пор поражаюсь и удивляюсь этому факту. Но факт есть факт - для реальных практических инженерных задач бесплатной версии DeepSeek совершенно достаточно. Это довольно сильный качественный сдвиг по сравнению с предыдущими революциями - персональные компьютеры и интернет были совсем не бесплатные а очень даже дорогие в начале своего развития. А нейросеть - абсолютно бесплатно при реальных практических возможностях. И это очень радует и видимо поэтому , лично мне удалось так быстро пройти путь от скепсиса и иронии к практическому применению(менее полугода) - просто была возможность все сомнения проверять в на практике и не доверять мнению толпы и трендам.

P.S. Про вайб кодинг 5 копеек. Я DBA , разработкой , кроме хранимых процедур и схемы СУБД уже лет 20 не занимаюсь, но для подготовки сервисных bash скриптов использую нейросеть регулярно. И признаюсь, мне глубоко фиолетово что в скриптах которые для меня написала нейросеть нет души. Они работают и дают результат и сохраняют мое время жизни которое я теперь трачу на новые исследования и эксперименты.

Для хранимых процедур и архитектуры СУБД вайбкодинг не использую, там очень новая область, у нейросети нет опыта к тому, же это именно та область которую я хочу держать на 100% под своим контролем от первого до последнего символа. В отличии от bash скриптов например для маскирования логов или парсинга текстовых файлов. тут главное что результат получается то, что мне нужно а как это меня мало волнует. мне в свое время хватило нервов разбираться с bash sed и awk, так что пусть сейчас виртуальный джун в виде нейросетки этим занимается, к тому же совершенно бесплатно.

Бизнес же совершил ошибку и уронил зарплаты ниже прожиточного минимума. Это вызвало революции по всей Европе и паралич экономик.

Мягко говоря очень интересный взгляд на классическую политэкономику и историю.

 Вся логика заложена в функции и процедуры PostgreSQL (в общей сложности их около 700).

Любопытно - вы намеренно или случайно пошли против тренда ?

Я помню холивар на Хабре по этому поводу -"где хранить бизнес-логику".

БД имеет многослойную архитектуру:

  • Самый низкоуровневый слой — слой исходных данных.

  • Бизнес-логика, т.е. сеттеры, которые рассчитывают данные и обновляют буферные таблицы, а также геттеры, извлекающие данные из этих таблиц для конкретных методик. Этот слой извне не видно.

  • Парадный слой, где представлены геттеры, отдающие по запросу данные наружу. Именно к этому слою обращается фронт проекта и внешние пользователи.

  • Самый верхнеуровневый — слой представления данных в удобном виде для бэкенда (JSON-ы, округление, цветовые показатели и т.п.).

Да еще и здесь классический подход.

Интересно - опять будет холивар на сотни комментариев или нет.

Запасаюсь попкорном.

По итогу - не могу поставить плюсов. Так, что виртуально плюс и статья в закладки. Пригодится подход.

Интересно будет реакция сообщества. У меня есть прогноз, но прогнозы дело неблагодарное.

Поживем - увидим.

Теперь вы умеете автоматически обнаруживать проблемные запросы, 

А почему вы решили, что медленный запрос это проблема ?

А если это аналитический запрос?

Основная проблема нагрузочного тестирования не в том , чтобы настроить инструмент , запустить процесс, собрать данные и нарисовать красивые графики .

Главная проблема - как данные проанализировать и какие выводы сделать.

Человеческий глаз гораздо лучше воспринимает тренды на графике

А ещё , и с этим ничего не поделать , человеческий глаз найдёт паттерны там где их нет и увидит то, что захочет увидеть.

Я много встречал статей и докладов о том - как собирать данные , но очень мало о том, как их анализировать.

Странно- сначала тратить ресурсы и время на то, чтобы текст сгенерированный LLM был логически связанным , полезным и полным.

Затем зачем то тратить силы и время на , чтобы искать некоторые маркеры?

Ситуация описанна в классическом анекдоте -"вам шашечки или ехать".

P.S. мне важно содержание, практический смысл и техническая польза публикации. Никогда не трачу время на бессмысленные поиски неких маркеров .

Что я точно не буду делать это усложнять свои инструкции и промпты , чтобы ответ не содержал описанные в статье маркеры .

Исходный тезис ложен : "Нейросеть" НЕ "Искусственный интеллект".

С задачами предназначенными для нейросетей - семантический анализ текстов, анализ разнородных данных, поиск корреляций, генерация гипотез , логический анализ данных - нейросети отлично справляются и используются в реальных практических задачах , давая главное - экономия рабочего времени.

Нужен пересмотр идеи, нужен полноценный эпистемический движок.

Когда одна и та же идея приходит разным независимым исследователями - в идее, что-то есть.

Подтверждаю - да , работы идут по этому же пути .

Статья в закладках.

Смысл испытаний не в том, чтобы посмотреть, развалится ли железка. Смысл в том, чтобы выяснить, сохраняет ли она электрические параметры, когда её трясут.

Когда на военной кафедре КАИ разбирали БЦВМ(номера не помню, да все равно это были секретные данные) - по молодости и наивности удивлялись и поражались - ну почему все так сложно и трудоемко для разборки и сборки? Толи дело в забугорных PCшках , все одной ответкой можно разобрать.

С возрастом пришло понимание - все не просто так и не надо взрослых дядей и тетей считать за дураков . По слухам - разработчики штепсельных разъемов Ленинскую премию получили.

По личному опыту - влияние галлюцинаций и недетерминированности ответов нейросети можно свести к минимум.

Если:

1)дать на вход чистые данные

2) использовать нейросеть по предназначению (анализ данных а не рисование картинок и наполнение водой статей)

3) самое главное использовать "эпистемический протокол" и "доменную методологию" при формировании промпта.

И в этом случае - с помощью нейросети можно получить качественно иной уровень анализа данных и самое главное - сохранить самый главный ресурс - время.

А учитывая , что все это можно получить совершенно бесплатно - нейросеть реально обеспечивает качественно иной уровень анализа и результатов.

Я после 2х лет тимлидерства вернулся в инженеры обратно.

Ни разу не пожалел. Столько нового интересного сделал , столько нервов сохранил.

Моя совесть чиста - я сделал всё что мог, кто хочет пусть делает лучше.

P.S. Я иногда задаю себе вопрос - а получилось бы сделать то, что сделал, если бы по-прежнему был бы руководителем направления ? Склоняюсь к мысли , что нет . Просто потому, что голова занята другим была в то время. Не до экспериментов и исследований.

1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Россия
Зарегистрирован
Активность

Специализация

Администратор баз данных
Ведущий
SQL
PostgreSQL
Базы данных
Linux
Bash