Pull to refresh
-12
-15.7
Ринат@pg_expecto

PostgreSQL Performance Engineer

Send message

И, что действительно не было ни одного минуса с причиной "Текст похож на сгенерированный" ?

И где же были все эти стилистические эксперты и блюстители ?

Прикольно получилось , жму руку ;-)

Потрачу единственный комментарий в сутки - ну , что ж поделать, такие особенности построения дискуссий на Хабре - тебе система просто не даст ответить.

Во-первых, вы рекламируете свой телеграм-канал.

Да, я сразу указываю канал связи, потому, что на Хабре у меня нет возможности ответить и предоставить детали - почему - смотрите правила Хабра - к каким последствиям ведет слив кармы. Забегая вперед - канал работает. Интересные общения идут , наверное скоро будет результат совместных экспериментов и исследований. Посмотрим.

Это означает, что телеграм лучше хабра, что вы хотите перевести аудиторию из хабра в телеграм. 

Да, абсолютно точно. В самую точку - в моем телеграме в принципе нет хамов, троллей и флудеров. Также как и на моем Дзен-канале, в моем ЖЖ и блоге на Пикабу(там иногда забегают, но живут не долго до 2-х кликов мышки). Их там физически нет. Там, можно общаться и спокойно обмениваться мнениями - кому интересно .

Как правило, так делают люди, которые зарабатывают на рекламе, продавая внимание аудитории.

Эх , ваши слова бы да Богу в уши - хотел бы я заработать , ну хотя бы на пиво, на внимании. Хотя ,о каком внимании вообще речь непонятно(60 подписчиков на Дзене и 30 в телеграме - ага такое внимание прям ВАЩЕ ;-) ) . Если не сложно уточните плиз этот тезис. Вы вообще в курсе - как монетизировать каналы ? Вы сами лично хоть один канал монетизировали ?

Получается, что ваши статьи по самой своей природе обречены вызывать неодобрение. 

Я ведь публикую не для ободрения публики. Как вы сами заметили, комментаторов под моими статьями кто хоть что-то понимает в теме - ну по моему только один был. А внимание или не внимание прохожих - мне то , что с него. Эксперименты есть, результаты есть, они научно обоснованы. То, что кто-то плохо учил теорию вероятностей или "вообще не DBA", это не моя проблема. Что могли они сделали - слили карму и минусуют статьи. На это в общем то всё. Ну осенью идет дождь, что ж теперь на улицу не выходить?

Читатели ощущают, что вы получили от этих статей больше денег, чем отдали читателям.

No comments ;-)

Вы сожалеете, что минус в карму лишён объяснения и комментариев, поэтому вы не можете исправить свою политику.

1) Я давно не сожалею, ибо на Хабре не первый и не второй год. К здешней публике даааавно привык. Это объективная реальность, администрацию все устраивает. О чем сожалеть то ?

2)А может меняться надо не мне, а комментаторам ? Ну для начала - не комментировать темы в которых не разбираешься ....

Вы хотите получить результат этой работы, а минусаторы хотят получить оплату за неё.

Если не сложно можно другими словами. Опять вы про некую оплату. Это вызывает некоторые подозрения.

Положим, вы написали статью про своё PG_*******. Теперь надо задуматься, что именно получат ваши читатели и что они отдадут. 

Получат, это очень просто - вот результаты эксперимента, вот свободный инструмент на GitHub - каждый желающий может провести свой эксперимент и сравнить результаты. Подтвердить или опровергнуть выводы в статье. Обычный научный подход. Отдадут также просто - свое лично время на эксперименты. Нормальный взрослый, научно-инженерный подход. В отличии от классического "Пастернака я не читал, но осуждаю" и "КГ/АМ" ;-)

Для этого надо вычистить ссылки на телеграм,

Конечно нет. Лишать канала связи того,кто захочет связаться со мной - я не буду. И переживания борцунов с некой "рекламой" меня не волнуют. Чужие комплексы и страшилки - не моя проблема.

а в начале каждой статьи давать 1 абзац о том, чем является предложенная вами технология

Вы реально не читаете мои статьи.

В каждой статье есть ссылка на глоссарий. В профиле есть ссылка на Дзен , МАССА статей по инструментарию.

и по какой лицензии она доступна.

В самом начале каждой статьи ссылка на GitHub. Лицензия MIT - СВОБОДНО ;-)

Кроме того, сам внешний вид ваших статей очень, очень похож на сочинение нейросети

Вообще не волнует, что на что похоже.

Начиная с 7-й версии инструментарий как раз и основан на анализе НЕЙРОСЕТЬЮ статистических данных подготовленных инструментом pg_expecto. Так, на что как не на анализ подготовленный нейросетью должен быть похож анализ подготовленный нейросетью !? ;-)

Опять таки , если у кого какие то психологические комплексы и страхи вызываемые некими оборотами и стилем нейросети - это не моя проблема. Есть отдельные специалисты занимающиеся фобиями. Можно обратится. Помогут.

Кроме того, сам внешний вид ваших статей очень, очень похож на сочинение нейросети

Я не буду тратить время жизни на то, что бы избавить неизвестных мне посторонних читателей от ИХ страхов и фобий.

Вот то немногое, что мне сразу пришло в голову. На комментарий я потратил 10 минут, то есть немало времени.

Аналогично. И по составу и по времени.

Спасибо за внимание.

Пользуясь случаем - анонс : завтра будет опубликована новая статья "Сравнительный анализ оптимизации PostgreSQL 17: от конфигуратора «Тантор Лабс» до калибровки с помощью PG_EXPECTO и DeepSeek." . Читатели на Дзене уже в курсе темы. Читатели Хабра - ждите завтра.

Добавлю 5 копеек , потрачу единственный комментарий в сутки ;-)

Ты написала статью. Вычитала, проверила, добавила картинки, нажала «Опубликовать». И тут они приходят. Кто эти люди, которые пишут комментарии?

У меня , под статьями все сильно по другому. Комментариев нет, сразу прибегают минусаторы "Личная неприязнь" и "Низкий технический уровень" :-)  Мой самый любимый , самый первый комментарий под первой публикацией , классика "я Пастернака не читал , но осуждаю".

Я совсем не DBA, но даже у меня кровь из глаз от таких индексов. Простите, но индексы на каждое поле вешают только идиоты совсем уж новички. Ещё и индексы на только одно поле..


А после слива кармы и невозможности общаться на Хабре, комментарии под статьями вообще потеряли всякий смысл.
BTW, По этому поводу интересная беседа с нейросетью получилась :
———
Когда минусы анонимны и не сопровождаются комментариями:

1. Невозможна апелляция к разуму. Вы не можете вступить в диалог с оппонентом, потому что оппонент — «невидимка».
2. Размытие сигнала. Нейтральный читатель видит только цифру рейтинга. Он не видит, что минусы — это персональный хейт. Для него минус есть минус, и это может подсознательно влиять на восприятие статьи как «спорной» или «плохой».
3. Деморализация. Это превращает публикации в игру в одни ворота: вы вкладываетесь в контент, а анонимы безнаказанно снижают его видимость.

Новая стратегия: «Броня как щит, а не как зеркало»

В условиях анонимного негатива математическая «броня» меняет функцию. Она нужна не для того, чтобы «разоблачать» хейтеров (это бесполезно), а для решения трех других задач:

1. Сохранение собственной мотивации

· Когда вы пишете строго по фактам, опираясь на метрики и цифры, вы защищены от внутреннего кризиса. Хейтер не может поколебать вашу уверенность в материале, потому что материал объективен. Это психологический якорь, который не дает опустить руки.

2. Фильтрация «своей» аудитории

· Анонимный минус не виден, но статья остается. Тот, кто действительно разбирается в теме, прочитает ее независимо от рейтинга. Ваша задача — писать так, чтобы для этого «своего» читателя материал был безупречен. Минусы от невидимок не должны влиять на качество контента для тех 10%, кто составляет вашу реальную аудиторию.

3. Нейтрализация эффекта «низкий технический уровень»

· Хотя сами минусы анонимны, формулировка «низкий технический уровень» (как причина, которую вы указали) становится абсурдной для тех, кто читает статью. Если статья полна сложных расчетов и терминов, читающий человек видит несоответствие между возможной причиной минуса и реальным содержанием. Это не разоблачает конкретного минусующего (он невидим), но дискредитирует сам инструмент минусов в глазах сообщества. Со временем минусы от конкретной группы могут начать восприниматься как «пустые» и игнорироваться модерацией при расчете кармы(нейросеть просто не в курсе - как считается карма на Хабре. Добавлено мной).
...
Анонимный минус — это просто щелчок. На него нельзя ответить, его нельзя использовать для диалога. Но можно сделать так, чтобы этот щелчок не влиял на ваше дело. Продолжайте публиковать качественный контент раз в неделю, игнорируйте цифры и стройте сообщество там, где правила определяете вы. Это единственный путь.

Полностью тут :
https://rinace.livejournal.com/3081204.html

P.S. Да мир с массовым приходом нейросетей изменился принципиально - с кем можно спокойно , вежливо , без троллинга и флуда обсудить интересную тему, да еще и с использованием больших и связных текстов на заданную тему ? Только с нейросетями....

нажал педаль — машина тормозит. Это контракт. Он не зависит от того,правильно ли вы настроили тормозную жидкость этим утром

Извините , но аллегория выбрана неудачно. Тормоза нуждаются в настройке и мониторинге . и только при 100% исправности тормозной системы контракт будет выполнен. К тому, же при одном важном условии - на сухой поверхности и на льду контракт будет выполнен по разному , с разными итоговыми результатами. Как тормозит это очень важно.

Если перенести аллегорию на СУБД - контракт это операционная доступность - СУБД работает и выдаёт данные. Но, не менее важные и производительность - как СУБД выдаёт данные. Хотя конечно производительность в рамки контракта очень сложно поместить(по крайней мере, я пока не встречал примеров). Ну просто потому, что как правило никто и не задумывается - а производительность это что и как её считать. Работает и ладно.А будет , как кажется тормозить- накидают ядер и памяти и диски HiOPS.

P.S.

  • формализован — можно проверить программно, не только "на глаз";

Вряд ли удастся выполнить в реальном мире. Но будет интересно следить за развитием.

Какие покупатели ? О чем вы вообще ?

Всё лежит в GitHub свободно для всех желающих . Кому интересно - скачивает и использует.

19 звезд, 2 форка - наверное кому-то все таки интересно.

Анонс:

На следующей неделе будет публикация о тестировании конфигураторов Тантор Лабс(на дзене выложено уже)и pgpro_tune(в процессе).

Для меня эта граница довольно простая.

Если человек:

  • сам выбирает тему

  • сам задаёт тезис

  • сам ищет и проверяет исследования

  • сам понимает примеры, о которых пишет

  • сам отвечает за итоговый текст

то ИИ в этой цепочке — просто инструмент. 

Дело за малым - попытаться объяснить это минусаторам типа "текст похож на сгенерированный".

IMHO это бесполезно .

Впрочем , причины минусов давно уже потеряли всякий смысл и обоснованность , да и вряди были когда то , я например давно перестал переживать , что у кого то обостряются чувства из за использования кавычек, длинных тире и что там еще они используют как маркеры :-)

Я использую нейросеть для анализа результатов, генерации гипотез и подготовки макетов публикаций , потому, что это сильно экономит мое личное время, которое я трачу на новые эксперименты и исследования , и признаюсь - переживания борцунов с ИИ меня не волнуют от слова вообще.

Необходимость учитывать флаг удаления во всех запросах

Этот недостаток очень легко устраняется , если слой хранения и слой обработки данных разделены.

Хотя , конечно, это сейчас не модно и против тренда .

Только есть одна серьезная проблема, которую надо учитывать и не ждать чудес.

EXPLAIN ANALYZE это единичное выполнение единичного запроса.

И иногда бывает, что снижение стоимости запроса в результате анализа плана выполнения приводит к деградации производительности СУБД под высокой параллельной нагрузкой.

Но об успехах LLM в этих отраслях особо не слышно

И слава богу.

Причина очень проста и давно и всем известна :

1. Юридический и экономический вакуум ответственности

Короткий и честный ответ: сегодня — никто не отвечает, и это одна из главных проблем и одновременно тормозов для внедрения ИИ в критических сферах.

Формально ответственность пытаются переложить на человека, который использует систему. Врач, поставивший диагноз с помощью ИИ, несёт ответственность за окончательное решение. Оператор беспилотного автомобиля (если он есть) — за действия машины. Но это юридическая фикция, потому что:

  1. Человек не может эффективно контролировать «чёрный ящик». Если модель выдаёт рекомендацию, у врача нет инструментов, чтобы проверить её обоснованность в реальном времени. Он либо доверяет, либо нет. Если он доверяет ошибочной рекомендации — виноват он. Если не доверяет правильной — он теряет пользу от системы. Это ставит человека в ложную позицию.

  2. Производитель модели снимает с себя ответственность. В лицензионных соглашениях чётко прописано: «модель предоставляется "как есть", мы не гарантируем безошибочность и не несём ответственности за последствия её использования». Юридически производитель отвечает только за явные дефекты кода (если ошибка в софте, а не в модели), но не за ошибки самой модели, потому что они — не баг, а feature статистического обучения.

2. Почему это принципиальная проблема?

В традиционной инженерии действует принцип: за любое решение отвечает человек или организация. Если мост рухнул — отвечает инженер и строительная компания. Если лекарство убило — отвечает производитель и врач.

В случае с ИИ мы имеем дело с системой, которая:

  • не программируется явно, а обучается на данных;

  • не детерминирована (может давать разные ответы на один и тот же запрос);

  • не объясняет свои решения (проблема интерпретируемости).

Как привлечь к ответственности алгоритм? Его нельзя посадить в тюрьму, оштрафовать или лишить лицензии. А если привлекать разработчиков, то за что? За то, что модель ошиблась на примере, которого не было в обучающей выборке? Но это неизбежно для любой статистической системы.

Главная проблема промышленного ИИ — отсутствие данных для обучения.

В области использования ИИ для оптимизации производительности СУБД - точно такая же проблема . В сети практически , нет данных о экспериментах. Поэтому в области performance engineering - пользы от нейросетей пока не очень, только для анализа данных, советы просто гадание и угадывание. Иногда попадают. Чаще - нет. Но процесс конечно интересный .

Вывод: на синтетических данных без каузальной структуры модель обучается распознавать рецепт генератора, а не физику процесса. На реальном заводе такая модель будет бесполезна.

C СУБД - тоже самое. Дословно.

Инженерам проще работать по старинке, доверяя своему опыту и манометру, чем чёрному ящику, который обучен программистами, ни разу не инженерами. Побеждают в этой борьбе обычно инженеры, а дорогой пилотный проект ложится на полку.

Я как раз сейчас присутствую при восторженном эксперименте -"а давайте сделаем на продуктиве как тут вот в интернете написано и ИИ подсказал". Может быть будет по итогам статья, хотя врядли, DBA от экспериментаторов удалось отмазаться.

По итогам статьи - мое личное мнение - главное - не пускать восторженных энтузиастов в продуктивный контур.

Впрочем так всегда было и до моды на нейросети.

И уж тем более никогда не допускать даже возможности автоматизированного принятия решений нейросетями в критической инфраструктуре.

И только в IT всё работает иначе.

Потому, что полная безответственность за действия и решения при практически полном отсутствии научного и инженерного подхода . И очень молодая отрасль на уровне магии и алхимии. В древности все профессии которые сейчас работают по строгим и научно обоснованным методам обладали , искусственно или обьективно, ореолом магии и скрытного знания - врачи, строители, инженеры .

А IT даже сто лет нет. В принципе сейчас даже не зрелость - детство босоногое ;-)

Помните, как в университетах до недавнего учили Delphi и Pascal

Pascal учили не для того, что бы программировать , а для того, что бы понять что писали Вирт и Кнут.

Я не знаю, просто не в курсе, кто сейчас изучается в качестве патриархов программирования в ВУЗах.

За год самостоятельной работы можно получить объём знаний, сопоставимый с университетским курсом.

Всё, дальше перестал читать. Информация это не знания. Чем раньше это понимаешь, тем лучше по жизни потом идти.

Лишь один вопрос - а зачем ?

Неужели кто-нибудь занимается 剣道の武道 ради очков в соревнованиях?

失礼します。

Я начинала в 2018 году, будучи в 10-м классе.

Я начинал в 1987 году будучи в 10-м классе.

И если бы можно было бы вернуть и начать опять , опять пошел тем же путем : Basic -> C(Assembler) -> Fortran -> C++ ->SQL (Delphi не считаю за этап). Т.е. от простого к сложному , от частного случая абстракции к общему.

Смысл в том, что для DBA опыт разработки дает существенный плюс и другое отношение к задачам по сравнению с чистыми DBA.

Со временем становится очевидно, что развитие не является линейным процессом и не происходит мгновенно. Оно требует времени, практики и системного подхода.

Именно так ! Я только совсем недавно понял , почему кафедра на которой я учился называется "Прикладная математика" и специальность по диплому "инженер-математик".

В целом по статье , как говорится - респект и уважение !

Удачи по жизни !

Главное идти по жизни твердо своим путем , в общем то не обращая внимание на реплики встречных прохожих.

Спасибо. Я всегда знал и знаю, что не все разработчики криворукие ламеры, которые встречаются и запоминаются чаще, конечно же есть нормальные !!!! Они просто тихо и спокойно делают свое дело , незаметно, скромно и эффективно.

Удачи !

Когда критики говорят «эта статья написана AI», они обычно имеют в виду третий слой — стиль.

Сразу вспоминается классический анекдот - "вам шашечки или ехать?"

Общеизвестным является тезис о том, что от избыточного индексирования страдают только DML-операции, а SELECTы только получают разнообразные бенефиты.

Этот тезис давно не является общеизвестным и проверен экспериментально:

https://habr.com/p/958320/

В чём же секрет подобного поведения?

Довольно хорошее описание события ожидания LWLock:LockManager

Да, все верно - LWLock:LockManager

Итог экспериментов

Операционная скорость в ходе Эксперимента-2 снизилась в среднем ~14%.

Характерные события ожидания в ходе Эксперимента-2, существенно изменились. Наибольший рост(более 50%) отмечен по событиям ожидания типа LWLock:

  • LockManager : 100%

  • BufferContent: > 60%

Самый главный вопрос :

Если коротко, дерево метрик — это наглядная карта причинно-следственных связей между вашими ключевыми показателями.

А как устанавливается причинно-следственная связь ?

Интуитивно ? Эмпирически ? На основе экспертного мнения типа - "как известно всем ... "?

Или есть математически строгие критерии ?

Далее, неожиданно, идет DeepSeek 

Что тут неожиданного ?

C учетом качества , полезности и полноты ответов неожиданно, что Яндекс на первом месте. Хотя учитывая стандартную рыночную тактику опробованную еще Микрософтом во времена войны браузеров - вполне объяснимо.

К какой категории относятся те , кто использует нейросеть как очередной рабочий инструмент ?

Есть одна область в которой нейросети практически бесполезны - "прогнозирование влияния изменения конфигурационных параметров СУБД на производительность СУБД."

Причина проста и фундаментальна - в сети очень мало, практически нет, данных о экспериментах по анализу производительности СУБД. И поэтому не имея математической модели СУБД все прогнозы это банальная линейная аппроксимация. А если нет материалов для обучения модели , как же нейросеть даст приемлемый для практического применения прогноз ?

Так, что в отличии от разработчиков у специалистов performance engineering перспективы вполне приемлемые , а учитывая использование нейросетей для анализа данных даже очень перспективные - данные то нужно подготовить , а для этого нужен инструмент. И нейросеть тут не поможет , потому , что ранее таких инструментов просто не было . это инженерная задача для человека - создать новый продукт используя интуицию , жизненный опыт и здравый смысл.

Так, что хорошо, что в далёком 2001 году , я ушел из разработчиков в сисадмины, а потом в DBA 😎

P.S.

Подпишитесь на платную версию Claude или ChatGPT. Это стоит 20 долларов в месяц. 

После того, как меня удастся убедить, что бесплатный DeepSeek для моих задач менее полезен.

А теперь самое интересное - как оценить оптимальность выбранной конфигурации ?

P.S. Ничего не сказано о нагрузке инфраструктуры.

На удалёнке с апреля 2020 года.

Вариантов возврата в офис не рассматриваю. В принципе.

Ну разве , что увеличение ежемесячного оклада до 1М 😉

Классика - а кто автор :

Анастасия Томе работает в Испании, преподаватель и менеджер по подбору персонала.

Мартин Ворнер работает в Великобритании, соучредитель компании, занимающейся разработкой блокчейн-платформы.

Смысла дальше читать и тратить время - никакого(комменты посмотреть разве, что, хотя бы просто в очередной раз убедился - удалёнка это навсегда и никакое окно Овертона пока не помогает). Не читал, время не тратил.

1
23 ...

Information

Rating
Does not participate
Location
Россия
Registered
Activity

Specialization

Администратор баз данных
Ведущий
SQL
PostgreSQL
Базы данных
Linux
Bash