KOReader реально крутая штука! Спасибо за пост, так и не узнал бы никогда.
Я правильно понимаю, что если я поставлю его рядом с дефолтной читалкой, то сохраню возможность покупать книги на Амазон и они продолжат скачиваться автоматически?
Во второй ссылке раскрыты вопросы перформанса и квот.
Наши Data/BI инженеры (так их принято называть) используют облачную Snowflake, которая предлагает богатый выбор встроенных LLM моделей (см вторую ссылку), при помощи которых можно извлекать данные используя промпты на человеческом языке. Им помогают специалисты с профильным образованием в области ИИ чтобы, так сказать, расширить и углу́бить, то есть максимально раскрыть потенциал.
Они пишут промпты, разбавляя их кодом на питоне (который они конечно же генерят, но сейчас не об этом), который вызывает специальный API внутри Snowflake для запуска ИИ движка, и передают ему в параметрах всякие штуки типа конкретной LLM модели, температуры (то есть степени креативности) и прочего. В результате LLM генерит SQL, опираясь на знание структуры хранилища, запускает его, извлекает данные, анализирует их в соответствии с промптом (он может быть очень длинный и хитрый) и затем питон запускает различные действия в других внешних системах, типа через REST API и т.п.
На этом основана куча автоматизации в нашей компании. Например, эта система по сути рулит отделом клиентской поддержки, назначает тикеты в жире в соответствии с умениями и доступностью сотрудников (т.е. учитывая их знания и опыт в различных прикладных сферах и технологиях, страны проживания и часовые пояса, отгулы и отпуска и т.п.), отвечает там же клиентам, ищет связанные тикеты и похожие кейсы, прикрепляет полезные ссылки на Confluence, пишет письма и прочее. Топ-менеджеры светятся от счастья! Есть и много других примеров, о которых я не могу рассказывать. Все это конечно же самописное, аналоговнетное.
Всех сотрудников компании настоятельно просят использовать ИИ где это только возможно, и предлагать новые области автоматизации.
А технические подробности о том как собираются и обрабатываются метрики будут? Понятно, что есть много способов, но интересно как именно вы это сделали.
Ничего странного, разные задачи бывают. Не просто разные конфигурации, но и разные ОС, мажорные версии прогресса, или вообще можно логически реплицировать в JSON и стримить через кафку в другие СУБД (не постгрес).
Так весь смысл R1 именно в этих самых рассуждениях. Вы можете проверить весь ход умозаключений по шагам, и удостовериться в том, что результат действительно верный. Это хорошо для математики и написания кода.
Обычная же LLM часто отвечает как в том анекдоте: Штурман, приборы! 42! Что 42? А что приборы?
Если вам не нужны рассуждения, значит вам нужна другая модель.
Странно что в сравнении IDE не упомянули JetBrains AI. Это прям очень хайповая фича ultimate версии. Для её использования нужна лицензия, которая проверяется каждый раз при запуске.
Однажды мне на работе выдали новый крутой лэптоп НР. Очень быстрый и мощный. Но вот беда, у него не было клавиши Ins. Я просто офигел! Хотел было идти ругаться и менять его, но вовремя вспомнил что в линуксе одной командой можно менять маппинг кодов физических клавиш. Через несколько секунд никогда не используемая клавиша Apps превратилась в Ins и настало счастье.
Ну это же легко прикрутить сбоку. Надёжнее зашифровать все диски и забыть об этой проблеме раз и навсегда. И бэкапы конечно тоже делать на шифрованные диски.
Я на линуксе использую стандартный LUKS, поэтому пофигу что там plain text. А бэкап обсидана делается по крону, дополнительно к основному бэкапу, в облако, скриптом в пару строчек, типа: tar->gzip->pgp->git push. И оттуда можно в любое время его скачать и почитать где угодно, хоть на том же телефоне если приспичит.
На самом деле, есть ещё когерентность кэшей L1 и 2. Некоторые источники утверждают что все современные CPU сразу же синкают все изменения между кэшами всех ядер при записи. И что volatile в таком случае не требует каждый раз ходить именно в RAM. Но другие пишут что не всегда это работает. Надо сидеть и разбираться, конечно ))
Дело в том, что каждое ядро работает со своей копией данных, и понятия не имеет что делают другие ядра. И если специально не попросить перечитать переменную из памяти, то ядро будет его брать всегда из своего локального кэша. Так же и при записи, в основную память ничего не сбрасывается автоматом, а изменения делаются в кэше, и сидят там пока эту страницу памяти не вытяснят, когда место потребуется для других данных. Это может произойти через несколько микросекунд, а может и дней...
Volatile как раз и заставляет каждый раз при чтении и записи ходить в RAM, что ужасно дорого, и составляет скажем так тысячу циклов CPU. Единица синхронизации - одна кэш-линия, 64 байт на x86. Причём не только это одно поле синкается, а вообще все переменные видимые текущем потоку. А они наверняка сидят на разных кэш-линиях.
Ещё volatile запрещает делать instruction reordering, что также убивает параллелизм.
Отсюда и вопрос. На высоких скоростях volatile это огромный тормоз. И AtomicReference тоже.
Пометка поля как "volatile" означает что любое чтение/запись из/в него приводит к инвалидации кешей CPU, не так ли? Как это сказывается на производительности вашего приложения?
Под капотом у AtomicReference сидит тот же volatile, это просто обёртка с доп методами.
Сочувствую. Сейчас не лучшее время, на рынке полный глушняк. Прошлый год был самый плохой, сам наверное знаешь сколько было сокращений у нас в канадонии и в штатах. А многие из тех, кто этого вовремя не сделал, уже ушли из бизнеса навсегда. В нашей компании сократили половину штата.
В этом году топ менеджеры на Манхеттене проявляют осторожный оптимизм, но пока еще все в дауне и обратно нанимать людей не спешат. Ждем следующего года, сидим и не дергаемся. Как только в штатах пойдёт подъём, то и в нашей деревне появится больше работы.
Просто интересно, почему не упомянули SneakyThrows? Это моя любимая фича. Что думают консерваторы про идею полностью избавиться от checked exceptions? Не холивара ради.
> Начиная с PostgreSQL 12 логические репликационные слоты могут быть только на основных серверах кластера, это означает, что Debezium коннектор может взаимодействовать только с primary сервером.
Начиная с Postgres 16 логические слоты можно создавать и на репликах.
KOReader реально крутая штука!
Спасибо за пост, так и не узнал бы никогда.
Я правильно понимаю, что если я поставлю его рядом с дефолтной читалкой, то сохраню возможность покупать книги на Амазон и они продолжат скачиваться автоматически?
Это уже есть, причём в продакшн. Посмотрите что предлагает Snowflake Cortex API:
Фичи: https://www.snowflake.com/en/product/features/cortex/
Документация: https://docs.snowflake.com/en/user-guide/snowflake-cortex/llm-functions
Во второй ссылке раскрыты вопросы перформанса и квот.
Наши Data/BI инженеры (так их принято называть) используют облачную Snowflake, которая предлагает богатый выбор встроенных LLM моделей (см вторую ссылку), при помощи которых можно извлекать данные используя промпты на человеческом языке. Им помогают специалисты с профильным образованием в области ИИ чтобы, так сказать, расширить и углу́бить, то есть максимально раскрыть потенциал.
Они пишут промпты, разбавляя их кодом на питоне (который они конечно же генерят, но сейчас не об этом), который вызывает специальный API внутри Snowflake для запуска ИИ движка, и передают ему в параметрах всякие штуки типа конкретной LLM модели, температуры (то есть степени креативности) и прочего. В результате LLM генерит SQL, опираясь на знание структуры хранилища, запускает его, извлекает данные, анализирует их в соответствии с промптом (он может быть очень длинный и хитрый) и затем питон запускает различные действия в других внешних системах, типа через REST API и т.п.
На этом основана куча автоматизации в нашей компании. Например, эта система по сути рулит отделом клиентской поддержки, назначает тикеты в жире в соответствии с умениями и доступностью сотрудников (т.е. учитывая их знания и опыт в различных прикладных сферах и технологиях, страны проживания и часовые пояса, отгулы и отпуска и т.п.), отвечает там же клиентам, ищет связанные тикеты и похожие кейсы, прикрепляет полезные ссылки на Confluence, пишет письма и прочее. Топ-менеджеры светятся от счастья! Есть и много других примеров, о которых я не могу рассказывать. Все это конечно же самописное, аналоговнетное.
Всех сотрудников компании настоятельно просят использовать ИИ где это только возможно, и предлагать новые области автоматизации.
Спасибо! С нетерпением жду продолжения!
Красотища!
А технические подробности о том как собираются и обрабатываются метрики будут? Понятно, что есть много способов, но интересно как именно вы это сделали.
Ничего странного, разные задачи бывают. Не просто разные конфигурации, но и разные ОС, мажорные версии прогресса, или вообще можно логически реплицировать в JSON и стримить через кафку в другие СУБД (не постгрес).
Прикольное решение, спасибо! В закладки.
Так весь смысл R1 именно в этих самых рассуждениях. Вы можете проверить весь ход умозаключений по шагам, и удостовериться в том, что результат действительно верный. Это хорошо для математики и написания кода.
Обычная же LLM часто отвечает как в том анекдоте: Штурман, приборы! 42! Что 42? А что приборы?
Если вам не нужны рассуждения, значит вам нужна другая модель.
Что это за код? Может быть тесты сомнительного качества?
Раньше в роли такого ИИ выступали толпы индусов на удалённом консалтинге.
Странно что в сравнении IDE не упомянули JetBrains AI. Это прям очень хайповая фича ultimate версии. Для её использования нужна лицензия, которая проверяется каждый раз при запуске.
Совершенству нет предела )
Кирилл, жжёте как всегда! 🔥
Красивое решение. Спасибо что делитесь.
Однажды мне на работе выдали новый крутой лэптоп НР. Очень быстрый и мощный. Но вот беда, у него не было клавиши Ins. Я просто офигел! Хотел было идти ругаться и менять его, но вовремя вспомнил что в линуксе одной командой можно менять маппинг кодов физических клавиш. Через несколько секунд никогда не используемая клавиша Apps превратилась в Ins и настало счастье.
Ну это же легко прикрутить сбоку. Надёжнее зашифровать все диски и забыть об этой проблеме раз и навсегда. И бэкапы конечно тоже делать на шифрованные диски.
Я на линуксе использую стандартный LUKS, поэтому пофигу что там plain text. А бэкап обсидана делается по крону, дополнительно к основному бэкапу, в облако, скриптом в пару строчек, типа: tar->gzip->pgp->git push. И оттуда можно в любое время его скачать и почитать где угодно, хоть на том же телефоне если приспичит.
L3 общий, да.
На самом деле, есть ещё когерентность кэшей L1 и 2. Некоторые источники утверждают что все современные CPU сразу же синкают все изменения между кэшами всех ядер при записи. И что volatile в таком случае не требует каждый раз ходить именно в RAM. Но другие пишут что не всегда это работает. Надо сидеть и разбираться, конечно ))
Дело в том, что каждое ядро работает со своей копией данных, и понятия не имеет что делают другие ядра. И если специально не попросить перечитать переменную из памяти, то ядро будет его брать всегда из своего локального кэша. Так же и при записи, в основную память ничего не сбрасывается автоматом, а изменения делаются в кэше, и сидят там пока эту страницу памяти не вытяснят, когда место потребуется для других данных. Это может произойти через несколько микросекунд, а может и дней...
Volatile как раз и заставляет каждый раз при чтении и записи ходить в RAM, что ужасно дорого, и составляет скажем так тысячу циклов CPU. Единица синхронизации - одна кэш-линия, 64 байт на x86. Причём не только это одно поле синкается, а вообще все переменные видимые текущем потоку. А они наверняка сидят на разных кэш-линиях.
Ещё volatile запрещает делать instruction reordering, что также убивает параллелизм.
Отсюда и вопрос. На высоких скоростях volatile это огромный тормоз. И AtomicReference тоже.
Пометка поля как "volatile" означает что любое чтение/запись из/в него приводит к инвалидации кешей CPU, не так ли? Как это сказывается на производительности вашего приложения?
Под капотом у AtomicReference сидит тот же volatile, это просто обёртка с доп методами.
Сочувствую. Сейчас не лучшее время, на рынке полный глушняк. Прошлый год был самый плохой, сам наверное знаешь сколько было сокращений у нас в канадонии и в штатах. А многие из тех, кто этого вовремя не сделал, уже ушли из бизнеса навсегда. В нашей компании сократили половину штата.
В этом году топ менеджеры на Манхеттене проявляют осторожный оптимизм, но пока еще все в дауне и обратно нанимать людей не спешат. Ждем следующего года, сидим и не дергаемся. Как только в штатах пойдёт подъём, то и в нашей деревне появится больше работы.
Просто интересно, почему не упомянули SneakyThrows? Это моя любимая фича. Что думают консерваторы про идею полностью избавиться от checked exceptions? Не холивара ради.
Спасибо за статью!
> Начиная с PostgreSQL 12 логические репликационные слоты могут быть только на основных серверах кластера, это означает, что Debezium коннектор может взаимодействовать только с primary сервером.
Начиная с Postgres 16 логические слоты можно создавать и на репликах.
https://www.postgresql.org/docs/current/release-16.html#RELEASE-16-LOGICAL
Спасибо что поделились вашим опытом. Вижу что в планах у вас есть тесты, а без них я бы не рискнул использовать подобный инструмент.
Применение изменений и запуск юнит-тестов должны выполняться в одной большой транзакции. Если хоть один тест упал, то роллбэк и до свидания.