Спасибо за статью. А я правильно понимаю, что сейчас devbox-ов вообще нет, все в подах jupyterlab-а? Нет ли сценариев когда датасаентисту вот именно что-то типа виртуалки нужно - с докером, ssh, долгоиграющее, ну и конечно с gpu-шками?
Мне как-то попалась задача: стартап хотел сделать AI-чат для техподдержки с latency <50 мс. Взяли готовый опенсорс-монолит: FastAPI + трансформеры + PostgreSQL. На 10 параллельных запросах всё ок. На 50 — латенси улетела за 500 мс, а GPU начал греться как утюг. Знакомо?
а при чем тут монолит? тут под в асинхронном фреймворке запустили инференс - это проблема выбора инструмента как будто
Почему это важно? Представьте: вы приходите к заказчику и говорите: «Вот синий блок — он отвечает за роутинг и безопасность. Хотите сэкономить? Уберите его, но тогда при атаке ваши GPU начнут майнить криптовалюту». И клиент сам решает, что ему важнее. Так работает взрослая архитектура.
это не "взрослая архитектура", это какой-то булщит, какие майнеры криптовалют?)
Мы привыкли к NGINX, но для AI‑трафика я предпочитаю Envoy. Важно сразу оговориться: Envoy не знает про LLM напрямую. У него нет встроенного понимания «галлюцинаций» или «токенов». Однако его штатные L7-механики — outlier detection, circuit breaking, retries, health checks — идеально ложатся на поведение AI‑нод. В отличие от классических бэкендов, здесь каждый запрос может работать десятки секунд, а модель способна внезапно начать тормозить на длинных контекстах. Envoy позволяет гибко настроить таймауты, пороги для вывода из ротации и gracefully переключать трафик между моделями без перезапуска.
мы привыкли к nginx, но я предпочитаю envoy, хотя в ngix все это же есть но ведь у нас AI-ТРАФИК, тут надо что-то другое
Современный pgvector стал быстрее, но практически комфортный предел в реальном production — единицы миллионов векторов без агрессивного тюнинга и партиционирования. Десятки миллионов уже требуют серьёзной инженерной работы. 50 млн векторов — это скорее потолок возможностей при идеальных условиях. Если у вас больше — смотрите в сторону специализированных векторных баз вроде Vespa (от Yahoo) или Qdrant.
Мы внедрили такую штуку в одном проекте: теперь продакт-менеджер может править промты через админку, а система подхватывает новую версию без деплоя. Выручает на раз.
не совсем понял, как промт-стор связан с векторным поиском и миллионами векторов? и еще есть если что pgvectorscale и ydb, что зачастую лучше того же qdrant
Давайте рассмотрим схему на рисунке 1.
у вас на схеме sglang ходит в prompt-store, а judge model - в envoy, можно про это поподробнее?
в целом что-то многовато AI-пафоса, смешана архитектура инференса, бэкендов и внезапно выбор llm-моделей в конце
А что делать если 1C - это просто еще одна мелкая базка рядом с десятком других систем на сотни террайбайт данных, вы бы так же подгружали эти данные в 1C? Есть ли у вас опыт работы с системами, которые не основаны целиком на 1C, а которые используют ее как бухучетную систему рядом с основной большой продуктовой базой?
Рискую показаться тупым, но со стороны вот это выглядит как беснование какого-то крутого девопса, который упоролся в своей сфере, но для стороннего наблюдателя смотрится просто психом
На KubeCon US много говорили о сервис-мешах и mTLS. Я недавно возился с eBPF и потому задумался, насколько сложно создать такую сетку с нуля.
что за mlts что за ebpf, кто эти люди, как это связано с изначальной темой статьи, мне нужно devops-магистратуру закончить чтобы понять все это?
дальше идет абзац про какие-то абстрактные proxy, потом абзац про сайдкар инжектор, где оказывается, у нас уже есть k8s (погнали)
потом "сертификаты", и "начинаем"
да, вот так, нет введения, нет инфы что за задачу чувак решал, какие проблемы, какие требования, какое окружение, архитектура - просто "НАЧИНАЕМ" после "СЕРТИФИКАТЫ" - пощади, Дэниэл Фенирран, не все на твоей волне
Я вижу как минимум два софизма - переход на личность - сперва добейся
Для корпоративного аккаунта с имиджевой точки зрения это прям то что надо, да.
У меня нет статей, где я бы качественно что-то объяснял, чего уже не было бы объяснено, потому что это требует инвестиции огромного количества времени - совсем не то что накропать статью с помощью chatgpt и приправить ее ссылками на бложек и клауд-сервис свой.
Непонятно для кого написана эта статья. Перемешиваются комментарии вида "import random - ну это чтобы генерить рандомные айди" и "uvicorn - это asgi server, вы же все знаете что такое asgi, да, чуваки?"
На самом деле понятно для чего - для развития своего канала и продвижения каких-то мутных хостингов и сайтиков с монетизацией. Но и это было не так плохо если бы рассматривались какие-то реальные проблемы, принимаемые решения, но я процентов на 90 уверен что это статья сгенинирована llm-кой на уже существующем проекте и эта llm-ка просто объясняет очень плохо что код делает:
"В каждой комнате (room_id) подключенные пользователи хранятся в виде {user_id: WebSocket}."
Мое личное мнение - это откровенная халтура уровня реферата студента и должна отправиться на пересдачу
Шизофази́я (от др.-греч. σχίζω «расщеплять, раскалывать» и φάσις «речь, высказывание») — симптомпсихических расстройств, выражающийся в речевой разорванности — нарушении структуры речи, при которой, в отличие от речевой бессвязности (потока несвязанных слов), фразы строятся правильно[1], однако не несут никакой смысловой нагрузки, а содержание речи соответствует содержанию бреда[2].
Функциональные требования: код должен быть открытый, должны быть понятны связи между классами, количество игроков от 0 до бесконечности, минимимум два примера использования функции в коде, должна быть дружелюбна к ML - нейронные сети должны распозновать текст. Абсолютно несвязанные требования к кодстайлу, архитектуре, бизнес-требованиям заканчиваются нелепой попыткой создать метакласс на питоне: это статья - пример шизофазии.
Одной из ключевых особенностей данной статьи можно считать казенный язык изложения, что может негативно сказаться на интересе к основной содержательной части и препятствовать прочтению данной работы.
А если по сути - похоже, вы забыли приложить результаты бенчмарков?
В своем комментарии вы аппелируете к статье, которая говорит о исследовании, в котором участвовало 20 человек (это уже как бы сказать, нелепо что ли), из которых 11 заявило что они продвинутые css+html пользователи. Так как вы пытались с помощью этой статьи доказать, что даже не связанные с программированием пользователи могут вполне успешно использовать (прошу прощения за тавталогию) этот фреймворк — я сделал вывод, что вы не читали цитируемую статью полностью.
озвольте с Вами не согласиться. Если под эффективностью использования инструмента понимать возможность создания с его помощью пусть и не сверхсложного, но рабочего интерактивного веб-приложения, то это доказано проведёнными исследованиями (так называемыми, user study). Ознакомиться с результатами одного из них можно здесь.
Принимая во внимание концепцию Питона, что все открыто для всех, почему бы не сделать доступ к «классным» атрибутам только через __class__ или его аналог.
Во-первых, гораздо больше в питоне ценится читаемость и простота, почему для того чтобы получить класс-атрибут я должен:
1. Точно помнить классовый он или инстансный.
2. Писать что-то типа
Drum.__class__. vtype
Во-вторых, не совсем понятно, чего вы ожидаете, меняя атрибут инстанса в рантайме? Изменение атрибута класса? Эксепшен?
В-третьих, если уж вы выкладываете код, то хоть немного его приведите в порядок в соответствии с pep-8.
Спасибо за статью.
А я правильно понимаю, что сейчас devbox-ов вообще нет, все в подах jupyterlab-а? Нет ли сценариев когда датасаентисту вот именно что-то типа виртуалки нужно - с докером, ssh, долгоиграющее, ну и конечно с gpu-шками?
а при чем тут монолит? тут под в асинхронном фреймворке запустили инференс - это проблема выбора инструмента как будто
это не "взрослая архитектура", это какой-то булщит, какие майнеры криптовалют?)
мы привыкли к nginx, но я предпочитаю envoy, хотя в ngix все это же есть
но ведь у нас AI-ТРАФИК, тут надо что-то другое
не совсем понял, как промт-стор связан с векторным поиском и миллионами векторов?
и еще есть если что pgvectorscale и ydb, что зачастую лучше того же qdrant
у вас на схеме sglang ходит в prompt-store, а judge model - в envoy, можно про это поподробнее?
в целом что-то многовато AI-пафоса, смешана архитектура инференса, бэкендов и внезапно выбор llm-моделей в конце
поверьте надутых "я тут уже 13 лет на сайтике" не любят еще сильнее
А что делать если 1C - это просто еще одна мелкая базка рядом с десятком других систем на сотни террайбайт данных, вы бы так же подгружали эти данные в 1C?
Есть ли у вас опыт работы с системами, которые не основаны целиком на 1C, а которые используют ее как бухучетную систему рядом с основной большой продуктовой базой?
Рискую показаться тупым, но со стороны вот это выглядит как беснование какого-то крутого девопса, который упоролся в своей сфере, но для стороннего наблюдателя смотрится просто психом
На KubeCon US много говорили о сервис-мешах и mTLS. Я недавно возился с eBPF и потому задумался, насколько сложно создать такую сетку с нуля.что за mlts что за ebpf, кто эти люди, как это связано с изначальной темой статьи, мне нужно devops-магистратуру закончить чтобы понять все это?
дальше идет абзац про какие-то абстрактные proxy, потом абзац про сайдкар инжектор, где оказывается, у нас уже есть k8s (погнали)
потом "сертификаты", и "начинаем"
да, вот так, нет введения, нет инфы что за задачу чувак решал, какие проблемы, какие требования, какое окружение, архитектура - просто "НАЧИНАЕМ" после "СЕРТИФИКАТЫ" - пощади, Дэниэл Фенирран, не все на твоей волне
"Я - автор, я медленно надеваю красный клоунский нос, прикладываю парик, и продолжаю свою деятельность."
Я вижу как минимум два софизма
- переход на личность
- сперва добейся
Для корпоративного аккаунта с имиджевой точки зрения это прям то что надо, да.
У меня нет статей, где я бы качественно что-то объяснял, чего уже не было бы объяснено, потому что это требует инвестиции огромного количества времени - совсем не то что накропать статью с помощью chatgpt и приправить ее ссылками на бложек и клауд-сервис свой.
Непонятно для кого написана эта статья.
Перемешиваются комментарии вида "import random - ну это чтобы генерить рандомные айди" и "uvicorn - это asgi server, вы же все знаете что такое asgi, да, чуваки?"
На самом деле понятно для чего - для развития своего канала и продвижения каких-то мутных хостингов и сайтиков с монетизацией. Но и это было не так плохо если бы рассматривались какие-то реальные проблемы, принимаемые решения, но я процентов на 90 уверен что это статья сгенинирована llm-кой на уже существующем проекте и эта llm-ка просто объясняет очень плохо что код делает:
"В каждой комнате (room_id) подключенные пользователи хранятся в виде {user_id: WebSocket}."
Мое личное мнение - это откровенная халтура уровня реферата студента и должна отправиться на пересдачу
Не сохранены - у пользователя кончилось место. Что раз в 1000 вероятнее, чем кончившееся место на выделенном сервисе, обмазанном мониторингом.
Вся описанная схема с eventual consistency подойдет разве что для написания и синхронизации заметок, для задачи покупки - это отвратительный UX.
Я видел как в компании ПМ уволился, на следующий день программисты спились все, а потом и здание рухнуло, так-то!
Это ерунда полная, sqlalchemy в питоне умеет все это и даже больше, а все, что умеет hibernate джавовский даже представить сложно.
Ради интереса - эту статью какая-то продвинутая gpt-3 сеть сгенерировала?
Шизофази́я (от др.-греч. σχίζω «расщеплять, раскалывать» и φάσις «речь, высказывание») — симптом психических расстройств, выражающийся в речевой разорванности — нарушении структуры речи, при которой, в отличие от речевой бессвязности (потока несвязанных слов), фразы строятся правильно[1], однако не несут никакой смысловой нагрузки, а содержание речи соответствует содержанию бреда[2].
Функциональные требования: код должен быть открытый, должны быть понятны связи между классами, количество игроков от 0 до бесконечности, минимимум два примера использования функции в коде, должна быть дружелюбна к ML - нейронные сети должны распозновать текст.
Абсолютно несвязанные требования к кодстайлу, архитектуре, бизнес-требованиям заканчиваются нелепой попыткой создать метакласс на питоне: это статья - пример шизофазии.
Одной из ключевых особенностей данной статьи можно считать казенный язык изложения, что может негативно сказаться на интересе к основной содержательной части и препятствовать прочтению данной работы.
А если по сути - похоже, вы забыли приложить результаты бенчмарков?
debezium.io/documentation/reference/connectors/postgresql.html#postgresql-property-snapshot-mode
Например, зачастую не нужно/невозможно переливать все данные, которые уже есть в базе и этого можно избежать, установив snapshot.mode=never
где 11 — отметились как advanced html+css юзеры
вы вообще всю статью прочитали?
вижу
Во-первых, гораздо больше в питоне ценится читаемость и простота, почему для того чтобы получить класс-атрибут я должен:
1. Точно помнить классовый он или инстансный.
2. Писать что-то типа
Во-вторых, не совсем понятно, чего вы ожидаете, меняя атрибут инстанса в рантайме? Изменение атрибута класса? Эксепшен?
В-третьих, если уж вы выкладываете код, то хоть немного его приведите в порядок в соответствии с pep-8.
это