Спасибо! Пока отключать не планирую. Если в будущем решу приостановить сервис, постараюсь заранее повесить предупреждение на главной странице и, возможно, возвращать предупреждение и, например, в теле ответов от API.
Пользоваться, разумеется, можно, в том числе и на проде - особенно если это pet-проект. Свои open-source Python-пакеты (использующие Langchain и совместимые с ChatModel) я уже отрефакторил на использование llm7 по умолчанию - если не задан другой провайдер. Там десятки тысяч скачиваний, и всё работает +- стабильно.
Полной бесперебойности, конечно, не могу гарантировать - это экспериментальный сервис, но в целом архитектура выдерживает. Буду рад, если сервис будет полезен.
Да, спасибо, замечание действительно по делу. Это моя первая публикация на Хабре - своего рода проба пера. Пока не до конца понимаю, какой уровень технической глубины будет интересен аудитории, поэтому сделал упор на общий обзор и выводы.
Что касается архитектурных решений - полностью согласен, сейчас это описано слишком обобщённо. Отчасти потому, что текущий уровень нагрузки, на мой взгляд, ещё не требует каких-то ультрасложных/модных-молодежных решений вроде кафки, шардирования и батчинга - пока всё может работать стабильно и на относительно простом стеке (имею в виду, что все трюки, реализованный на данный момент пока не сильно оправдывают себя, а-ля из пушки по воробьям). Но я к этому иду, и как только появятся реальные вызовы, требующие таких подходов, обязательно сделаю отдельную техническую статью с описанием архитектуры, схемами, очередями и пр.
В любом случае спасибо за фидбэк - обязательно учту в следующих материалах. 🙌
Спасибо! Пока отключать не планирую. Если в будущем решу приостановить сервис, постараюсь заранее повесить предупреждение на главной странице и, возможно, возвращать предупреждение и, например, в теле ответов от API.
Пользоваться, разумеется, можно, в том числе и на проде - особенно если это pet-проект. Свои open-source Python-пакеты (использующие Langchain и совместимые с ChatModel) я уже отрефакторил на использование llm7 по умолчанию - если не задан другой провайдер. Там десятки тысяч скачиваний, и всё работает +- стабильно.
Полной бесперебойности, конечно, не могу гарантировать - это экспериментальный сервис, но в целом архитектура выдерживает. Буду рад, если сервис будет полезен.
Да, спасибо, замечание действительно по делу. Это моя первая публикация на Хабре - своего рода проба пера. Пока не до конца понимаю, какой уровень технической глубины будет интересен аудитории, поэтому сделал упор на общий обзор и выводы.
Что касается архитектурных решений - полностью согласен, сейчас это описано слишком обобщённо. Отчасти потому, что текущий уровень нагрузки, на мой взгляд, ещё не требует каких-то ультрасложных/модных-молодежных решений вроде кафки, шардирования и батчинга - пока всё может работать стабильно и на относительно простом стеке (имею в виду, что все трюки, реализованный на данный момент пока не сильно оправдывают себя, а-ля из пушки по воробьям). Но я к этому иду, и как только появятся реальные вызовы, требующие таких подходов, обязательно сделаю отдельную техническую статью с описанием архитектуры, схемами, очередями и пр.
В любом случае спасибо за фидбэк - обязательно учту в следующих материалах. 🙌