Привет, Хабр! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа (UK). В начале апреля я запустил llm7.io - полностью бесплатный LLM-провайдер, совместимый с популярными библиотеками chat completion. Цель была простая: проверить, насколько эффективно можно построить отказоустойчивую архитектуру под настоящую high-load-нагрузку, и при этом дать всем желающим доступ к мощным языковым моделям - без регистрации, API-токенов, смс и прочих барьеров.
Через месяц после запуска: 572 000+ обработанных запросов. Делюсь опытом, выводами и тем, чего не ожидал.
Зачем?
Хотел протестировать свои инженерные навыки под боевой нагрузкой.
Хотел дать исследователям и разработчикам простой и прямой доступ к топовым LLM без лишней бюрократии.
Хотел собрать анонимизированный семантический кэш для возможного [до]обучения своих моделей в будущем.
Что произошло за месяц?
1. 462 000 запросов за одни сутки
Неожиданный эпизод случился 14 апреля - сервис внезапно получил 462 000 запросов за один день. Похоже, кто-то использовал его для массовой обработки на относительно большом дата-сете. Я был уверен, что сервис упадёт. Не упал. Архитектура справилась, и это стало хорошей проверкой на прочность.
В остальные дни трафик стабилизировался - максимум был около 10 000 запросов в сутки.
2. Ошибки 400
Логи показали интересную картину: многие пользователи не утруждают себя выбором подходящих моделей. Например, отправляют изображения в текстовые модели (я наблюдал массовые 400 из-за некорректных запросов клиентов), которые вообще не поддерживают мультимодальность. Причём продолжают слать их в цикле и даже находят меня в соц сетях и пишут с просьбой «починить ошибку» сервиса 🤪.
Решение: я не стал блокировать такие запросы, а реализовал автоматическое перенаправление на подходящие модели.
3. Адулт-контент и тесты на «прочность»
Как показывает практика, одним из основополагающих классов тестирования LLM на пользовательский ввод - это отнюдь не "умные" вопросы с целью решить задачку из дата-сета MATH.
Часть пользователей активно проверяют LLM на грани цензуры. Даже при анонимизации семантика запросов местами была таковой, что у инженера далекого от специфики - волосы встанут дыбом.
По логам видно, что кто-то запускал ботов, массово генерирующих неприемлемый контент - это подтверждается ошибками по Policy Violation от самих моделей.
Хорошо, что современные модели имеют базовые защитные фильтры. Но вопрос борьбы с завуалированной токсичностью и обходами цензуры - это отдельная инженерная задача, которой я теперь тоже всерьёз интересуюсь, чтобы корректно обучать собственные модели.
4. Бесплатное - значит подозрительное?
Многие пользователи… боятся пользоваться бесплатным сервисом. Когда рядом бесплатный, дешевый и дорогой - выбирают платный. Психология: если платишь, значит это надёжно. Удивительно, но факт. Здесь важную роль играет и UX — отсутствие красивого лендинга или привычного onboarding-а снижает доверие, даже если технически всё работает отлично.
5. Клиентские библиотеки - есть, но нужен трафик
Я написал простые клиенты:
Они позволяют работать с llm7.io без регистрации - просто установи и используй. Но пока пользователей немного. Если у вас есть идеи, как масштабировать проект и привлечь аудиторию - буду рад услышать в комментариях.
Выводы
Архитектура прошла боевое крещение.
Ввод пользователя - это испытание и для моделей, и для серверной части.
Бесплатный сервис - это не только про доступность, но и про сложную инженерию, фильтрацию и пр.
Я получил уникальный опыт, увидел реальные паттерны использования LLM, и готов продолжать эксперимент.
Спасибо за внимание! Если вам было интересно - поддержите и поделитесь, пожалуйста, статьёй (так я буду видеть интерес аудитории и feedback). Если нагрузка ещё вырастет или появятся новые инсайты - обязательно напишу продолжение.Пишите в комментарии - буду рад обсудить идеи и фидбэк.