Search
Write a publication
Pull to refresh
1
0
Евгений Евстафьев @evgeniievstafev

User

Send message

Полмиллиона запросов за месяц: мой LLM-challenge и первые выводы

Level of difficultyEasy
Reading time3 min
Views8.4K

Привет, Хабр! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа (UK). В начале апреля я запустил llm7.io - полностью бесплатный LLM-провайдер, совместимый с популярными библиотеками chat completion. Цель была простая: проверить, насколько эффективно можно построить отказоустойчивую архитектуру под настоящую high-load-нагрузку, и при этом дать всем желающим доступ к мощным языковым моделям - без регистрации, API-токенов, смс и прочих барьеров.

Что произошло за месяц?

Information

Rating
1,999-th
Location
Cambridge, England - East, Великобритания
Date of birth
Registered
Activity

Specialization

Fullstack Developer, Software Architect
Lead
Python
JavaScript
React
TypeScript
Web development
NextJS
PostgreSQL
Docker
Git
SQL