300 вечно зеленых на а100 за обучение только головы поверх замороженного rad-dino- довольно скромный бюджет для 0.90 AUC, отличная иллюстрация того, что для доменной адаптации в медицину сейчас часто выгоднее хороший self-supervised backbone + тонкая голова, чем гонка полного файнтюна. Интересно, пробовали ли разморозить хотя бы последний блок трансформера на этом бюджете, или гпу-часы сразу упёрлись бы в потолок
"23800 req/s на статике" звучит внушительно ровно до тех пор, пока не приделаешь реальную БД - сам же честно пишешь, что разница тонет в latency SQL запроса. Плюс сравнение с FastAPI без pydantic-валидации немного нечестное: ты сравниваешь диспетчер с диспетчером+валидатором. Было бы интереснее увидеть benchmark против Starlette напрямую - вот это было бы яблоки к яблокам. но за старания +реп
Классика жанра: pip resolver в 2026 всё ещё не умеет по-человечески объяснить, почему он выбрал именно эту версию с уязвимостью, зато мы спорим, чья это вина - библиотеки или приложения. По моему real talk в том, что PEP 440 в принципе не создавался как механизм security advisory, и попытки натянуть его на эту роль - это как чинить утечку в трубе синей изолентой: работает, но.. а точно работает?
Уф, отдельная история комьюта выделенного на это, пробовали runpod по началу, но сейчас остановились на сотрудничестве с одним сервисом, они скоро выйдут на рынок и мы обьявим об этом (скорее всего), но пока краткий ответ: используем партнерские мощные сервера, позволяющее до 200 интервью одновременно в лайвтайме. Пока что это покрывает потребности, если (надеюсь) ситуация с количеством юзеров изменится, горизонтально масштабироваться не будет проблемой!
так, по порядку: Вся обработка на нашем сервере - поэтому какой у вас компьютер вообще не имеет разницы (желательно интернет стабильный иметь) Касаемо 400мс - это задержка уже "Я сказал - программа показала текст", разница может быть только из-за стабильности сети (не критичная)
Слушайте, сейчас довольно быстро ии компании развиваются и я честно могу допустить, что дела с OpenAI API стали лучше, и я скажу больше - Вы меня заинтриговали! Я на выходных проведу актуальные тесты нашей модели против опенаи, самому очень интересно будет пронаблюдать за разницей! Спасибо за инсайт еще раз
300 вечно зеленых на а100 за обучение только головы поверх замороженного rad-dino- довольно скромный бюджет для 0.90 AUC, отличная иллюстрация того, что для доменной адаптации в медицину сейчас часто выгоднее хороший self-supervised backbone + тонкая голова, чем гонка полного файнтюна. Интересно, пробовали ли разморозить хотя бы последний блок трансформера на этом бюджете, или гпу-часы сразу упёрлись бы в потолок
"23800 req/s на статике" звучит внушительно ровно до тех пор, пока не приделаешь реальную БД - сам же честно пишешь, что разница тонет в latency SQL запроса. Плюс сравнение с FastAPI без pydantic-валидации немного нечестное: ты сравниваешь диспетчер с диспетчером+валидатором. Было бы интереснее увидеть benchmark против Starlette напрямую - вот это было бы яблоки к яблокам. но за старания +реп
Классика жанра: pip resolver в 2026 всё ещё не умеет по-человечески объяснить, почему он выбрал именно эту версию с уязвимостью, зато мы спорим, чья это вина - библиотеки или приложения. По моему real talk в том, что PEP 440 в принципе не создавался как механизм security advisory, и попытки натянуть его на эту роль - это как чинить утечку в трубе синей изолентой: работает, но.. а точно работает?
Да, но возможно описал немного не так)) В 3 строки сплошного текста, информацию не додумывает!)
ничего не работает - значит ничего не нужно чинить, одни плюсы!
Уф, отдельная история комьюта выделенного на это, пробовали runpod по началу, но сейчас остановились на сотрудничестве с одним сервисом, они скоро выйдут на рынок и мы обьявим об этом (скорее всего), но пока краткий ответ: используем партнерские мощные сервера, позволяющее до 200 интервью одновременно в лайвтайме. Пока что это покрывает потребности, если (надеюсь) ситуация с количеством юзеров изменится, горизонтально масштабироваться не будет проблемой!
так, по порядку:
Вся обработка на нашем сервере - поэтому какой у вас компьютер вообще не имеет разницы (желательно интернет стабильный иметь)
Касаемо 400мс - это задержка уже "Я сказал - программа показала текст", разница может быть только из-за стабильности сети (не критичная)
Слушайте, сейчас довольно быстро ии компании развиваются и я честно могу допустить, что дела с OpenAI API стали лучше, и я скажу больше - Вы меня заинтриговали! Я на выходных проведу актуальные тесты нашей модели против опенаи, самому очень интересно будет пронаблюдать за разницей! Спасибо за инсайт еще раз
Хах, звучит как вызов, проверим?)