Да, для коротких чатов вполне, чем длинее чаты тем медленнее, причем скорость не линейна и отражается на разных показателях, как на скорости инференса, так и на скорости обработки промпта до первого выходного токена.
Растет время обработки промпта, сейчас протестировал на 5к забитом контексте, прям сильно долго обрабатывался промпт, 2 минуты до первого выходного токена. А скорость генерации ответа упала с 12 до 10 токенов на Lenovo Thinkbook 14+. То есть скорость инференса все-таки не так катастрофично падает как время до первого токена.
RTX 3090 TI от KFA2 взял за 67к, скорость генерации ответа ~130t/s, во время инференса потребляет около 350ватт, в простое ~20ватт. Пока только такие сырые цифры, экономическую эффективность не считал.
Забыл упомянуть что на том продовом сервере уже диск никак не расширить без длительного даундайма самого сервера. Думали разные схемы, эта показалась самой дешевой.
А по стоимости профита, имхо, это нужно было сделать, чтобы снизить уровень энтропии. Диски можно бесконечно наращивать при должной организации инфраструктуры, но зачем если можно поддерживать порядок в данных?) Но это мое видение как инженера, а не бизнеса.
Почитал про нормализацию. На сколько я понял это что-то типа интенсивного метода сокращения данных, когда мы детально анализируем и возможно как-то переделываем данные.
Мы решили пойти экстенсивным путем и удалить ненужные, тем более что определить их дешево, а проверить их ненужность просто.
Нормализация обошлась бы дорого, так как потребовала больше специалистов для анализа и выполнения работ, это было бы очень сложно продать.
Я как-то работал преподавателем по системному администрированию и хотел чтобы студенты практиковались в удаленном обслуживании серверов, взял блейд на 8 плат)
Судя по скринам, это уже когда вошел в интерфейс IPMI, я как раз до этого момента не мог дойти, а после нескольких серверов с существующим IPMI понял что самый надежный вариант для новичка это выделенный LAN)
Я как-то работал преподавателем по системному администрированию, вот взял блейд для студентов, преподавание закончилось а блейд остался) Его разместил на кухне, где меньше всего бываю, а спать с ним в одной комнате не вариант. В будущем если продолжу с ним работать, то надо будет в датацентр относить. В Казани узнавал для 4 юнитов 1620ватт примерно 15к колокейшен, вроде норм.
Я хотел собрать именно сервер с его нюансами. Поковырял IPMI, понял что такое KVM over IPMI. И научиться хоть немного разбираться именно в серверном железе, а не в дескопном, разница в деталях оказалась.
Да, для коротких чатов вполне, чем длинее чаты тем медленнее, причем скорость не линейна и отражается на разных показателях, как на скорости инференса, так и на скорости обработки промпта до первого выходного токена.
Растет время обработки промпта, сейчас протестировал на 5к забитом контексте, прям сильно долго обрабатывался промпт, 2 минуты до первого выходного токена. А скорость генерации ответа упала с 12 до 10 токенов на Lenovo Thinkbook 14+. То есть скорость инференса все-таки не так катастрофично падает как время до первого токена.
Все 3 моих ноутбука покупал примерно за 70к.
RTX 3090 TI от KFA2 взял за 67к, скорость генерации ответа ~130t/s, во время инференса потребляет около 350ватт, в простое ~20ватт. Пока только такие сырые цифры, экономическую эффективность не считал.
Спасибо, возьму на заметку)
Почитал про роли, не понял как это может упростить задачу, это же почти те же привилегии, можете подсказать?
У нас может быть пачка юзеров созданных для отдельных таблиц в разных базах данных.
Спасибо за отзыв)
Забыл упомянуть что на том продовом сервере уже диск никак не расширить без длительного даундайма самого сервера. Думали разные схемы, эта показалась самой дешевой.
А по стоимости профита, имхо, это нужно было сделать, чтобы снизить уровень энтропии. Диски можно бесконечно наращивать при должной организации инфраструктуры, но зачем если можно поддерживать порядок в данных?) Но это мое видение как инженера, а не бизнеса.
Не, учетных записей слишком много, показалось проще так как сделали.
Ну так то да)
Почитал про нормализацию. На сколько я понял это что-то типа интенсивного метода сокращения данных, когда мы детально анализируем и возможно как-то переделываем данные.
Мы решили пойти экстенсивным путем и удалить ненужные, тем более что определить их дешево, а проверить их ненужность просто.
Нормализация обошлась бы дорого, так как потребовала больше специалистов для анализа и выполнения работ, это было бы очень сложно продать.
Пока не доводилось работать с gitea, возможно позже рассмотрю.
Да) Контора соскамилась и я пока ушел из преподавания.
Нет, то была социальная программа для некоторых слоев населения, им до чемпионатов далековато)
Я как-то работал преподавателем по системному администрированию и хотел чтобы студенты практиковались в удаленном обслуживании серверов, взял блейд на 8 плат)
SuреrМiсrо 5037МR-Н8TRF на последнем фото слева.
Хм ... есть над чем подумать, спасибо, взял на заметку)
До бэкапов еще дело не дошло. А что за бэкапы такие объемные на домашнем сервере что в 10Гб/с не умещаются?
Стало интересно: а как надо если хочется ssd?
Судя по скринам, это уже когда вошел в интерфейс IPMI, я как раз до этого момента не мог дойти, а после нескольких серверов с существующим IPMI понял что самый надежный вариант для новичка это выделенный LAN)
К серверам только 100мб/с подходит, этого хватает, еще не было задач где упирался в ширину канала.
Я как-то работал преподавателем по системному администрированию, вот взял блейд для студентов, преподавание закончилось а блейд остался) Его разместил на кухне, где меньше всего бываю, а спать с ним в одной комнате не вариант. В будущем если продолжу с ним работать, то надо будет в датацентр относить. В Казани узнавал для 4 юнитов 1620ватт примерно 15к колокейшен, вроде норм.
Я хотел собрать именно сервер с его нюансами. Поковырял IPMI, понял что такое KVM over IPMI. И научиться хоть немного разбираться именно в серверном железе, а не в дескопном, разница в деталях оказалась.