Будем объективны, количество людей которые хотя бы один раз в жизни меняют страну проживания в процентном соотношении несущественно, а пересечение "меняет место жительства + пользуется нашим сервисом" совсем ничтожно. Про три страны даже речи не идет, это доли процента, и подстраиваться под них явно никто не будет. Я в целом за системы привязки к номеру телефона, это чаще всего даёт приемлемый уровень защиты от угона, проблема ТС находится в другой плоскости, а именно абсолютная бесполезность технической поддержки. В идеальном мире ТО выслушает пользователя, запросит дополнительные данные и в ходе успешного расследования выдаёт доступ к аккаунту, но чаще вас просто пошлют на 3 буквы, и вот это уже проблема.
Не лень, а невостребованность навыка. Вам просто не нужен английский чтобы жить так как вы сейчас живете. Если бы незнание языка вызывало реальный дискомфорт, то вы бы его выучили.
LLM это в целом не про стабильный результат, так уж оно устроено. Если ваш вопрос не подразумевает совсем уж очевидного ответа, то почти все модели будет шатать от запроса к запросу в зависимости от построение вопроса/температуры/фазы луны.
При этом, так как наша Матрица неотличма от реальности
Это если исходить из предположения что мы знаем как выглядит и ощущается настоящая реальность. Но мы не знаем. Для нас всегда была только эта версия. Для паука который родился в закрытой коробке, эта коробка и есть весь мир.
Возможно мы живем в максимально примитивной и упрощенной версии реальности, либо вовсе наша вселенная является "авторским" творением очередного авангардиста.
С 24 GB vram вы можете вполне запустить Qwen2.5-Coder-32B-Instruct в 4-5 кванте. Погуглите koboldcpp, там есть и бек и фронт в одном флаконе, все весьма интуитивно и в целом больше ничего не надо, но если захочется за место вебморды кобольда можно поставить sillytavern, мануалов по работе с ними в интернете вагон и маленькая тележка.
В моем случае на сильном пк вся память утилизируется LLM (оно несколько сотен ГБ памяти сожрет и не заметит, про 64 ГБ и речи не идет), а на слабом браузер справляется самостоятельно, максимум ещё фоном пара асдмок на джаве с утечкой памяти. В целом концептуально ситуация идентичная, и там и там почти не остается RAM, но мне нужно продолжать работать. Я был бы счастлив если бы этот баг пофиксили, но пока приходится жить на хроме, т.к он сопротивляется своей смерти до последнего. Разве что перейти потом на другой кусок хромиума, но уже не от гугла.
Как я написал в другом комментарии, само количество RAM не важно, важно как браузер реагирует на её острую нехватку. Если у тебя редки ситуации когда всё занято на полную и при этом ты ещё пытаешься использовать браузер, то само собой шанс на то что ситуация повторится минимален.
Подкачка у меня 16 гб на 64 гб своей RAM, и нет это не имеет никакого значения. Крашит абсолютно одинаково что тут, что на системе с 8гб RAM и 4 гб подкачки.
По второму пункту, сейчас это уже не так актуально, разница там не велика. А вот с чем лиса справляется куда хуже так это работа с этой самой памятью. Когда вы доходите до 80-90%+ занятой RAM лиса начинает непредсказуемо крашить вкладки, и следом по цепочке сам браузер, хром же таким убить куда сложнее(впрочем возможно офк.).
Собственно я пытался переехать на лису, в связи с скорым выпилом старого манифеста в хроме, и в целом мне понравилось, но вот эти краши делают все остальные плюсы бессмысленными.
Доступ к внешним ресурсам это сложная тема, и её выполняет не модель а фронтэнд, сама модель не имеет к этому никакого отношения. Если фронт не нашёл ничего по вашей ссылке и не передал в контекст, то эта часть строки будет только путать модель, прося делать непонятно что. Для чистоты эксперимента скачайте все нужные файлы по ссылке вручную и положите в контекст модели.
Вы описываете ровно то о чем я сказал в последнем абзаце, поиск иных подходов. В вашем случае тоже требуется куда меньшие мощности т.к каждая отдельная такая сетка требует много меньше чем текущие корпоративные монстры, что позволяет гибко масштабировать нагрузку под любое железо.
Кормя LLM мусором вы получите на выходе только генератор мусора. Это прекрасно видно на некоторых опенсорсных моделях которые кормили голимой синтетикой.
Почитал, да так и есть. Чуда не случилось. Для нормального R1 готовьте майнинг ферму. Впрочем крупным компаниям это не должно составить проблем, для них деньги на запуск полноценной версии не большие.
Мы уже давно упираемся не в железо. Можно сколько угодно наращивать мощности, но умнее LLM это не сделает т.к текущие топовые сетки и так содержат у себя в датасете чуть-ли не большую часть знаний человечества, при этом рост их сообразительности резко замедлился уже после первых 100b-200b параметров. По итогу нам просто больше нечем их кормить.
Собственно текущие рассуждающие LLM это как раз попытка найти альтернативные способы повысить их эффективность. Более крутое железо позволит только быстрее тестировать эти новые идеи.
Зачем вы тянете кабели каждый раз? Вы их сматываете после игры что-ли? Дарю вам решение: ровно один раз аккуратно прокидываете кабель от пк до телевизора и всё, теперь в любой момент можете и ютуб и киношку и игры смотреть с дивана.
Оно немного криво работает с рассуждениями, гонял 32b модель в 4 кванте(на английском само собой), периодически выдавал теги /think не к месту, либо дублировал ответ столько раз столько я ставил лимит токенов. Возможно конечно кривой квант, потестирую ещё, но пока не сильно впечатлен, +- то же самое я получал от gemma-2-27b + плагин на принудительные рассуждения.
LLM может написать очень многое, видимо у вас было мало опыта их использования за пределами "сходил в чат". Современные LLM при правильном промте и несложный проект осилят, про сортировку даже речи не идет.
Проблема нейронок в первую очередь в том, что они не всегда понимают, что именно от них хотят, но тут в том числе есть вина "мясных мешков" которое просят кнопку "сделать збс", когда на деле там нужно расписать подробное ТЗ. Ну и результат в 9/10 случаев нужно дорабатывать напильником, впрочем это не сильно отличается от того, что вам рандомный джун напишет.
В современном мире серьёзно рассчитывать на внешние сервисы глупо. Сегодня есть, завтра нет. Поднять у себя что-то размера 70b достаточно дешево даже для физ лица, для юр. совсем несущественно. Никто впрочем не запрещает при этом пользоваться облаками пока они ещё доступны, но в случае чего у вас останется крепкий тыл(если ваши потребности укладываются в этот формат офк.). В общем тут вопрос не про экономику, а про доступность.
Будем объективны, количество людей которые хотя бы один раз в жизни меняют страну проживания в процентном соотношении несущественно, а пересечение "меняет место жительства + пользуется нашим сервисом" совсем ничтожно. Про три страны даже речи не идет, это доли процента, и подстраиваться под них явно никто не будет.
Я в целом за системы привязки к номеру телефона, это чаще всего даёт приемлемый уровень защиты от угона, проблема ТС находится в другой плоскости, а именно абсолютная бесполезность технической поддержки. В идеальном мире ТО выслушает пользователя, запросит дополнительные данные и в ходе успешного расследования выдаёт доступ к аккаунту, но чаще вас просто пошлют на 3 буквы, и вот это уже проблема.
Не лень, а невостребованность навыка. Вам просто не нужен английский чтобы жить так как вы сейчас живете. Если бы незнание языка вызывало реальный дискомфорт, то вы бы его выучили.
LLM это в целом не про стабильный результат, так уж оно устроено. Если ваш вопрос не подразумевает совсем уж очевидного ответа, то почти все модели будет шатать от запроса к запросу в зависимости от построение вопроса/температуры/фазы луны.
Невозможность переместить панель задач на правую или левую сторону монитора. Какого черта?
Это если исходить из предположения что мы знаем как выглядит и ощущается настоящая реальность. Но мы не знаем. Для нас всегда была только эта версия. Для паука который родился в закрытой коробке, эта коробка и есть весь мир.
Возможно мы живем в максимально примитивной и упрощенной версии реальности, либо вовсе наша вселенная является "авторским" творением очередного авангардиста.
С 24 GB vram вы можете вполне запустить Qwen2.5-Coder-32B-Instruct в 4-5 кванте. Погуглите koboldcpp, там есть и бек и фронт в одном флаконе, все весьма интуитивно и в целом больше ничего не надо, но если захочется за место вебморды кобольда можно поставить sillytavern, мануалов по работе с ними в интернете вагон и маленькая тележка.
В моем случае на сильном пк вся память утилизируется LLM (оно несколько сотен ГБ памяти сожрет и не заметит, про 64 ГБ и речи не идет), а на слабом браузер справляется самостоятельно, максимум ещё фоном пара асдмок на джаве с утечкой памяти. В целом концептуально ситуация идентичная, и там и там почти не остается RAM, но мне нужно продолжать работать.
Я был бы счастлив если бы этот баг пофиксили, но пока приходится жить на хроме, т.к он сопротивляется своей смерти до последнего. Разве что перейти потом на другой кусок хромиума, но уже не от гугла.
Как я написал в другом комментарии, само количество RAM не важно, важно как браузер реагирует на её острую нехватку. Если у тебя редки ситуации когда всё занято на полную и при этом ты ещё пытаешься использовать браузер, то само собой шанс на то что ситуация повторится минимален.
Подкачка у меня 16 гб на 64 гб своей RAM, и нет это не имеет никакого значения. Крашит абсолютно одинаково что тут, что на системе с 8гб RAM и 4 гб подкачки.
По второму пункту, сейчас это уже не так актуально, разница там не велика. А вот с чем лиса справляется куда хуже так это работа с этой самой памятью. Когда вы доходите до 80-90%+ занятой RAM лиса начинает непредсказуемо крашить вкладки, и следом по цепочке сам браузер, хром же таким убить куда сложнее(впрочем возможно офк.).
Собственно я пытался переехать на лису, в связи с скорым выпилом старого манифеста в хроме, и в целом мне понравилось, но вот эти краши делают все остальные плюсы бессмысленными.
Доступ к внешним ресурсам это сложная тема, и её выполняет не модель а фронтэнд, сама модель не имеет к этому никакого отношения. Если фронт не нашёл ничего по вашей ссылке и не передал в контекст, то эта часть строки будет только путать модель, прося делать непонятно что.
Для чистоты эксперимента скачайте все нужные файлы по ссылке вручную и положите в контекст модели.
Вы описываете ровно то о чем я сказал в последнем абзаце, поиск иных подходов. В вашем случае тоже требуется куда меньшие мощности т.к каждая отдельная такая сетка требует много меньше чем текущие корпоративные монстры, что позволяет гибко масштабировать нагрузку под любое железо.
Кормя LLM мусором вы получите на выходе только генератор мусора. Это прекрасно видно на некоторых опенсорсных моделях которые кормили голимой синтетикой.
Почитал, да так и есть. Чуда не случилось. Для нормального R1 готовьте майнинг ферму. Впрочем крупным компаниям это не должно составить проблем, для них деньги на запуск полноценной версии не большие.
Это не DeepSeek-R1, это тюн квена который обучили на его выходных данных, сравнивать их не корректно, как и все младшие модели впрочем.
Мы уже давно упираемся не в железо. Можно сколько угодно наращивать мощности, но умнее LLM это не сделает т.к текущие топовые сетки и так содержат у себя в датасете чуть-ли не большую часть знаний человечества, при этом рост их сообразительности резко замедлился уже после первых 100b-200b параметров. По итогу нам просто больше нечем их кормить.
Собственно текущие рассуждающие LLM это как раз попытка найти альтернативные способы повысить их эффективность. Более крутое железо позволит только быстрее тестировать эти новые идеи.
Зачем вы тянете кабели каждый раз? Вы их сматываете после игры что-ли?
Дарю вам решение: ровно один раз аккуратно прокидываете кабель от пк до телевизора и всё, теперь в любой момент можете и ютуб и киношку и игры смотреть с дивана.
Оно немного криво работает с рассуждениями, гонял 32b модель в 4 кванте(на английском само собой), периодически выдавал теги /think не к месту, либо дублировал ответ столько раз столько я ставил лимит токенов. Возможно конечно кривой квант, потестирую ещё, но пока не сильно впечатлен, +- то же самое я получал от gemma-2-27b + плагин на принудительные рассуждения.
LLM может написать очень многое, видимо у вас было мало опыта их использования за пределами "сходил в чат". Современные LLM при правильном промте и несложный проект осилят, про сортировку даже речи не идет.
Проблема нейронок в первую очередь в том, что они не всегда понимают, что именно от них хотят, но тут в том числе есть вина "мясных мешков" которое просят кнопку "сделать збс", когда на деле там нужно расписать подробное ТЗ.
Ну и результат в 9/10 случаев нужно дорабатывать напильником, впрочем это не сильно отличается от того, что вам рандомный джун напишет.
В современном мире серьёзно рассчитывать на внешние сервисы глупо. Сегодня есть, завтра нет. Поднять у себя что-то размера 70b достаточно дешево даже для физ лица, для юр. совсем несущественно. Никто впрочем не запрещает при этом пользоваться облаками пока они ещё доступны, но в случае чего у вас останется крепкий тыл(если ваши потребности укладываются в этот формат офк.).
В общем тут вопрос не про экономику, а про доступность.