Опенсорс в мире AI движется как обычно со скоростью не сильно уступающей "гигантам индустрии". Можно сказать, всего на несколько лет отставание от промышленных AI.
Попробуйте LLM раcсчитанные на математические задачи. При грамотной работе с контекстом - скорость не так уж важна. Если модель правильно настроена, есть необходимая база знаний, контекст полный (т.е., контекстного окна хватает на запрос, или ваш проект уже интегрирован в LLM), то при правильном запросе (и отсутствии лимита окна на выдачу) - вероятность ошибки стремится к нулю, то есть в таком контексте скорость работы практически не принципиальна.
Пригодность к работе очень специфический термин в мире LLM, очень сильно зависит от конкретной модели и языка (и не только, важны: сфера применения, умение работать с контекстом, умение декомпозировать и сегментировать, ну, то есть, "пригодность к работе" - это термин испытывающий на себе влияние десятков параметров). Данная модель и на 16ГБ видеопамяти работает неплохо по отзывам.
Более того, вот эта модель на два гигабайта, по отзывам, так же неплохо кодит (опять-таки это очень обобщённо).
Заметьте! Вы сказали: "нормальная", но не "высокая", потому что понятно, что по JS/Python/C++, ну то есть по классике, общедоступная кодовая база выше, соответственно популярность запросов в поисковых системах - плюс-минус ситуацию отражает. Плюс я не сказал, что продуктивности не будет - я сказал, что: "её не стоит ожидать".
Чем популярнее язык - тем больше общедоступная кодовая база, тем больше база знаний в LLM по языку, тем лучше выдача. На JS все LLM пишут просто великолепно, можно свой мини-фреймворк собрать за непродолжительное время.
Ну кое-какие CPU/RAM LLM может и запустятся и после качественной настройки может даже смогут что-то выдать. LLM опенсорс так быстро идёт вперёд, что, вполне возможно уже базовую генерацию кода даже на такой конфигурации запустить. Но с настройкой придётся где-то очень сильно повозиться и только под определённый язык это будет работать.
Зачем тебе нужны курсы в 2025-ом? Ты просто генерируешь базовый проект через LLM и разбираешь его. Разработка через тестирование (test-driven development - TDD) уничтожила всё. Это выжженное поле информации. Старые подходы уже не нужны.
Вот, кстати, да, я как и многие - заметили, что индустрия вышла, в первый раз за долгое время, на плато, и, по сути, инноваций не требует. Всё уже работает и работает отлично. Сейчас скорее вопросы UI/UX, удобства, стабильности, надёжности подоспели.
Ни разу не видел. Честные курсы - это максимально сжатый текст, как на https://learn.javascript.ru/. И то - сайт инфоцыганский, вместо нормального объяснения задач - "попробуйте решить задачу сами, должно получиться так", то есть классическая медиа-воронка внимания (нехитрые инструменты по удержанию тебя на сайте, то есть по увеличению "вовлечённости"). Нормальный подход - это как здесь: https://learnjs.ru/, то есть - просто сразу задача, просто с объяснением почему так и зачем так, без всякой хитрой медиа-воды. А теперь вопрос: "вы много хотя бы на уровне этих сайтов видели курсов?" - конечно же нет, потому что такой контент полностью копируется за час парсинга, и мы получаем точную копию сайта, только бесплатную. По итогу всё сместилось в видео - видео скопировать не возможно, то есть даже при копировании там лицо автора будет, т.е., пиар. А тут LLM взяли и вытравили огнемётом всё это змеиное гнездо. Nothing personal, guys.
Образно говоря да. Вместо текста - видео, потому что текст легко скопировать и им это не надо. Тонна воды, что бы курс из получаса растянуть на пять-десять уроков. То есть всё сделано что бы извлечь максимум выгоды и максимально затруднить получение информации. Раньше было достаточно на форум зайти и после нескольких минут поиска - почти любая проблема решалась. Stack Overflow помогает, но это всё равно не тот уровень разнообразия текстовой информации, что был раньше. SEO уничтожило классические поисковики, то есть вариантов для нормального поиска информации кроме как просмотра полугода видео-материалов по языку - не осталось. И тут на помощь приходит новое поколение информационных провайдеров - LLM. Они ловко маневрируя между искусственно созданных инфоцыганами скал - собирают по кусочкам информацию и компилируют её в удобной выдаче, при правильном подходе даже решение в ваш собственный код встроят. Вот и вся суть.
Да всё немного проще. Раньше было как: информация в мире IT - сверхценный ресурс. В итоге вся информация скопилась у инфоцыган. Хочешь хороший курс по Flutter? Ну сиди смотри миллион видео-курсов, ещё и плати за него, если хочешь актуалочку. В текстовом формате уже почти ничего не осталось, хотя формат удобнее раз в двести. Ты должен заплатить денег за информацию, или как минимум увеличить количество просмотров на канале, то есть принести прибыль. И тут - ХОП! Лавочка накрылась и всё резко вернулось в 2005-ый, когда по любому языку были форумы и любую проблему можно было найти за пять секунд в текстовом виде. То есть просто сбрили с информации паразитическую прослойку в виде инфоцыган.
Если они догнали позапрошлогодние, то значит уже можно использовать. Чистый JS даже GPT 3.5 выдавал на феноменальном уровне, кстати многие это отмечают, если форумы покопать, насколько хорошо GPT 3.5 хорошо (уже тогда) с JS работал.
Хммм, интересненько. Я пока копаю тему, так как мне достаточно будет, что бы нейросеть хорошо писала JS/Node.JS, остальное можно и ручками написать - в разы (на порядок) меньше бойлерплейта, ещё не пробовал запускать локально, но усиленно штудирую англоязычные форумы. Лично для себя уже понял (из отзывов энтузиастов), что по большому счёту даже 8 гигабайтов хватит на хорошей, правильно настроенной модели (мне кроме генерации кода ничего не нужно, а JS это это базовая задача, даже для древних моделей). Плюс сейчас уже практически все LLM хорошо с AMD картами работают, то есть ещё и бюджет необходимый снизился. Самое интересное, конечно, это как быстро CPU/RAM модели дорастут до уровня коммерческих, так-то на встройках более 90% народу сидит, то есть спрос есть.
Но, к сожалению, веса самых продвинутых моделей, которые играют в одной лиге с лучшими онлайн моделями, занимают сотни гигабайт. Например, 8-битные веса Deepseek R1-671B занимают 700 гигабайт, квантованые q4 — 350 гигов.
То есть вышесказанное очень сильно зависит от конкретных задач.
В целом жизнь есть даже на 16 гигабайтах, и даже на 8 если очень постараться, а ещё отдельная тема для обсуждения - модели созданные для генерации на CPU/RAM
Про тот же Deepseek
Deepseek Coder, весом в 9 гигабайт - по отзывам показывает отличные результаты при генерации кода
Да, сменный аккумулятор в наше время - действительно редкость.
Опенсорс в мире AI движется как обычно со скоростью не сильно уступающей "гигантам индустрии". Можно сказать, всего на несколько лет отставание от промышленных AI.
Попробуйте LLM раcсчитанные на математические задачи. При грамотной работе с контекстом - скорость не так уж важна. Если модель правильно настроена, есть необходимая база знаний, контекст полный (т.е., контекстного окна хватает на запрос, или ваш проект уже интегрирован в LLM), то при правильном запросе (и отсутствии лимита окна на выдачу) - вероятность ошибки стремится к нулю, то есть в таком контексте скорость работы практически не принципиальна.
Пригодность к работе очень специфический термин в мире LLM, очень сильно зависит от конкретной модели и языка (и не только, важны: сфера применения, умение работать с контекстом, умение декомпозировать и сегментировать, ну, то есть, "пригодность к работе" - это термин испытывающий на себе влияние десятков параметров). Данная модель и на 16ГБ видеопамяти работает неплохо по отзывам.
Более того, вот эта модель на два гигабайта, по отзывам, так же неплохо кодит (опять-таки это очень обобщённо).
https://huggingface.co/bigcode/starcoder2-3b
У дипсика есть кодерская версия на 9 гигабайт. Возможно вас заинтересует. Отзывы, вроде, неплохие.
https://ollama.com/library/deepseek-coder-v2:16b
В мире LLM всё очень специфично - обойдёмся без обобщений, я не пробовал использовать LLM для Perl. Да и в рейтинге он достаточно высоко.
Deepseek не позиционировал себя как кодерская LLM изначально.
Заметьте! Вы сказали: "нормальная", но не "высокая", потому что понятно, что по JS/Python/C++, ну то есть по классике, общедоступная кодовая база выше, соответственно популярность запросов в поисковых системах - плюс-минус ситуацию отражает. Плюс я не сказал, что продуктивности не будет - я сказал, что: "её не стоит ожидать".
Всё, что ниже десятки - не стоит ожидать продуктивности в работе от LLM.
Чем популярнее язык - тем больше общедоступная кодовая база, тем больше база знаний в LLM по языку, тем лучше выдача. На JS все LLM пишут просто великолепно, можно свой мини-фреймворк собрать за непродолжительное время.
Ну кое-какие CPU/RAM LLM может и запустятся и после качественной настройки может даже смогут что-то выдать. LLM опенсорс так быстро идёт вперёд, что, вполне возможно уже базовую генерацию кода даже на такой конфигурации запустить. Но с настройкой придётся где-то очень сильно повозиться и только под определённый язык это будет работать.
Ну, если кому-то нравится и кто-то платит - пожалуйста, никто не мешает.
Зачем тебе нужны курсы в 2025-ом? Ты просто генерируешь базовый проект через LLM и разбираешь его. Разработка через тестирование (test-driven development - TDD) уничтожила всё. Это выжженное поле информации. Старые подходы уже не нужны.
Вот, кстати, да, я как и многие - заметили, что индустрия вышла, в первый раз за долгое время, на плато, и, по сути, инноваций не требует. Всё уже работает и работает отлично. Сейчас скорее вопросы UI/UX, удобства, стабильности, надёжности подоспели.
Ни разу не видел. Честные курсы - это максимально сжатый текст, как на https://learn.javascript.ru/. И то - сайт инфоцыганский, вместо нормального объяснения задач - "попробуйте решить задачу сами, должно получиться так", то есть классическая медиа-воронка внимания (нехитрые инструменты по удержанию тебя на сайте, то есть по увеличению "вовлечённости"). Нормальный подход - это как здесь: https://learnjs.ru/, то есть - просто сразу задача, просто с объяснением почему так и зачем так, без всякой хитрой медиа-воды. А теперь вопрос: "вы много хотя бы на уровне этих сайтов видели курсов?" - конечно же нет, потому что такой контент полностью копируется за час парсинга, и мы получаем точную копию сайта, только бесплатную. По итогу всё сместилось в видео - видео скопировать не возможно, то есть даже при копировании там лицо автора будет, т.е., пиар. А тут LLM взяли и вытравили огнемётом всё это змеиное гнездо. Nothing personal, guys.
Образно говоря да. Вместо текста - видео, потому что текст легко скопировать и им это не надо. Тонна воды, что бы курс из получаса растянуть на пять-десять уроков. То есть всё сделано что бы извлечь максимум выгоды и максимально затруднить получение информации. Раньше было достаточно на форум зайти и после нескольких минут поиска - почти любая проблема решалась. Stack Overflow помогает, но это всё равно не тот уровень разнообразия текстовой информации, что был раньше. SEO уничтожило классические поисковики, то есть вариантов для нормального поиска информации кроме как просмотра полугода видео-материалов по языку - не осталось. И тут на помощь приходит новое поколение информационных провайдеров - LLM. Они ловко маневрируя между искусственно созданных инфоцыганами скал - собирают по кусочкам информацию и компилируют её в удобной выдаче, при правильном подходе даже решение в ваш собственный код встроят. Вот и вся суть.
Да всё немного проще. Раньше было как: информация в мире IT - сверхценный ресурс. В итоге вся информация скопилась у инфоцыган. Хочешь хороший курс по Flutter? Ну сиди смотри миллион видео-курсов, ещё и плати за него, если хочешь актуалочку. В текстовом формате уже почти ничего не осталось, хотя формат удобнее раз в двести. Ты должен заплатить денег за информацию, или как минимум увеличить количество просмотров на канале, то есть принести прибыль. И тут - ХОП! Лавочка накрылась и всё резко вернулось в 2005-ый, когда по любому языку были форумы и любую проблему можно было найти за пять секунд в текстовом виде. То есть просто сбрили с информации паразитическую прослойку в виде инфоцыган.
Если они догнали позапрошлогодние, то значит уже можно использовать. Чистый JS даже GPT 3.5 выдавал на феноменальном уровне, кстати многие это отмечают, если форумы покопать, насколько хорошо GPT 3.5 хорошо (уже тогда) с JS работал.
Хммм, интересненько. Я пока копаю тему, так как мне достаточно будет, что бы нейросеть хорошо писала JS/Node.JS, остальное можно и ручками написать - в разы (на порядок) меньше бойлерплейта, ещё не пробовал запускать локально, но усиленно штудирую англоязычные форумы. Лично для себя уже понял (из отзывов энтузиастов), что по большому счёту даже 8 гигабайтов хватит на хорошей, правильно настроенной модели (мне кроме генерации кода ничего не нужно, а JS это это базовая задача, даже для древних моделей). Плюс сейчас уже практически все LLM хорошо с AMD картами работают, то есть ещё и бюджет необходимый снизился. Самое интересное, конечно, это как быстро CPU/RAM модели дорастут до уровня коммерческих, так-то на встройках более 90% народу сидит, то есть спрос есть.
https://ollama.com/library/qwen2.5-coder:32b
Занимает 20GB, один из лидеров чартов по генерации кода среди локальных LLM
https://aider.chat/docs/leaderboards/
Плюс есть библиотеки позволяющие запускать LLM на (в разы) меньшем объёме памяти, чем занимает сама модель
https://github.com/turboderp-org/exllamav2
Плюс есть отдельные нишевые библиотеки под разные языки, позволяющие интегрировать ваш проект в LLM (то есть на порядок повысить качество генерации)
https://github.com/ollama/ollama-js
То есть вышесказанное очень сильно зависит от конкретных задач.
В целом жизнь есть даже на 16 гигабайтах, и даже на 8 если очень постараться, а ещё отдельная тема для обсуждения - модели созданные для генерации на CPU/RAM
Про тот же Deepseek
Deepseek Coder, весом в 9 гигабайт - по отзывам показывает отличные результаты при генерации кода
https://ollama.com/library/deepseek-coder-v2:16b
Вот эта двухгигабайтная LLM, опять таки по отзывам отлично генерирует код
https://ollama.com/library/starcoder2:3b
https://huggingface.co/bigcode/starcoder2-3b
Это мы только копнули тему низкоресурсопотребляемой генерации кода при помощи LLM