Shannon, коллеги, а какие ресурсы по по теме ии в целом и в частности по локальному запуску моделей на win, вы считаете наиболее качественными и полезными для старта новичков? а-ля metanit.com. Чтоб потом не переучиваться :)
какой у тебя размер контекстного окна? У меня нет фиксированного размера контекстного окна, но я способен воспринимать и обрабатывать информацию в пределах достаточно широких текстовых сообщений. Если вам нужна помощь с конкретной задачей или вопросом, пожалуйста, предоставьте детали, и я постараюсь помочь!
а какая у тебя модель? Я основан на модели GPT-3.5, разработанной компанией OpenAI. Если у вас есть конкретные вопросы или вам нужна информация по определенной теме, пожалуйста, не стесняйтесь спрашивать!
кстати, попробовал сегодня 3 расширения в хроме "DeepSeek AI". Два не впечатлили - то контекстное окно маловато, то тупит и часики крутит, а вот белый дельфинчик (https://chromewebstore.google.com/detail/deepseek-ассистент-ai-чат/mkhdiephfhifcgpmkaaboknnbdpjlneg) вроде ничего, и самое главное - работает практически моментально. Или вебовская версия R1 изначально медленная и я уже привык смотреть на "поток мыслей", или здесь юзают другую модель, но реально отвечает в несколько раз быстрее. Интересно это все таки Deepseek R1 или попроще? Аж интересно стало. Но как узнать не знаю. Но самое главное - пока ни разу не нарвался на busy! Это прям сильно радует. Надо бы еще размер контекста измерить, а то сегодня относительно короткие вопросы задавал.
У меня пока 1, и пополнение в ближайшее время маловероятно. Чтобы купить еще карты - надо на них заработать, а чтобы заработать - нужны карты :). Чтобы понять рекурсию, сначала надо понять рекурсию. Спасибо за информацию и успешных Вам исследований!
К сожалению, все еще новичок в нейронках, вляпался в один проект, "света белого не вижу", самообразованием заняться совершенно некогда :(. Поэтому буду благодарен, если кто из знающих подскажет.
Ситуация. Я программирую немного, vba, c#, сейчас чуток Python (хотя программирование не ключевая моя компетенция, просто иногда быстрее закодить самому). Полгода назад попробовал нейросети для ускорения своей работы - жутко понравилось. Обычно стараюсь работать на бесплатном браузерном deepseek, но он иногда и все чаще "busy". C API-вариантом я вообще ничего не понял. Когда совсем тяжко - юзаю разные западные модели через gptunel, но там денюшка улетает конкретно.
Поэтому все же мечтаю хотя бы средней сложности код делать все же на своей локальной тачке - есть LM Studio, rtx 3090(24Gb), RAM 128Gb.
Скачал позавчера несколько файлов моделей deepseek, попробовал. Скорость/качество получил на грани комфортного (и ниже). Один раз прям минут на 10 задумалась - это конечно неприемлемо.
Итог: я так и не понял - какая все таки версия по максимуму использует мое железо (вернее цель конечно не в этом), а в максимальной скорости и iq :) работы локального deepseek.
Если у кого есть понимание ответа на этот вопрос, ну или есть понимание ответа "парень, не страдай фигней - с твоей тачкой все равно будет в разы медленнее, чем браузерная бесплатная" - заранее спасибо.
ЗЫ. Я работаю на 2х компах одновременно, поэтому запускаю браузер с deepseek на обоих (под разными аками gmail) - и как могу параллелю свои запросы. Кстати, этот прием реально сильно помогает. Но т.к. занимаюсь и трейдингом, в перспективе хочу прокачаться в части ИИ "в корыстных спекулятивных интересах", поэтому тема локального ИИ крайне интересна.
В железе я не силен, поэтому как аксиому принял, что могу воткнуть только одну видюху, Но есть грамотный в части железа товарищ, пожалуй, озадачу-ка его вопросом - можно ли воткнуть 2? Я так понимаю, тогда получится 32гб, а не 24 (безальтернативный максимум для 1 карты). Еще раз спасибо! Будем копать :)
Я осознаю, что пока сам не до конца понимаю размер и даже детали своей локальной "базы знаний", которые планирую "запихнуть" в своего "локального ассистента". Тут пока откровенная абстракция.
Поэтому, видимо, пока хотя бы примерно можно оценить вероятность второго пути. Как я его понимаю (извините, что своими словами, терминологию еще не закрепил):
1. можно взять "урезанную" версию какой-то большой нейронки - это дает ей базовые навыки, к примеру, программирования, причем на конкретном языке. Для меня это c#
2. потом нужно будет как то ее дообучить именно моей специфической задаче - грубо 3 книги, 100 примеров программного кода именно в моей области, ну и в идеале - некоторые картинки - назовем их "графики экспериментов" (если это реально).
3. В итоге (теоретически) получается некий локальный ИИ-ассистент, который дает мне более качественную помощь в моей сфере деятельности, нежели обычный облачный, при этом моя информация никуда в облака не улетает, а стоимость расчетов снижена благодаря использованию своей видео-карты, а не облачных тарифов. Да, там есть и бесплатные, но тот же нашумевший китаец у меня сегодня раз 5 выдавал "сервер бюзи", и в итоге я снова ушел к "француженке".
Вопрос: написанное мной выше (понятно что на абстрактом уровне) -
вариант а) это скорее реальность и многие люди это (плюс/минус) давно реализовали и реально юзают, получая практический профит,
или вариант б) написанное мной выше на текущий момент это скорее "хотелка" для новичка как я и никакая 3090 и даже 4090 ему в этом не поможет (ибо многое что придется еще изучать и ни один месяц, да и в 24Гб норм нейронка просто не влезет и т.п.), поэтому ему лучше топать в жпт-тутель (и т.п.) и обучать имеющегося там ии-ассистента (создать векторую базу, сделать и разметить маркдаун файлы примеров и т.д.)
Понимаю, что мой вопрос из серии "я не знаю зачем мне машина и ее требуемые характеристики, прав у меня еще нет, но вы мне подскажите какой авто лучше", но к сожалению, это пока мой уровень. Сформулировал как смог.
Заранее благодарен за любую помощь - т.к. я пока определяюсь в каком направлении мне лучше копать, т.к. информации по нейронкам много и каждый день становится еще больше - утонуть можно запросто.
Коллеги, вопрос не совсем по теме, но видя уровень участников, решил все же его задать.
Ситуация: только недавно стал интересоваться ИИ, и голова уже кругом. Никак не могу найти ответ на простой (и я так понимаю весьма популярный) вопрос. Буду благодарен, если поделитесь своим мнением.
Вопрос: купив видео-карточку rtx3090 (ну в крайнем случае 4090, хотя это уже за рамками моего бюджета) - реально ли в принципе построить систему обучения/дообучения нейросети моей специфической информации? Или это "влажные мечты" и с моим бюджетом не надо мучить ни себя, ни ИИ - и мой удел - только облачные решения?
ОГРОМНОЕ СПАСИБО!
приятных Вам выходных!
Shannon, коллеги,
а какие ресурсы по по теме ии в целом и в частности по локальному запуску моделей на win, вы считаете наиболее качественными и полезными для старта новичков? а-ля metanit.com. Чтоб потом не переучиваться :)
Заранее благодарен!
задал прямые вопросы самому ассистенту. :))
какой у тебя размер контекстного окна?
У меня нет фиксированного размера контекстного окна, но я способен воспринимать и обрабатывать информацию в пределах достаточно широких текстовых сообщений. Если вам нужна помощь с конкретной задачей или вопросом, пожалуйста, предоставьте детали, и я постараюсь помочь!
а какая у тебя модель?
Я основан на модели GPT-3.5, разработанной компанией OpenAI. Если у вас есть конкретные вопросы или вам нужна информация по определенной теме, пожалуйста, не стесняйтесь спрашивать!
кстати, попробовал сегодня 3 расширения в хроме "DeepSeek AI". Два не впечатлили - то контекстное окно маловато, то тупит и часики крутит, а вот белый дельфинчик (https://chromewebstore.google.com/detail/deepseek-ассистент-ai-чат/mkhdiephfhifcgpmkaaboknnbdpjlneg) вроде ничего, и самое главное - работает практически моментально.
Или вебовская версия R1 изначально медленная и я уже привык смотреть на "поток мыслей", или здесь юзают другую модель, но реально отвечает в несколько раз быстрее.
Интересно это все таки Deepseek R1 или попроще? Аж интересно стало. Но как узнать не знаю. Но самое главное - пока ни разу не нарвался на busy! Это прям сильно радует. Надо бы еще размер контекста измерить, а то сегодня относительно короткие вопросы задавал.
Спасибо большое! Судя по всему, Вы в этой теме впереди меня лет на 20, а может и вечность :)
Спасибо!
У меня пока 1, и пополнение в ближайшее время маловероятно. Чтобы купить еще карты - надо на них заработать, а чтобы заработать - нужны карты :). Чтобы понять рекурсию, сначала надо понять рекурсию.
Спасибо за информацию и успешных Вам исследований!
К сожалению, все еще новичок в нейронках, вляпался в один проект, "света белого не вижу", самообразованием заняться совершенно некогда :(.
Поэтому буду благодарен, если кто из знающих подскажет.
Ситуация.
Я программирую немного, vba, c#, сейчас чуток Python (хотя программирование не ключевая моя компетенция, просто иногда быстрее закодить самому). Полгода назад попробовал нейросети для ускорения своей работы - жутко понравилось. Обычно стараюсь работать на бесплатном браузерном deepseek, но он иногда и все чаще "busy". C API-вариантом я вообще ничего не понял. Когда совсем тяжко - юзаю разные западные модели через gptunel, но там денюшка улетает конкретно.
Поэтому все же мечтаю хотя бы средней сложности код делать все же на своей локальной тачке - есть LM Studio, rtx 3090(24Gb), RAM 128Gb.
Скачал позавчера несколько файлов моделей deepseek, попробовал. Скорость/качество получил на грани комфортного (и ниже). Один раз прям минут на 10 задумалась - это конечно неприемлемо.
Итог: я так и не понял - какая все таки версия по максимуму использует мое железо (вернее цель конечно не в этом), а в максимальной скорости и iq :) работы локального deepseek.
Если у кого есть понимание ответа на этот вопрос, ну или есть понимание ответа "парень, не страдай фигней - с твоей тачкой все равно будет в разы медленнее, чем браузерная бесплатная" - заранее спасибо.
ЗЫ. Я работаю на 2х компах одновременно, поэтому запускаю браузер с deepseek на обоих (под разными аками gmail) - и как могу параллелю свои запросы. Кстати, этот прием реально сильно помогает. Но т.к. занимаюсь и трейдингом, в перспективе хочу прокачаться в части ИИ "в корыстных спекулятивных интересах", поэтому тема локального ИИ крайне интересна.
огромное спасибо!
у меня райзен 5950 и RAM 128Гб
признаться как то даже не думал про 2 видюхи, т.к. корпус (MicroTower)и мамка достаточно компактные
https://www.dns-shop.ru/product/a3504361a6df3332/materinskaa-plata-asus-tuf-gaming-b550m-plus-wi-fi/
Слоты PCIe x16: 1 x PCIe 3.0 (в режиме x4), 1 x PCIe 4.0 (в режиме x16)
В железе я не силен, поэтому как аксиому принял, что могу воткнуть только одну видюху,
Но есть грамотный в части железа товарищ, пожалуй, озадачу-ка его вопросом - можно ли воткнуть 2? Я так понимаю, тогда получится 32гб, а не 24 (безальтернативный максимум для 1 карты).
Еще раз спасибо! Будем копать :)
Спасибо за помощь!
Я осознаю, что пока сам не до конца понимаю размер и даже детали своей локальной "базы знаний", которые планирую "запихнуть" в своего "локального ассистента". Тут пока откровенная абстракция.
Поэтому, видимо, пока хотя бы примерно можно оценить вероятность второго пути.
Как я его понимаю (извините, что своими словами, терминологию еще не закрепил):
1. можно взять "урезанную" версию какой-то большой нейронки - это дает ей базовые навыки, к примеру, программирования, причем на конкретном языке. Для меня это c#
2. потом нужно будет как то ее дообучить именно моей специфической задаче - грубо 3 книги, 100 примеров программного кода именно в моей области, ну и в идеале -
некоторые картинки - назовем их "графики экспериментов" (если это реально).
3. В итоге (теоретически) получается некий локальный ИИ-ассистент, который дает мне более качественную помощь в моей сфере деятельности, нежели обычный облачный,
при этом моя информация никуда в облака не улетает, а стоимость расчетов снижена благодаря использованию своей видео-карты, а не облачных тарифов. Да, там есть
и бесплатные, но тот же нашумевший китаец у меня сегодня раз 5 выдавал "сервер бюзи", и в итоге я снова ушел к "француженке".
Вопрос: написанное мной выше (понятно что на абстрактом уровне) -
вариант а)
это скорее реальность и многие люди это (плюс/минус) давно реализовали и реально юзают, получая практический профит,
или вариант б)
написанное мной выше на текущий момент это скорее "хотелка" для новичка как я и никакая 3090 и даже 4090 ему в этом не поможет (ибо многое что придется еще изучать и ни один месяц, да и в 24Гб норм нейронка просто не влезет и т.п.), поэтому ему лучше топать в жпт-тутель (и т.п.) и обучать имеющегося там ии-ассистента (создать векторую базу, сделать и разметить маркдаун файлы примеров и т.д.)
Понимаю, что мой вопрос из серии "я не знаю зачем мне машина и ее требуемые характеристики, прав у меня еще нет, но вы мне подскажите какой авто лучше", но к сожалению, это пока мой уровень. Сформулировал как смог.
Заранее благодарен за любую помощь - т.к. я пока определяюсь в каком направлении мне лучше копать, т.к. информации по нейронкам много и каждый день становится еще больше - утонуть можно запросто.
Коллеги, вопрос не совсем по теме, но видя уровень участников, решил все же его задать.
Ситуация: только недавно стал интересоваться ИИ, и голова уже кругом. Никак не могу найти ответ на простой (и я так понимаю весьма популярный) вопрос. Буду благодарен, если поделитесь своим мнением.
Вопрос: купив видео-карточку rtx3090 (ну в крайнем случае 4090, хотя это уже за рамками моего бюджета) - реально ли в принципе построить систему обучения/дообучения нейросети моей специфической информации? Или это "влажные мечты" и с моим бюджетом не надо мучить ни себя, ни ИИ - и мой удел - только облачные решения?