А может ли это быть просто потому что обучающие данные в сумме такие? То есть если брать рунет в отрыве от западного интернета, да и тот же хабр, то часто можно услышать что пора валить, то есть грубо говоря патритизмом как бы и не пахнет, а оттого и западная пропаганда подсовывается самими людьми. Когда общаешься с алисой на эти темы, то там прям ненависть сквозит, гигачат не спрашивал. Квен более нейтральный даже чем алиса)
Ооо, это кстати интересная тема. Почему российские ии ненавидят Россию и считают агрессором. Я как-то общался с квеном про Тайвань и последнее китайское предупреждение, он срывался на китайский и выдавал ошибку. Надо бы потестить на локальной модели
Нравится тоже эта игра. И играю в т-банке. У меня тоже стратегия как и у всех, за 6 ходов угадываю почти всегда, за 4-5 очень часто. Мои слова это спрут, камин, выход, желчь.
Иногда бывает что перебрав подряд все эти слова остаются угаданными лишь 1-2 буквы, и тогда начинается настоящая головолмка. Но чаще конечно 3-4 и тут уже есть где разгуляться.
Но вот касаемо второго слова у меня бывает такое что открыты несколько букв и есть множество вариантов, например, лесть, жесть, тесть, месть, весть - можно и не уложиться в лимит если просто перебирать подряд первую букву и у меня такое было однажды - не угадал. Или вот: точка, бочка, почка, мочка, кочка (возможно ночка и дочка). Поэтому я все же думаю первые 2 слова надо разные максимально, с максимальным перекрытием частых букв. Собственно похоже ваши расчеты это и подтвердили.
Может я переобщался с нейронками, заметил что тоже часто использовать тире стал)
А так коммент топ, хотя и эксперимент интересно было почитать, но все же больше художественное чтиво и да, похоже что это реально ии, изначально, не догадался, но в целом меня пока что это и не так сильно цепляет
Ну я пробовал. У меня ноут 4 +8 беру квантованую q4_k_m до 7000 токенов можно. Через llama cpp запускал. Пробовал и на убунту - по скорости не увидел разницы, единственное что может по токенам можно будет больше выжать
Кстати, есть даже решения (включая open-source он-прем), которые индексируют вашу документацию и делают поиск по ней очень эффективным. И просто рабочим.
Видно что вы прям очень хрошо в этом разбираетесь. У меня есть идея по работе скормить нейросети базу знаний (ежедневные отчеты и куча инструкций за более чем 7 лет в формате docx в основном) и попытаться научить ее отвечать по этой базе. Как я понял для этого требуется RAG и перегнать все знания в векторную БД причем для этого нужно использовать специальные embedding модели. Мой вопрос заключается в том как это это лучше сделать. Наиболее простой вариант как подсказывают некоторые нейросети задействовать llama cpp и модель phi-3-mini и AnythingLLM и модель nomic-embed-text. Но что-то мне подсказывает что это сильно слабая связка (отчасти потому что я говорил про запуск этого всего на ноуте, но по факту есть и мощный комп в наличии). Хотелось бы вашего совета. Базу я уже перегнал в sqlite базу данных, если это тоже может помочь оптимизировать как-то процесс.
Поддержу, хотелось бы все то же самое но с учетом этих замечаний. Потому что статья реально полезная для новичков. Вот я тоже помню что читал на хабре опять же что в загрузчик можно поместить свою программу, и если там не ядро а просто программа hello world то напечатается hello world. Правда опять же если нет ос, то программа должна сама уметь печатать символы на мониторе, то есть тоже не такой уж и простой hello world видимо. Или я вообще все не так понял...
Возник такой вопрос: если в 2 пустых чатах задать один и тот же вопрос - ответ же не юудет полностью идентичным? Это значит что есть еще какой-то случайный параметр который влияет на ответ. Насколько я знаю при генерации картинок есть случайное зерное seed, которое и влияет на непохожесть ответов. В llm есть такое?
А может ли это быть просто потому что обучающие данные в сумме такие? То есть если брать рунет в отрыве от западного интернета, да и тот же хабр, то часто можно услышать что пора валить, то есть грубо говоря патритизмом как бы и не пахнет, а оттого и западная пропаганда подсовывается самими людьми. Когда общаешься с алисой на эти темы, то там прям ненависть сквозит, гигачат не спрашивал. Квен более нейтральный даже чем алиса)
Ооо, это кстати интересная тема. Почему российские ии ненавидят Россию и считают агрессором. Я как-то общался с квеном про Тайвань и последнее китайское предупреждение, он срывался на китайский и выдавал ошибку. Надо бы потестить на локальной модели
Может есть смысл сделать на html, css, js?
Открываю по ссылке, пишет не доступен в вашем регионе
Воот. Нужно делать обзоры на бесплатные локальные модели а не платные. Ну или хотя бы пару бесплатных моделей в таблицу добавить
А зачем chess.com если есть другие где боты разрешены? Мне кажется лучше сразу туда, хотя как знать. В любом случае хорошая работа
Нравится тоже эта игра. И играю в т-банке. У меня тоже стратегия как и у всех, за 6 ходов угадываю почти всегда, за 4-5 очень часто. Мои слова это спрут, камин, выход, желчь.
Иногда бывает что перебрав подряд все эти слова остаются угаданными лишь 1-2 буквы, и тогда начинается настоящая головолмка. Но чаще конечно 3-4 и тут уже есть где разгуляться.
Но вот касаемо второго слова у меня бывает такое что открыты несколько букв и есть множество вариантов, например, лесть, жесть, тесть, месть, весть - можно и не уложиться в лимит если просто перебирать подряд первую букву и у меня такое было однажды - не угадал. Или вот: точка, бочка, почка, мочка, кочка (возможно ночка и дочка). Поэтому я все же думаю первые 2 слова надо разные максимально, с максимальным перекрытием частых букв. Собственно похоже ваши расчеты это и подтвердили.
Если ты берешь гражданство Казахстана, то от российского придется отказаться и наоборот.
Может я переобщался с нейронками, заметил что тоже часто использовать тире стал)
А так коммент топ, хотя и эксперимент интересно было почитать, но все же больше художественное чтиво и да, похоже что это реально ии, изначально, не догадался, но в целом меня пока что это и не так сильно цепляет
А все документы сливаются в гугл? То есть взаимодействие с их серверами?
Немного не понял про доступ к файлам? Я просто из чата llama cpp копирую) а что есть возможность и файлы сохранять?
Ну я пробовал. У меня ноут 4 +8 беру квантованую q4_k_m до 7000 токенов можно. Через llama cpp запускал. Пробовал и на убунту - по скорости не увидел разницы, единственное что может по токенам можно будет больше выжать
Да, на карте 1650 4 гб на ноуте спокойно запускается. Очень нравится.
Нравится системный подход, нужно больше систематизции для нубов вроде меня)
А что за решения? Интересно
Видно что вы прям очень хрошо в этом разбираетесь. У меня есть идея по работе скормить нейросети базу знаний (ежедневные отчеты и куча инструкций за более чем 7 лет в формате docx в основном) и попытаться научить ее отвечать по этой базе. Как я понял для этого требуется RAG и перегнать все знания в векторную БД причем для этого нужно использовать специальные embedding модели. Мой вопрос заключается в том как это это лучше сделать. Наиболее простой вариант как подсказывают некоторые нейросети задействовать llama cpp и модель phi-3-mini и AnythingLLM и модель nomic-embed-text. Но что-то мне подсказывает что это сильно слабая связка (отчасти потому что я говорил про запуск этого всего на ноуте, но по факту есть и мощный комп в наличии). Хотелось бы вашего совета. Базу я уже перегнал в sqlite базу данных, если это тоже может помочь оптимизировать как-то процесс.
Поддержу, хотелось бы все то же самое но с учетом этих замечаний. Потому что статья реально полезная для новичков. Вот я тоже помню что читал на хабре опять же что в загрузчик можно поместить свою программу, и если там не ядро а просто программа hello world то напечатается hello world. Правда опять же если нет ос, то программа должна сама уметь печатать символы на мониторе, то есть тоже не такой уж и простой hello world видимо. Или я вообще все не так понял...
Спасибо!
Возник такой вопрос: если в 2 пустых чатах задать один и тот же вопрос - ответ же не юудет полностью идентичным? Это значит что есть еще какой-то случайный параметр который влияет на ответ. Насколько я знаю при генерации картинок есть случайное зерное seed, которое и влияет на непохожесть ответов. В llm есть такое?
Жаль не успел потестить