Минутку, но 1-ая версия ChatGPT была запущена только 2 года назад. И каждый месяц выходят новые модели, которые ставят рекорды в тех или иных тестах.
Что касается принципиальной невозможности LLM рассуждать - это философский вопрос. Меня больше интересует практическая сторона применения LLM на работе и в быту.
Похожий кейс. Жена купила тёще умную колонку, музыку слушать по заявкам. Ведь в Интернете полно музыки на разных сайтах, на Ютубе, согласны?
Оказалось, она не может играть музыку, найденную в Интернете, нужна подписка. Тёща, наученная подписками на телефоне, сразу заявила что не будет ни на что подписываться.
Благо, через Алису можно слушать радио бесплатно. (Сейчас менеджеры Яндекс это прочитают и уберут из доступных функций).
Дистиллированная DeepSeek'ом Llama 8B, которую вы скачали, это ни о чём. Более-менее приличный результат можно получить на моделях от 14 млрд параметров и выше. Качайте максимальную модель, которая войдёт в видеопамять вашего адаптера. Меньшие модели - низкое качество, большие - запаритесь ждать ответа.
DeepSeek всё же больше заточен на математику, программирование, логику. Тем не менее, я попробовал ваш промт на локальной DeepSeek-R1-Distill-Qwen-14B-Q5_K_L, получилось на мой невзыскательный взгляд довольно интересное эссе на тему "Природа: гармония и разрушение". Кое-где попадаются китайские слова вместо русских, но тут ничего не поделаешь: локальная LLM квантованная, часть знаний о словах пропала во время квантования.
Зато очевидные плюсы: ты ни от кого не зависишь, спрашивай сколько угодно не думая о деньгах, ты ни кому не сливаешь свои исходники, Интернет не нужен - запускай LLM где угодно.
Тегом <think> модель помечает размышление. Непосредственно ответ на вопрос она выдаёт после этого блока. Иногда интересно почитать, как она пришла к тому или иному выводу.
Эта девственница - единственная из рассуждающих LLM, которая запускается на моей видеокарте. Поэтому выбор пал на неё. А так да, издалека любая продвинутая технология неотличима от магии.
Это задание немного запутанное и включает несколько невозможных условий. Давайте попробуем разобраться.
Семь красных линий, все строго перпендикулярны друг другу: В двумерной плоскости это невозможно, потому что максимум можно нарисовать две линии, перпендикулярные друг другу, либо несколько линий, перпендикулярных к одной линии.
Линии зеленым цветом: Если требуется нарисовать некоторые линии зеленым, то они уже не будут красными, что противоречит первому условию.
Прозрачные линии: Прозрачная линия вообще не будет видна, что делает невозможным ее рисование.
Предлагаю пересмотреть условия задачи, чтобы уточнить ваши требования. Возможно, есть иной способ выразить вашу идею или проект.
Как вариант, можно представить себе многомерное пространство, где число перпендикулярных линий возможно больше, но даже там есть ограничения. Если хотите обсудить другой подход, я с удовольствием помогу!
А про LIMO вы читали? Да и следуя банальной логике, человеку не нужно прочитать все книги в мире и пропустить через себя весь Интернет, чтобы стать специалистом в выбранной области. Так будет и с ИИ. Он будет учиться рассуждениям, "когнитивным шаблонам", как выразились авторы статьи по ссылке. А факты будет черпать из Интернета, словарей, баз данных, считать с помощью компьютера, Wolfram Mathematica.
Отличная задача! Бесплатные Copilot и ChatGPT "плывут" на ней снова. Причём у обеих ответ начинается с восклицания "Это классическая задача!" :)
Но я нашёл победителя! Это (барабанная дробь) локальная DeepSeek-R1-Distill-Qwen-14B-Q5_K_L с квантованными весами. У её проблемы с вспоминанием русских слов, но в логике ей не откажешь.
Рассуждающие LLM решают
Хм, этот вопрос мне кажется有点 tricky, но я попробую разобраться.
Итак, у нас есть человек и коза на одной стороне реки, а на другой стороне, наверное, ждет что-то или кому-то нужно доставить. У них есть лодка, которая вмещает двоих, то есть человека и козу одновременно. Значит, теоретически, они могут переплыть реку за раз.
Но подождите, может быть, здесь какая-то загадка или ограничение? Часто такие задачи содержат скрытое условие. Например, коза не должна оставаться одна с чем-то, или лодка может перевезти только определенное количество.
Вот, наверное, есть дополнительные условия: например, на другой стороне реки уже есть волк и капуста, и если козу оставить一个人 с ними, она будет съедена или разрушит что-то. Тогда задача усложняется.
Если это классическая головоломка про волка, козу и капусту, то тут нужно придумать способ переправить всех без убытков. Обычно в таких задачах используются дополнительные ходы: например, сначала перевезти козу, а потом вернуться за другими.
Но в данном случае описывается только человек и коза. Может быть, это упрощенная версия? Тогда лодка может перевезти их обеих одновременно. Значит, решение straightforward: садятся оба в лодку и переплывают.
Если же есть дополнительные условия, которые не указаны, то нужно уточнить. Но пока я думаю, что ответ простой: человек берет козу в лодку и они плывут вместе.
Человек и коза могут пересечь реку одновременно на一艘 лодке. Для этого человек садится в лодку вместе с козой, и они плывут до другой стороны реки.
Только локально запущенная LLM, только хардкор! К примеру, квантованная Mistral-Small-24B-Instruct-2501-Q4_K_L (только ответ):
So, the transport delay time through such a pipe is approximately 45.25 seconds.
Её чуть более мелкая квантованная сосестра DeepSeek-R1-Distill-Qwen-14B-Q5_K_L (только ответ, без рассуждений):
Answer: The transport delay time is approximately 45.24 seconds.
Хотя оба ответа правильные, дистиллированная DeepSeek'ом модель Qwen просто рвёт конкурентку по скорости работы, полностью помещаясь в видеопамять RTX 3060 12 GB.
Минутку, но 1-ая версия ChatGPT была запущена только 2 года назад. И каждый месяц выходят новые модели, которые ставят рекорды в тех или иных тестах.
Что касается принципиальной невозможности LLM рассуждать - это философский вопрос. Меня больше интересует практическая сторона применения LLM на работе и в быту.
Вы вынудите разработчиков вставить в неё ещё и камеру. Естественно, для защиты детей и безопасности.
Похожий кейс. Жена купила тёще умную колонку, музыку слушать по заявкам. Ведь в Интернете полно музыки на разных сайтах, на Ютубе, согласны?
Оказалось, она не может играть музыку, найденную в Интернете, нужна подписка. Тёща, наученная подписками на телефоне, сразу заявила что не будет ни на что подписываться.
Благо, через Алису можно слушать радио бесплатно. (Сейчас менеджеры Яндекс это прочитают и уберут из доступных функций).
2 момента:
Дистиллированная DeepSeek'ом Llama 8B, которую вы скачали, это ни о чём. Более-менее приличный результат можно получить на моделях от 14 млрд параметров и выше. Качайте максимальную модель, которая войдёт в видеопамять вашего адаптера. Меньшие модели - низкое качество, большие - запаритесь ждать ответа.
DeepSeek всё же больше заточен на математику, программирование, логику. Тем не менее, я попробовал ваш промт на локальной DeepSeek-R1-Distill-Qwen-14B-Q5_K_L, получилось на мой невзыскательный взгляд довольно интересное эссе на тему "Природа: гармония и разрушение". Кое-где попадаются китайские слова вместо русских, но тут ничего не поделаешь: локальная LLM квантованная, часть знаний о словах пропала во время квантования.
Зато очевидные плюсы: ты ни от кого не зависишь, спрашивай сколько угодно не думая о деньгах, ты ни кому не сливаешь свои исходники, Интернет не нужен - запускай LLM где угодно.
Тегом <think> модель помечает размышление. Непосредственно ответ на вопрос она выдаёт после этого блока. Иногда интересно почитать, как она пришла к тому или иному выводу.
Тогда добавьте для Jan.ai не забыть установить Prompt template в параметрах модели, для DeepSeek:
Чтобы LLM не путала где чьи реплики, и правильно выделяла блок размышления.
По умолчанию стоит promt template как для Llama.
У вас же уже была подобная статья про DeepSeek. Или скачивание дистиллята R1 чем-то принципиально отличается от V3?
Эта девственница - единственная из рассуждающих LLM, которая запускается на моей видеокарте. Поэтому выбор пал на неё. А так да, издалека любая продвинутая технология неотличима от магии.
Copilot умеет говорить нет.
А про LIMO вы читали? Да и следуя банальной логике, человеку не нужно прочитать все книги в мире и пропустить через себя весь Интернет, чтобы стать специалистом в выбранной области. Так будет и с ИИ. Он будет учиться рассуждениям, "когнитивным шаблонам", как выразились авторы статьи по ссылке. А факты будет черпать из Интернета, словарей, баз данных, считать с помощью компьютера, Wolfram Mathematica.
Отличная задача! Бесплатные Copilot и ChatGPT "плывут" на ней снова. Причём у обеих ответ начинается с восклицания "Это классическая задача!" :)
Но я нашёл победителя! Это (барабанная дробь) локальная DeepSeek-R1-Distill-Qwen-14B-Q5_K_L с квантованными весами. У её проблемы с вспоминанием русских слов, но в логике ей не откажешь.
Рассуждающие LLM решают
Хм, этот вопрос мне кажется有点 tricky, но я попробую разобраться.
Итак, у нас есть человек и коза на одной стороне реки, а на другой стороне, наверное, ждет что-то или кому-то нужно доставить. У них есть лодка, которая вмещает двоих, то есть человека и козу одновременно. Значит, теоретически, они могут переплыть реку за раз.
Но подождите, может быть, здесь какая-то загадка или ограничение? Часто такие задачи содержат скрытое условие. Например, коза не должна оставаться одна с чем-то, или лодка может перевезти только определенное количество.
Вот, наверное, есть дополнительные условия: например, на другой стороне реки уже есть волк и капуста, и если козу оставить一个人 с ними, она будет съедена или разрушит что-то. Тогда задача усложняется.
Если это классическая головоломка про волка, козу и капусту, то тут нужно придумать способ переправить всех без убытков. Обычно в таких задачах используются дополнительные ходы: например, сначала перевезти козу, а потом вернуться за другими.
Но в данном случае описывается только человек и коза. Может быть, это упрощенная версия? Тогда лодка может перевезти их обеих одновременно. Значит, решение straightforward: садятся оба в лодку и переплывают.
Если же есть дополнительные условия, которые не указаны, то нужно уточнить. Но пока я думаю, что ответ простой: человек берет козу в лодку и они плывут вместе.
Человек и коза могут пересечь реку одновременно на一艘 лодке. Для этого человек садится в лодку вместе с козой, и они плывут до другой стороны реки.
Если есть достаточно мощная видеокарта Nvidia - можете попробавать Nvidia ChatRTX. Он позволяет скормить нейронке свои документы, и задавать вопросы.
Попросили бы перевести в секунды.
Лень у них на уровне ДНК заложена. У кого учились, от тех и набрались.
Выше ответили. Да, локальные для программирования проиграют китам индустрии. А так, можете попробовать дистилляты DeepSeek'a, например:
DeepSeek-R1-Distill-Qwen-14B-Q5_K_L -- нормально работает на видеокарте RTX с видеопамятью от 12 Гб.
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q5_K_L -- если у вас покруче видеокарта.
Устанавливаете Jan.ai, скачиваете и подключаете LLM -- профит!
Если видюхи с большой памятью нету, тогда только онлайн через VPN.
Для дообучения LLM с открытыми весами иметь нужно только свой специфический датасет. Спросите у ChatGPT, что требуется для файнтюнинга LLM.
Delphi снова в десяточке, с чем всех причастных и поздравляю!
Да сейчас дообучат DeepSeek на русских текстах - и дело в шляпе. Благо, эта модель запускается на любом серверном утюге.
Только локально запущенная LLM, только хардкор! К примеру, квантованная Mistral-Small-24B-Instruct-2501-Q4_K_L (только ответ):
Её чуть более мелкая квантованная сосестра DeepSeek-R1-Distill-Qwen-14B-Q5_K_L (только ответ, без рассуждений):
Хотя оба ответа правильные, дистиллированная DeepSeek'ом модель Qwen просто рвёт конкурентку по скорости работы, полностью помещаясь в видеопамять RTX 3060 12 GB.
На RTX 3060 12 GB летает - Token Speed: 63.58t/s.