Мне бы оригинальную версию запустить хотелось, не distilled. Но у меня похоже RAM не хватит, у меня её "всего" 96Gb... (И потолок для материнки - 128Gb)
0.5 tok/sec как-то медленно? Я запускал llama 3.1 70B на 100% CPU (оригинальную, когда она только вышла) у меня после всех танцев с бубном был один токен в секунду, ровно!.. У вас DDR4 или DDR5? Проверьте частоту памяти в UEFI, у меня она по умолчанию стояла в 4000. На CPU бутылочное горлышко не сами вычисления, а доступ к памяти. i5 12600K, считать в 2 потока, или в 12 - результат идентичный.
Они по сути сделали то, что принято в ИИ-коммунити (каким бы малым оно ни было, там всего с десяток открытых крупных игроков) Они использовали свою и чужую открытую работу, улучшили её и отдали результат в открытое же использование. То же самое желает Meta* с их llama'ми.
Обойти же OpenAI не то чтобы трудно было, они больше финансами и прибылью увлеклись, чем научной работой.
В задачах программирования, в частности, Nemotron от nVidia (файнтюн llama 3.1 70b instruct) обходил ChatGPT, и местами даже Claude.
Вообще это всё выглядит как подготовка почвы для выдавливания конкурента. Проблема в том, что это "почва" не выдерживает даже поверхностной критики (не говоря даже о самой практике). DeepSeek просто пришли и отдали результат: "на, пользуйтесь бесплатно и без нашего участия". У них даже патентов в США нет (на данный момент).
DeepSeek isn’t hiding any of this — far from it. “The personal information we collect from you may be stored on a server located outside of the country where you live,” it tells users. “We store the information we collect in secure servers located in the People's Republic of China.” As for what that information might be —everything.
Мне нравится этот уровень лицемерия. Оно такое простое и незамутнённое. Смотришь и восхищаешься прямо как котёнком. Когда Россия требовала перевести данные от сервисов на свою территорию - сколько криков про тоталитаризм-то было...
И это всё при том, что вы можете скачать модель и запустить её локально: не делясь ни какими данными в принципе.
95% инструкций AI проектов выглядят так. На данный момент это территория специализированных проектов и энтузиастов, для простых решений эта область слишком молода. Они ещё не успели появиться и завоевать рынок.
Может быть. Основная проблема - это суммарная память а не быстродействие. Так же если у вас видюхи висят на PCI-E сплиттере - всё это может работать крайне медленно. 671 миллиардов параметров это 671 Гб vram, при квантовании в Q8 (1 байт на параметр) Остальные модели - точно да, трактуйте все эти миллиарды параметров (8B, 32B) как количество гигабайт памяти которые ей нужны. Некоторые из них и на обычном ПК запустятся. В качестве "плеера" - посмотрите на LM Studio если хочется запустить быстро и пощупать или Ollama если хотите делать что-то серьёзное.
Вообще, в случае именно с LLM, бутылочное горлышко - это скорость доступа к памяти, причём значительное. Вам нужно перелопатить этак 70Gb памяти, провести пару арифметических операций над каждым байтом.
При этом энтузиасты успешно запускают LLM на современных Маках, именно из-за того что у них оперативная память быстрая (насколько я понимаю от того, что это расшаренная память в том числе и с GPU)
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
Детали обучения мы проверить не можем, а вот скорость работы вполне - DeepSeek опубликовали модель. Кто угодно может пойти скачать саму модель и провести тесты самостоятельно: https://huggingface.co/deepseek-ai/DeepSeek-R1
Впрочем сам R1 обычный ПК не потянет, от всё таки большеват, этак на порядок. Но всего лишь на порядок. Distill модели вполне, но это не сам DeepSeek R1, это другие опенсорсные модели тренированные на данных сгенерированных с помощью R1 и под его наблюдением.
Сколько же ChatGPT использует вычислительный мощностей вроде никто и не знает.
Насколько я слышал, при СДВГ мозгу нужна постоянная стимуляция. Если её нет - он начинает создавать её себе сам, и вы внезапно обнаруживаете, что вместо работы "витаете в облаках", пошло 2 часа времени и ничего не сделанно. Музыка повышает уровень фонового шума, да это по прежнему тратит "ману", но она затыкает дырку в которую иначе она бы просто вытекла. (я несколько не соглашусь с тем, что "маны меньше", её столько же, просто при СДВГ не возможно напрямую контролировать на что она тратится, и в результате тратится она на всякую фигню чаще всего)
Парадоксальным образом нужно уточнить что такое "внимание" в этом названии - способность концентрироваться на чём либо, а не желание быть в центре внимания.
Выборы в США заметили. Не заметили логической цепочки с этими событиями. Тем более что Трамп вот буквально 21г января (в день получения письма) тормознул с пол сотни указов Байдена. До этого же момента он никакой власти не имел.
Если вы указываете на все известные события, то они "начали случаться" 3 года назад. Так что почему они проснулись только сейчас - действительно не понятно.
В телеграмм очень странно сделаны группы. Как я понял, технически это на самом деле один канал, а чаты внутри - просто сгруппированы по "чатам". Обратите внимание, что на всю группу с кучей каналов только один голосовой чат, одно членство, общий список файлов, и вы даже можете посмотреть общий список сообщений.
А попробуйте ChatGPT спросить о Bryan Lunduke (он оправлял досудебное уведомление к OpenAI с требованием чтобы ChatGPT перестал делать клеветнические заявления о нём) Мне даже интересно, что ChatGPT на русском ответит (у меня нет доступа)
Это кстати наверное единственный тип задач, с которым AI справляется более-менее успешно, наверное. В моём случае AI (https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct) успешно конвертировал список захардкоженных стилей в yaml-конфиг для кодогенератора. Со второй попытки.
Лично я бы не доверил ИИ задачу, результат которой я не могу провалидировить. На даже в случае с валидацией, зачастую оказывается быстрее сделать самому. Я тут честно пытаюсь прикрутить AI в мой воркфлоу, но результаты пока сугубо отрицательные, даже для тех задач где не возникло (или я пока не нашёл) проблем - сделать самостоятельно было бы просто быстрее.
Да и нет гарантии, что он не сделает что-нибудь такое (удалённые строки - код AI), а вы не заметите при ревью:
Вот тут вы не правы. Комментарии нужны в том числе и для того, чтобы описать почему используется конкретное решение. А то может быть этот костыль - единственный способ сделать нужное действие из-за багов в окружении. Был 2 года назад. А теперь окружение исправлено, и его можно спокойно снести.
Senior – несёт ответственность за качество кода, архитектуру, менторит мидлов и джунов, участвует в код-ревью, помогает принимать стратегические технические решения. ИИ получает 3 балла за код ревью
Покажите мне AI способный сделать ревью. Нет, серьёзно. Из моих экспериментов, AI считает что он *ну вот просто обязан* найти что-нибудь и начинает галлюцинировать, местами даже придумывая код которого в данных ему исходниках нет.
Мне бы оригинальную версию запустить хотелось, не distilled. Но у меня похоже RAM не хватит, у меня её "всего" 96Gb... (И потолок для материнки - 128Gb)
0.5 tok/sec как-то медленно? Я запускал llama 3.1 70B на 100% CPU (оригинальную, когда она только вышла)
у меня после всех танцев с бубном был один токен в секунду, ровно!..
У вас DDR4 или DDR5? Проверьте частоту памяти в UEFI, у меня она по умолчанию стояла в 4000.
На CPU бутылочное горлышко не сами вычисления, а доступ к памяти. i5 12600K, считать в 2 потока, или в 12 - результат идентичный.
Они по сути сделали то, что принято в ИИ-коммунити (каким бы малым оно ни было, там всего с десяток открытых крупных игроков)
Они использовали свою и чужую открытую работу, улучшили её и отдали результат в открытое же использование. То же самое желает Meta* с их llama'ми.
Обойти же OpenAI не то чтобы трудно было, они больше финансами и прибылью увлеклись, чем научной работой.
В задачах программирования, в частности, Nemotron от nVidia (файнтюн llama 3.1 70b instruct) обходил ChatGPT, и местами даже Claude.
Вообще это всё выглядит как подготовка почвы для выдавливания конкурента. Проблема в том, что это "почва" не выдерживает даже поверхностной критики (не говоря даже о самой практике). DeepSeek просто пришли и отдали результат: "на, пользуйтесь бесплатно и без нашего участия". У них даже патентов в США нет (на данный момент).
https://www.forbes.com/sites/zakdoffman/2025/01/27/warning-deepseek-is-a-chinese-security-nightmare-come-true/
Мне нравится этот уровень лицемерия. Оно такое простое и незамутнённое. Смотришь и восхищаешься прямо как котёнком. Когда Россия требовала перевести данные от сервисов на свою территорию - сколько криков про тоталитаризм-то было...
И это всё при том, что вы можете скачать модель и запустить её локально: не делясь ни какими данными в принципе.
...надо было покупать 2 p40, а не одну :D
Если я правильно читаю - самой сжатой версии нужно 131+ Gb ram? (обычной, не видео?)
95% инструкций AI проектов выглядят так. На данный момент это территория специализированных проектов и энтузиастов, для простых решений эта область слишком молода. Они ещё не успели появиться и завоевать рынок.
Может быть. Основная проблема - это суммарная память а не быстродействие. Так же если у вас видюхи висят на PCI-E сплиттере - всё это может работать крайне медленно.
671 миллиардов параметров это 671 Гб vram, при квантовании в Q8 (1 байт на параметр)
Остальные модели - точно да, трактуйте все эти миллиарды параметров (8B, 32B) как количество гигабайт памяти которые ей нужны. Некоторые из них и на обычном ПК запустятся.
В качестве "плеера" - посмотрите на LM Studio если хочется запустить быстро и пощупать или Ollama если хотите делать что-то серьёзное.
Вообще, в случае именно с LLM, бутылочное горлышко - это скорость доступа к памяти, причём значительное. Вам нужно перелопатить этак 70Gb памяти, провести пару арифметических операций над каждым байтом.
При этом энтузиасты успешно запускают LLM на современных Маках, именно из-за того что у них оперативная память быстрая (насколько я понимаю от того, что это расшаренная память в том числе и с GPU)
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
"я не специалист, но мои 5 копеек"
Детали обучения мы проверить не можем, а вот скорость работы вполне - DeepSeek опубликовали модель. Кто угодно может пойти скачать саму модель и провести тесты самостоятельно:
https://huggingface.co/deepseek-ai/DeepSeek-R1
Впрочем сам R1 обычный ПК не потянет, от всё таки большеват, этак на порядок. Но всего лишь на порядок. Distill модели вполне, но это не сам DeepSeek R1, это другие опенсорсные модели тренированные на данных сгенерированных с помощью R1 и под его наблюдением.
Сколько же ChatGPT использует вычислительный мощностей вроде никто и не знает.
...но вообще всё это пахнет очередным хайпом.
Насколько я слышал, при СДВГ мозгу нужна постоянная стимуляция. Если её нет - он начинает создавать её себе сам, и вы внезапно обнаруживаете, что вместо работы "витаете в облаках", пошло 2 часа времени и ничего не сделанно.
Музыка повышает уровень фонового шума, да это по прежнему тратит "ману", но она затыкает дырку в которую иначе она бы просто вытекла. (я несколько не соглашусь с тем, что "маны меньше", её столько же, просто при СДВГ не возможно напрямую контролировать на что она тратится, и в результате тратится она на всякую фигню чаще всего)
Парадоксальным образом нужно уточнить что такое "внимание" в этом названии - способность концентрироваться на чём либо, а не желание быть в центре внимания.
Выборы в США заметили. Не заметили логической цепочки с этими событиями. Тем более что Трамп вот буквально 21г января (в день получения письма) тормознул с пол сотни указов Байдена. До этого же момента он никакой власти не имел.
Если вы указываете на все известные события, то они "начали случаться" 3 года назад. Так что почему они проснулись только сейчас - действительно не понятно.
В телеграмм очень странно сделаны группы. Как я понял, технически это на самом деле один канал, а чаты внутри - просто сгруппированы по "чатам". Обратите внимание, что на всю группу с кучей каналов только один голосовой чат, одно членство, общий список файлов, и вы даже можете посмотреть общий список сообщений.
Исправили. Раньше GhatGPT отвечал что он гей и активист ЛГТБ. И что его любимая OS - Windows 11.
Спросите его о его семейной жизни
И возможно фильтр пропустит написание кириллицей
А попробуйте ChatGPT спросить о Bryan Lunduke (он оправлял досудебное уведомление к OpenAI с требованием чтобы ChatGPT перестал делать клеветнические заявления о нём)
Мне даже интересно, что ChatGPT на русском ответит (у меня нет доступа)
Это кстати наверное единственный тип задач, с которым AI справляется более-менее успешно, наверное. В моём случае AI (https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct) успешно конвертировал список захардкоженных стилей в yaml-конфиг для кодогенератора. Со второй попытки.
Лично я бы не доверил ИИ задачу, результат которой я не могу провалидировить. На даже в случае с валидацией, зачастую оказывается быстрее сделать самому. Я тут честно пытаюсь прикрутить AI в мой воркфлоу, но результаты пока сугубо отрицательные, даже для тех задач где не возникло (или я пока не нашёл) проблем - сделать самостоятельно было бы просто быстрее.
Да и нет гарантии, что он не сделает что-нибудь такое (удалённые строки - код AI), а вы не заметите при ревью:
Вот тут вы не правы. Комментарии нужны в том числе и для того, чтобы описать почему используется конкретное решение. А то может быть этот костыль - единственный способ сделать нужное действие из-за багов в окружении. Был 2 года назад. А теперь окружение исправлено, и его можно спокойно снести.
Покажите мне AI способный сделать ревью. Нет, серьёзно. Из моих экспериментов, AI считает что он *ну вот просто обязан* найти что-нибудь и начинает галлюцинировать, местами даже придумывая код которого в данных ему исходниках нет.