95% инструкций AI проектов выглядят так. На данный момент это территория специализированных проектов и энтузиастов, для простых решений эта область слишком молода. Они ещё не успели появиться и завоевать рынок.
Может быть. Основная проблема - это суммарная память а не быстродействие. Так же если у вас видюхи висят на PCI-E сплиттере - всё это может работать крайне медленно. 671 миллиардов параметров это 671 Гб vram, при квантовании в Q8 (1 байт на параметр) Остальные модели - точно да, трактуйте все эти миллиарды параметров (8B, 32B) как количество гигабайт памяти которые ей нужны. Некоторые из них и на обычном ПК запустятся. В качестве "плеера" - посмотрите на LM Studio если хочется запустить быстро и пощупать или Ollama если хотите делать что-то серьёзное.
Вообще, в случае именно с LLM, бутылочное горлышко - это скорость доступа к памяти, причём значительное. Вам нужно перелопатить этак 70Gb памяти, провести пару арифметических операций над каждым байтом.
При этом энтузиасты успешно запускают LLM на современных Маках, именно из-за того что у них оперативная память быстрая (насколько я понимаю от того, что это расшаренная память в том числе и с GPU)
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
Детали обучения мы проверить не можем, а вот скорость работы вполне - DeepSeek опубликовали модель. Кто угодно может пойти скачать саму модель и провести тесты самостоятельно: https://huggingface.co/deepseek-ai/DeepSeek-R1
Впрочем сам R1 обычный ПК не потянет, от всё таки большеват, этак на порядок. Но всего лишь на порядок. Distill модели вполне, но это не сам DeepSeek R1, это другие опенсорсные модели тренированные на данных сгенерированных с помощью R1 и под его наблюдением.
Сколько же ChatGPT использует вычислительный мощностей вроде никто и не знает.
Насколько я слышал, при СДВГ мозгу нужна постоянная стимуляция. Если её нет - он начинает создавать её себе сам, и вы внезапно обнаруживаете, что вместо работы "витаете в облаках", пошло 2 часа времени и ничего не сделанно. Музыка повышает уровень фонового шума, да это по прежнему тратит "ману", но она затыкает дырку в которую иначе она бы просто вытекла. (я несколько не соглашусь с тем, что "маны меньше", её столько же, просто при СДВГ не возможно напрямую контролировать на что она тратится, и в результате тратится она на всякую фигню чаще всего)
Парадоксальным образом нужно уточнить что такое "внимание" в этом названии - способность концентрироваться на чём либо, а не желание быть в центре внимания.
Выборы в США заметили. Не заметили логической цепочки с этими событиями. Тем более что Трамп вот буквально 21г января (в день получения письма) тормознул с пол сотни указов Байдена. До этого же момента он никакой власти не имел.
Если вы указываете на все известные события, то они "начали случаться" 3 года назад. Так что почему они проснулись только сейчас - действительно не понятно.
В телеграмм очень странно сделаны группы. Как я понял, технически это на самом деле один канал, а чаты внутри - просто сгруппированы по "чатам". Обратите внимание, что на всю группу с кучей каналов только один голосовой чат, одно членство, общий список файлов, и вы даже можете посмотреть общий список сообщений.
А попробуйте ChatGPT спросить о Bryan Lunduke (он оправлял досудебное уведомление к OpenAI с требованием чтобы ChatGPT перестал делать клеветнические заявления о нём) Мне даже интересно, что ChatGPT на русском ответит (у меня нет доступа)
Это кстати наверное единственный тип задач, с которым AI справляется более-менее успешно, наверное. В моём случае AI (https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct) успешно конвертировал список захардкоженных стилей в yaml-конфиг для кодогенератора. Со второй попытки.
Лично я бы не доверил ИИ задачу, результат которой я не могу провалидировить. На даже в случае с валидацией, зачастую оказывается быстрее сделать самому. Я тут честно пытаюсь прикрутить AI в мой воркфлоу, но результаты пока сугубо отрицательные, даже для тех задач где не возникло (или я пока не нашёл) проблем - сделать самостоятельно было бы просто быстрее.
Да и нет гарантии, что он не сделает что-нибудь такое (удалённые строки - код AI), а вы не заметите при ревью:
Вот тут вы не правы. Комментарии нужны в том числе и для того, чтобы описать почему используется конкретное решение. А то может быть этот костыль - единственный способ сделать нужное действие из-за багов в окружении. Был 2 года назад. А теперь окружение исправлено, и его можно спокойно снести.
Senior – несёт ответственность за качество кода, архитектуру, менторит мидлов и джунов, участвует в код-ревью, помогает принимать стратегические технические решения. ИИ получает 3 балла за код ревью
Покажите мне AI способный сделать ревью. Нет, серьёзно. Из моих экспериментов, AI считает что он *ну вот просто обязан* найти что-нибудь и начинает галлюцинировать, местами даже придумывая код которого в данных ему исходниках нет.
Не нужен вам ИИ чтобы что-то сделать на новом языке. Документация по синтаксису и базовым концептам языка вам нужна, а так же несколько примеров по принятым best practices. ИИ же зачастую генерирует отборный бред, но из-за незнания другого языка и его фрэймворков вам не удастся это распознать. Разница между написанием кода самостоятельно или с помощью ИИ - это пишите ли вы сами или ревьюите код написанный AI. Ни то ни другое вы сделать не можете пока не погрузитесь в документацию.
Разница между миддлом и сениором не в знании языка, а в понимании архитектур и взаимодействия систем. А ещё в навыке ревью кода и способности сказать "эта задача - лажа, мы точно хотим это взять в работу, или тут закралась ошибка?". А незнакомое окружение можно и по документации изучить.
Так что размывает ли ИИ грань между миддлом и джуниором? Может быть да (хотя как я уже многократно тут высказывался - джунов к ИИ я бы не подпускал и рядом). Размывает ли ИИ грань между миддлом и сениором? Однозначно нет.
Победители и проигравшие в сфере интеллектуальной собственности-2024
Заголовок не соответствует содержимому. Исходя из заголовка я ожидал статью про случившимся в этом году судебным тяжбам на основе патентного права, а вместо этого увидел совершенно не интересный мне финансовый отчёт.
95% инструкций AI проектов выглядят так. На данный момент это территория специализированных проектов и энтузиастов, для простых решений эта область слишком молода. Они ещё не успели появиться и завоевать рынок.
Может быть. Основная проблема - это суммарная память а не быстродействие. Так же если у вас видюхи висят на PCI-E сплиттере - всё это может работать крайне медленно.
671 миллиардов параметров это 671 Гб vram, при квантовании в Q8 (1 байт на параметр)
Остальные модели - точно да, трактуйте все эти миллиарды параметров (8B, 32B) как количество гигабайт памяти которые ей нужны. Некоторые из них и на обычном ПК запустятся.
В качестве "плеера" - посмотрите на LM Studio если хочется запустить быстро и пощупать или Ollama если хотите делать что-то серьёзное.
Вообще, в случае именно с LLM, бутылочное горлышко - это скорость доступа к памяти, причём значительное. Вам нужно перелопатить этак 70Gb памяти, провести пару арифметических операций над каждым байтом.
При этом энтузиасты успешно запускают LLM на современных Маках, именно из-за того что у них оперативная память быстрая (насколько я понимаю от того, что это расшаренная память в том числе и с GPU)
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
"я не специалист, но мои 5 копеек"
Детали обучения мы проверить не можем, а вот скорость работы вполне - DeepSeek опубликовали модель. Кто угодно может пойти скачать саму модель и провести тесты самостоятельно:
https://huggingface.co/deepseek-ai/DeepSeek-R1
Впрочем сам R1 обычный ПК не потянет, от всё таки большеват, этак на порядок. Но всего лишь на порядок. Distill модели вполне, но это не сам DeepSeek R1, это другие опенсорсные модели тренированные на данных сгенерированных с помощью R1 и под его наблюдением.
Сколько же ChatGPT использует вычислительный мощностей вроде никто и не знает.
...но вообще всё это пахнет очередным хайпом.
Насколько я слышал, при СДВГ мозгу нужна постоянная стимуляция. Если её нет - он начинает создавать её себе сам, и вы внезапно обнаруживаете, что вместо работы "витаете в облаках", пошло 2 часа времени и ничего не сделанно.
Музыка повышает уровень фонового шума, да это по прежнему тратит "ману", но она затыкает дырку в которую иначе она бы просто вытекла. (я несколько не соглашусь с тем, что "маны меньше", её столько же, просто при СДВГ не возможно напрямую контролировать на что она тратится, и в результате тратится она на всякую фигню чаще всего)
Парадоксальным образом нужно уточнить что такое "внимание" в этом названии - способность концентрироваться на чём либо, а не желание быть в центре внимания.
Выборы в США заметили. Не заметили логической цепочки с этими событиями. Тем более что Трамп вот буквально 21г января (в день получения письма) тормознул с пол сотни указов Байдена. До этого же момента он никакой власти не имел.
Если вы указываете на все известные события, то они "начали случаться" 3 года назад. Так что почему они проснулись только сейчас - действительно не понятно.
В телеграмм очень странно сделаны группы. Как я понял, технически это на самом деле один канал, а чаты внутри - просто сгруппированы по "чатам". Обратите внимание, что на всю группу с кучей каналов только один голосовой чат, одно членство, общий список файлов, и вы даже можете посмотреть общий список сообщений.
Исправили. Раньше GhatGPT отвечал что он гей и активист ЛГТБ. И что его любимая OS - Windows 11.
Спросите его о его семейной жизни
И возможно фильтр пропустит написание кириллицей
А попробуйте ChatGPT спросить о Bryan Lunduke (он оправлял досудебное уведомление к OpenAI с требованием чтобы ChatGPT перестал делать клеветнические заявления о нём)
Мне даже интересно, что ChatGPT на русском ответит (у меня нет доступа)
Это кстати наверное единственный тип задач, с которым AI справляется более-менее успешно, наверное. В моём случае AI (https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct) успешно конвертировал список захардкоженных стилей в yaml-конфиг для кодогенератора. Со второй попытки.
Лично я бы не доверил ИИ задачу, результат которой я не могу провалидировить. На даже в случае с валидацией, зачастую оказывается быстрее сделать самому. Я тут честно пытаюсь прикрутить AI в мой воркфлоу, но результаты пока сугубо отрицательные, даже для тех задач где не возникло (или я пока не нашёл) проблем - сделать самостоятельно было бы просто быстрее.
Да и нет гарантии, что он не сделает что-нибудь такое (удалённые строки - код AI), а вы не заметите при ревью:
Вот тут вы не правы. Комментарии нужны в том числе и для того, чтобы описать почему используется конкретное решение. А то может быть этот костыль - единственный способ сделать нужное действие из-за багов в окружении. Был 2 года назад. А теперь окружение исправлено, и его можно спокойно снести.
Покажите мне AI способный сделать ревью. Нет, серьёзно. Из моих экспериментов, AI считает что он *ну вот просто обязан* найти что-нибудь и начинает галлюцинировать, местами даже придумывая код которого в данных ему исходниках нет.
Не нужен вам ИИ чтобы что-то сделать на новом языке. Документация по синтаксису и базовым концептам языка вам нужна, а так же несколько примеров по принятым best practices.
ИИ же зачастую генерирует отборный бред, но из-за незнания другого языка и его фрэймворков вам не удастся это распознать.
Разница между написанием кода самостоятельно или с помощью ИИ - это пишите ли вы сами или ревьюите код написанный AI. Ни то ни другое вы сделать не можете пока не погрузитесь в документацию.
Разница между миддлом и сениором не в знании языка, а в понимании архитектур и взаимодействия систем. А ещё в навыке ревью кода и способности сказать "эта задача - лажа, мы точно хотим это взять в работу, или тут закралась ошибка?". А незнакомое окружение можно и по документации изучить.
Так что размывает ли ИИ грань между миддлом и джуниором? Может быть да (хотя как я уже многократно тут высказывался - джунов к ИИ я бы не подпускал и рядом). Размывает ли ИИ грань между миддлом и сениором? Однозначно нет.
Заголовок не соответствует содержимому.
Исходя из заголовка я ожидал статью про случившимся в этом году судебным тяжбам на основе патентного права, а вместо этого увидел совершенно не интересный мне финансовый отчёт.
Это кстати вопрос распознания контекста, а не математики. Если речь идёт о версиях, то 9.11 действительно больше чем 9.9.
(Хотя, имхо, целенаправленно использовать LLM для математических задач - это как закручивать шуруп ножницами. Просто возьмите отвёртку...)
Из значительного - у вас скорее всего пуш-уведомления отвалятся.