главная фишка фокуса в том что он первым делом переписывает prompt (может быть с помощью gpt?) и для генерации идет уже сильно расширенный запрос. в консоли выводится полный запрос.
да, для zero есть еще готовая платка с дисплеем и кнопками чтобы сделать мини игровую консоль https://aliexpress.ru/item/32970035492.html и есть готовые прошивки на линуксе. дома валяется.
для дообучения нужна не квантованная. а так конечно со стороны квантование странно выглядит из 16 бит оставляем только 4-5 и она не сильно проигрывает в качестве.
одно другому не мешает, у него в конце для кнопки тоже добавляется "opacity: 0.8". суть статьи блокировать отправку формы не disable на button а вручную в onsubmit. Остальное уже по вкусу.
идея для сжатия картинок с помощью НС, или придумать отдельную архитектуру и обучать побыстрому на картинке, сохраняя веса. или взять готовую модель для Stable Diffusion подать картинку на выход и обратным распространением сохранить состояние внутреннего слоя.
где то слышал что чтобы одному процу взять данные из оперативки подключенной к другому - появляется много накаладных расходов. а если памяти очень много что можно модель продублировать в оперативке каждого процессора. понятно что для обучения веса надо обновлять между ними, но для инференса может быть быстрее. но это должно быть отдельно реализовано.
а про обучение и инференс на двухпроцессорных системах что-нибудь слышали? есть смысл брать? например будет разница xeon-2696v3 (18ядер) и 2x xeon-2696v4 (2*22ядер)?
вот попробовал https://disk.yandex.ru/i/v0ux7mBXK5K6uQ но задачу надо тщательнее описывать, если честно по такому описанию и я бы не до конца понял что надо сделать :) поэтому и много огрехов я попросил дисплей текстовый 1602, а она вставила ssd1306, который графический. вместо энкодера - по факту использовала потенциометр и тд.
если каждый день с этим работать - то наверное это и не надо. ардуино обычно для любителей, по крайней мере для человека который раз в полгода хочет чтото написать по быстрому дает неплохую заготовку для начала. может помочь найти ошибку если код не запускается. и тд.
надо мне например было собирать данные с датчика и отправлять через http (esp8266). по кускам очень быстро написал. например с сериализацией json я бы сам долго провозился, а я ей по сути дал пример json который я хочу принимать на сервере и она написала программу для сбора показаний и преобразования их в этот формат json (массив вложенных объектов).
по поводу голоса - пока вполне достаточно голосового ввода просто, чтобы исправить текст перед отправкой запроса. на телефоне все чаще печатаю текст голосом.
на ардуино скетчи небольшие как правило, можно за один запрос сгенерировать целую программу. очень выручает, особенно учитывая что на Си я не каждый день пишу ) на данный момент особой интеграции и не требуется наверное. Но в будущем будет очень круто, чат не только код пишет но и говорит какие библиотеки надо установить, в иде это бы в один клик все делалось. за 5 минут описываешь что у тебя есть и что ты хочешь получить - получаешь код, скорее всего даже рабочий, дальше правишь его в деталях и готово. Для мелочи всякой самое то. Т.к. программа скорее всего небольшая - то целиком помещается в контекст, можно даже просить улучшить или доработать имеющийся код, попросить отрефакторить, найти недостатки и тд. По работе работаю с веб, там конечно смаая простая программа это тысячи строк - ни в какой контекст не войдет, только отдельно стоящие законченные функции можно просить или попросить помочь чтото.
обе проблемы решаются кешированием. вот эту статью достаточно один раз сократить и раздавать всем кому надо сокращенный враиант. кеширование на сервисе. сейчас даже видео так обрабатывают (краткий пересказ видео).
то же самое с исполняемыми файлами. антивирусу достаточно посчитать хэш от файла и отправить его на сервер, 99% что у кого то уже был такой файл.
Если помечтать дальше, то можно придумать как антивирусы будут работать через ИИ, перед запуском спрашивая ИИ: что делает этот код, не опасный ли это кусок кода? Понятно что для каждого пользователя это делать дорого, каждый файл надо распознавать один раз и хранить результаты проверки на сервере.
Многие последствия появления ИИ компенсируются им же. Например "можно генерировать тонны нового контента" -> "люди читают статьи и книги через ИИ сокращалки текста, извлекающие основной смысл". Можно будет просто пообщаться в чате с интересующей книгой или статьей. Вроде бы контента будет больше, а в итоге люди читать будут еще меньше. Только самое главное, причем у каждого будет свой ИИ помощник который знает все о "своем хозяине" и может ответить конкретно для него "что я еще не знаю из этой статьи".
под капотом тот запрос что вы ему дадите он доработает чтобы результат был как в MJ. в консоли полные запросы выводятся
главная фишка фокуса в том что он первым делом переписывает prompt (может быть с помощью gpt?) и для генерации идет уже сильно расширенный запрос. в консоли выводится полный запрос.
Нет, только лишь поиграть самому на такой же карте. Для фанатов это как вживую погулять по миру книги которую читаешь
до сих пор снимают с пр-ва...
тоже интересно. думаю для себя автоматизировать процесс через выгрузку банковских выписок.
да, для zero есть еще готовая платка с дисплеем и кнопками чтобы сделать мини игровую консоль
https://aliexpress.ru/item/32970035492.html
и есть готовые прошивки на линуксе. дома валяется.
13b требует 26гб памяти. с квантованием q4/q5 будет 7-8гб
для дообучения нужна не квантованная. а так конечно со стороны квантование странно выглядит из 16 бит оставляем только 4-5 и она не сильно проигрывает в качестве.
1080Ti имеет 11гб.
одно другому не мешает, у него в конце для кнопки тоже добавляется "opacity: 0.8".
суть статьи блокировать отправку формы не disable на button а вручную в onsubmit. Остальное уже по вкусу.
идея для сжатия картинок с помощью НС, или придумать отдельную архитектуру и обучать побыстрому на картинке, сохраняя веса. или взять готовую модель для Stable Diffusion подать картинку на выход и обратным распространением сохранить состояние внутреннего слоя.
я бы даже сказал с горкой наливает, чтобы порадовать счастливого покупателя что смарт живет дольше (первое время...).
переварит. 14gb весит, как правило и памяти столько же надо.
где то слышал что чтобы одному процу взять данные из оперативки подключенной к другому - появляется много накаладных расходов.
а если памяти очень много что можно модель продублировать в оперативке каждого процессора. понятно что для обучения веса надо обновлять между ними, но для инференса может быть быстрее. но это должно быть отдельно реализовано.
а про обучение и инференс на двухпроцессорных системах что-нибудь слышали? есть смысл брать?
например будет разница xeon-2696v3 (18ядер) и 2x xeon-2696v4 (2*22ядер)?
вот попробовал https://disk.yandex.ru/i/v0ux7mBXK5K6uQ
но задачу надо тщательнее описывать, если честно по такому описанию и я бы не до конца понял что надо сделать :)
поэтому и много огрехов я попросил дисплей текстовый 1602, а она вставила ssd1306, который графический. вместо энкодера - по факту использовала потенциометр и тд.
если каждый день с этим работать - то наверное это и не надо.
ардуино обычно для любителей, по крайней мере для человека который раз в полгода хочет чтото написать по быстрому дает неплохую заготовку для начала. может помочь найти ошибку если код не запускается. и тд.
надо мне например было собирать данные с датчика и отправлять через http (esp8266). по кускам очень быстро написал. например с сериализацией json я бы сам долго провозился, а я ей по сути дал пример json который я хочу принимать на сервере и она написала программу для сбора показаний и преобразования их в этот формат json (массив вложенных объектов).
вот текст со скриншота, если инетерсно https://disk.yandex.ru/d/RdUmETS30qCP7w
по поводу голоса - пока вполне достаточно голосового ввода просто, чтобы исправить текст перед отправкой запроса. на телефоне все чаще печатаю текст голосом.
на ардуино скетчи небольшие как правило, можно за один запрос сгенерировать целую программу. очень выручает, особенно учитывая что на Си я не каждый день пишу )
на данный момент особой интеграции и не требуется наверное. Но в будущем будет очень круто, чат не только код пишет но и говорит какие библиотеки надо установить, в иде это бы в один клик все делалось. за 5 минут описываешь что у тебя есть и что ты хочешь получить - получаешь код, скорее всего даже рабочий, дальше правишь его в деталях и готово.
Для мелочи всякой самое то. Т.к. программа скорее всего небольшая - то целиком помещается в контекст, можно даже просить улучшить или доработать имеющийся код, попросить отрефакторить, найти недостатки и тд.
По работе работаю с веб, там конечно смаая простая программа это тысячи строк - ни в какой контекст не войдет, только отдельно стоящие законченные функции можно просить или попросить помочь чтото.
обе проблемы решаются кешированием. вот эту статью достаточно один раз сократить и раздавать всем кому надо сокращенный враиант. кеширование на сервисе. сейчас даже видео так обрабатывают (краткий пересказ видео).
то же самое с исполняемыми файлами. антивирусу достаточно посчитать хэш от файла и отправить его на сервер, 99% что у кого то уже был такой файл.
Если помечтать дальше, то можно придумать как антивирусы будут работать через ИИ, перед запуском спрашивая ИИ: что делает этот код, не опасный ли это кусок кода?
Понятно что для каждого пользователя это делать дорого, каждый файл надо распознавать один раз и хранить результаты проверки на сервере.
Многие последствия появления ИИ компенсируются им же. Например "можно генерировать тонны нового контента" -> "люди читают статьи и книги через ИИ сокращалки текста, извлекающие основной смысл".
Можно будет просто пообщаться в чате с интересующей книгой или статьей. Вроде бы контента будет больше, а в итоге люди читать будут еще меньше. Только самое главное, причем у каждого будет свой ИИ помощник который знает все о "своем хозяине" и может ответить конкретно для него "что я еще не знаю из этой статьи".