Это еще хорошо если напишут плохой перевод, а не плохой автор. И сейчас бывает читаешь какого-то зарубежного автора в переводе и задумываешься, то ли переводчик недоработал, то ли сам автор слабо пишет.
Дешевле. Но если 8 ГБ видеопамяти это сейчас уровень даже не среднего игрового компьютера, а скорее уже ближе к бюджетному, то на таком же среднем компьютере оперативки будет в лучшем случае 32 ГБ.
Есть. Часть слоев модели выгружается в видеопамять, что увеличивает скорость работы. Теоретически, чем больше на нее влезет - тем выше будет скорость. Можно взять небольшую модель, например 8B в 4 или 5 кванте, она полностью влезет в 8 GB VRAM.
То есть запуск LLM моделей это о запуске и о скорости. Первый момент - сможем ли мы вообще ее запустить, для этого надо ее впихнуть хоть в какую-то память. Второй - скорость работы. Тут - чем выше скорость памяти, в которую впихиваем, тем выше скорость работы модели.
Проблема в том, что этот калькулятор считает исключительно видеопамять. Почему-то не учитывая оперативную. Да и Q3 это, мягко говоря, слегка лоботомированный вариант модели. Менее Q4 не рекомендуют использовать. Чтобы не было сильно грустно.
Однако на самом деле ситуация лучше. Смотрим скрин:
8 ГБ VRAM. Калькулятор пишет, что все пропало. Но этого, + 32 ГБ RAM вполне достаточно, чтобы запустить указанную модель в указанном кванте. Да, будет очень медленно, но стабильно работает.
Провел быстрый (не очень) эксперимент. Взял первый промпт из статьи. Сам промпт - 360 токенов.
Код модель писала 16 минут, потом еще 7 минут пояснения к нему. Весь ответ занял 3572 токена. Код получился не до конца рабочим, но дальше я решил не продолжать). Компьютер средний игровой с бюджетной видеокартой на 8 гб.
И буквально со старта начинается лукавство... Судя по этому топику
Судя по тому топику, люди хотят по 200 токенов в секунду.
Указанная модель без проблем запуститься на 8 гб карте типа 3060, плюс достаточно оперативки и адекватный процессор. То есть это обычный игровой компьютер нескольколетней давности. Так что "обычное домашнее железо" более чем справедливо. Но, да, скорость будет очень черепашьей. Но запуститься и будет стабильно (но крайне медленно) работать. И это таки круто.
Другой вопрос, что как-то выглядит слишком круто такой результат для такой маленькой локальной модели. Смею предположить, что автор слукавил в другом. Промпт скорее всего был на английском. Или все-таки на русском? Тогда локальные модели сильно поумнели.
Вы меня не так поняли. Суть не в дропбоксе. Дропбокс такое же облако как и любое другое, хоть яндекс, хоть маил, хоть гугл драйв или ван диск. Вопрос был в том, зачем плагин то? Облака обычно сами синхронизируют свои папки, а хранилище в Обсидиане это обычная папка.
Однако непонятно зачем отдельный плагин для синхронизации, если для этого будет использовано облако. К тому же, столько настроек к нему. Я еще понимаю, когда синхронизацию настраивают через github или syncthing, но зачем столько возни с облаком? Я просто закинул хранилище в папку Дропбокса и все. Более никаких настроек, никаких плагинов и никаких проблем. Уже года полтора пользуюсь и все ок. Единственное, не синхронизирую с телефоном, так как нет такой необходимости. Зачем для этого плагин то и столько заморочек с его настройкой?
Для домашней страницы можно использовать сниппет, например такой dashboard++. Подробнее о нем можно прочитать здесь. Это обычный css файл, то есть меньше зависимостей от плагинов.
Это динамический режим. В режиме редактора (исходного кода) никаких дополнительных меню с выбором типа каллаута нет.
У Обсидиана есть два основных режима - динамический и исходного кода. При этом динамический это как режим просмотра, только с возможностью редактирования. А исходный код в свою очередь может быть в режиме редактирования (просмотр исходного кода) и в режиме просмотра.
Я действительно использую Обсидиан в минималистическом режиме. Мне вполне хватает встроенного функционала. Плагины конечно там крутые, спору нет и это реально большой плюс программы и сообщества. Но мне больше нравится иметь минимум внешних зависимостей.
А зачем противопоставлять? У меня вот и папки и граф. Граф хорош для визуальной картины базы. Можно видеть в целом что с чем связано. Где связей не хватает и т.д. Но для структуры мне удобны папки. Не понимаю тех, кто топит за отсутствие папок и хранит тысячи файлов кучей. Я конечно понимаю, что есть моки и прочее. Но тут все на любителя или кто к чему привык. Не даром же существует куча подходов к организации баз. А потом каждые еще подпиливает их под себя.
Не один) 600 заметок где-то за полтора года. В режиме просмотра только домашняя страница. Остальное в вечном режиме редактирования. По идее мне бы подошел смешанный режим, но я уже привык к режиму редактирования. Но я надеюсь, что когда-то у меня будет идеальная база знаний и тогда я буду ее рассматривать со всеми красивостями в режиме просмотра. Когда-нибудь...
Неспешность вполне работает, если изучать с нуля или нет необходимости набора большого количества текста.
Но если надо переучиваться или постоянно много набирать - такой вариант не сработает. Старый навык будет постоянно забивать попытки нового пробиться. И чем больше нужно набирать - тем сложнее будет. Потому что набирать надо уже вчера, нового навыка еще нет, значит используется старый. И обычно вовсе не пять минут. В таких условиях попытка неспешного овладения ни к чему не приведет(
С какой скоростью программист печатает, вообще не имеет значения. Важно, с какой скоростью он думает.
Совершенно верно. И касается это не только программистов. Машинист (набора) обычно набирает уже готовый текст. Ему важна скорость, а работа получается в значительной степени механическая.
А вот если работа подразумевает размышления и набор его результатов, оказывается, что скорость не настолько важна. Мне всегда хватало скорости, чтобы успевать набирать за своими мыслями. В конце концов, намного больше времени и сил уходит на то, чтобы превратить свои мысли во что-то осмысленное и достаточно ценное, чтобы возникла необходимость это набрать. Это была одна из причин, которые останавливали от переучивания. Мол, зачем напрягаться, если все и так вполне устраивает.
Для новичков LM Studio. Скачал, установил. Скачиваешь из нее же любую модель (на которую хватит ресурсов машины) и пользуешься. Буквально 3-4 клика.
Это еще хорошо если напишут плохой перевод, а не плохой автор. И сейчас бывает читаешь какого-то зарубежного автора в переводе и задумываешься, то ли переводчик недоработал, то ли сам автор слабо пишет.
Дешевле. Но если 8 ГБ видеопамяти это сейчас уровень даже не среднего игрового компьютера, а скорее уже ближе к бюджетному, то на таком же среднем компьютере оперативки будет в лучшем случае 32 ГБ.
Обнадеживая этими 6 ГБ видеопамяти они как-то забыли предупредить о том, что понадобиться еще 60 ГБ оперативной памяти...
Есть. Часть слоев модели выгружается в видеопамять, что увеличивает скорость работы. Теоретически, чем больше на нее влезет - тем выше будет скорость. Можно взять небольшую модель, например 8B в 4 или 5 кванте, она полностью влезет в 8 GB VRAM.
То есть запуск LLM моделей это о запуске и о скорости. Первый момент - сможем ли мы вообще ее запустить, для этого надо ее впихнуть хоть в какую-то память. Второй - скорость работы. Тут - чем выше скорость памяти, в которую впихиваем, тем выше скорость работы модели.
Проблема в том, что этот калькулятор считает исключительно видеопамять. Почему-то не учитывая оперативную. Да и Q3 это, мягко говоря, слегка лоботомированный вариант модели. Менее Q4 не рекомендуют использовать. Чтобы не было сильно грустно.
Однако на самом деле ситуация лучше. Смотрим скрин:
8 ГБ VRAM. Калькулятор пишет, что все пропало. Но этого, + 32 ГБ RAM вполне достаточно, чтобы запустить указанную модель в указанном кванте. Да, будет очень медленно, но стабильно работает.
Провел быстрый (не очень) эксперимент. Взял первый промпт из статьи. Сам промпт - 360 токенов.
Код модель писала 16 минут, потом еще 7 минут пояснения к нему. Весь ответ занял 3572 токена. Код получился не до конца рабочим, но дальше я решил не продолжать). Компьютер средний игровой с бюджетной видеокартой на 8 гб.
Судя по тому топику, люди хотят по 200 токенов в секунду.
Указанная модель без проблем запуститься на 8 гб карте типа 3060, плюс достаточно оперативки и адекватный процессор. То есть это обычный игровой компьютер нескольколетней давности. Так что "обычное домашнее железо" более чем справедливо. Но, да, скорость будет очень черепашьей. Но запуститься и будет стабильно (но крайне медленно) работать. И это таки круто.
Другой вопрос, что как-то выглядит слишком круто такой результат для такой маленькой локальной модели. Смею предположить, что автор слукавил в другом. Промпт скорее всего был на английском. Или все-таки на русском? Тогда локальные модели сильно поумнели.
Вы меня не так поняли. Суть не в дропбоксе. Дропбокс такое же облако как и любое другое, хоть яндекс, хоть маил, хоть гугл драйв или ван диск. Вопрос был в том, зачем плагин то? Облака обычно сами синхронизируют свои папки, а хранилище в Обсидиане это обычная папка.
Неплохо все расписано.
Однако непонятно зачем отдельный плагин для синхронизации, если для этого будет использовано облако. К тому же, столько настроек к нему. Я еще понимаю, когда синхронизацию настраивают через github или syncthing, но зачем столько возни с облаком? Я просто закинул хранилище в папку Дропбокса и все. Более никаких настроек, никаких плагинов и никаких проблем. Уже года полтора пользуюсь и все ок. Единственное, не синхронизирую с телефоном, так как нет такой необходимости. Зачем для этого плагин то и столько заморочек с его настройкой?
Для домашней страницы можно использовать сниппет, например такой dashboard++. Подробнее о нем можно прочитать здесь. Это обычный css файл, то есть меньше зависимостей от плагинов.
Про вопросы определения согласен. Но я привел названия из русской версии самого Обсидиана. Думаю, именно такую терминологию стоит брать за основу.
При этом в режиме динамического просмотра можно одновременно просматривать и редактировать.
Это динамический режим. В режиме редактора (исходного кода) никаких дополнительных меню с выбором типа каллаута нет.
У Обсидиана есть два основных режима - динамический и исходного кода. При этом динамический это как режим просмотра, только с возможностью редактирования. А исходный код в свою очередь может быть в режиме редактирования (просмотр исходного кода) и в режиме просмотра.
Такое меню есть только при динамическом просмотре. Только что у себя проверил.
Для меня граф это исключительно красивая карта базы. То есть я его тоже практически никак не использую. Но красиво же, когда на него смотришь)
Я действительно использую Обсидиан в минималистическом режиме. Мне вполне хватает встроенного функционала. Плагины конечно там крутые, спору нет и это реально большой плюс программы и сообщества. Но мне больше нравится иметь минимум внешних зависимостей.
А зачем противопоставлять? У меня вот и папки и граф. Граф хорош для визуальной картины базы. Можно видеть в целом что с чем связано. Где связей не хватает и т.д. Но для структуры мне удобны папки. Не понимаю тех, кто топит за отсутствие папок и хранит тысячи файлов кучей. Я конечно понимаю, что есть моки и прочее. Но тут все на любителя или кто к чему привык. Не даром же существует куча подходов к организации баз. А потом каждые еще подпиливает их под себя.
Не один) 600 заметок где-то за полтора года. В режиме просмотра только домашняя страница. Остальное в вечном режиме редактирования. По идее мне бы подошел смешанный режим, но я уже привык к режиму редактирования. Но я надеюсь, что когда-то у меня будет идеальная база знаний и тогда я буду ее рассматривать со всеми красивостями в режиме просмотра. Когда-нибудь...
Неспешность вполне работает, если изучать с нуля или нет необходимости набора большого количества текста.
Но если надо переучиваться или постоянно много набирать - такой вариант не сработает. Старый навык будет постоянно забивать попытки нового пробиться. И чем больше нужно набирать - тем сложнее будет. Потому что набирать надо уже вчера, нового навыка еще нет, значит используется старый. И обычно вовсе не пять минут. В таких условиях попытка неспешного овладения ни к чему не приведет(
Совершенно верно. И касается это не только программистов. Машинист (набора) обычно набирает уже готовый текст. Ему важна скорость, а работа получается в значительной степени механическая.
А вот если работа подразумевает размышления и набор его результатов, оказывается, что скорость не настолько важна. Мне всегда хватало скорости, чтобы успевать набирать за своими мыслями. В конце концов, намного больше времени и сил уходит на то, чтобы превратить свои мысли во что-то осмысленное и достаточно ценное, чтобы возникла необходимость это набрать. Это была одна из причин, которые останавливали от переучивания. Мол, зачем напрягаться, если все и так вполне устраивает.
А почему на картинке над текстом всего 4,7 млн? Кому верить - картинке или тексту?
Судя по тому, что картинки со статистикой Литреса и Флибусты абсолютно идентичны - какая-то из них вставлена по ошибке.