Для теста можно попробовать эти модели в приложении LM Studio. В нём можно скачать все те-же модели и давно добавили поддержку мульти-модальных моделей и загрузку картинок в чат.
А по поводу компьютера - тут важна не столько скорость видеокарты, сколько объем видеопамяти и чем больше тем лучше.
Согласен, статья как будто написана ChatGPT. Ничего конкретного, только базовые вещи. А проблемы как раз кроются в деталях.
Начиная с того что: Чем парсить и OCRить документы и pdf. Как разбивать на чанки и как доставать семантические связи. Нужны ли графы. Чем делать эмбеддинги, как оптимизировать их размер и где хранить для быстрого поиска. Как и чем ранжировать чанки. В каком формате отдавать их ллм. Какой длинны отдавать чтобы ллм не путалась в большом количестве информации. И какой промпт написать чтобы не галюцинировала и ответы были полезными. (Тут в промпте много мелких нюансов). И какой ответ ожидает юзер короткий и быстрый или длинный и подробный, это тоже надо в промпте для ллм прописать.
Посмотрел что написал. Получился прям промпт для ChatGPT для новой статьи.)
Тоже заметил что переключение между моделями помогает. Если одна модель зацикливается или не может за несколько шагов починить ошибку, то перекдючение на другую модель с тем же промптом помогает двигаться дальше.
Пробовал несколько открытых моделей пол года назад, но у всех у них были проблемы с распознаванием таблиц в сканах печатных документом. И самая большая проблема была с определением направления таблицы - то есть горизонтальная она или вертикальная. (Ну и да ещё с вертикальным текстом в колонках.) Как сейчас с этим обстаят дела? Какие модели сейчас лучше всего распознают документы с таблицами? Qwen3 Omni ?
Syncthing давно перестал использовать. Он бьёт файлы при синхронизации 3х устройств и теряет данные что не допустимо) Remotly Save использую через облако и проблем нет. 3 устройства а одну папку. Только надо сразу после правок на одном устройстве синхронизировать или настроить автосинхронизацию. Ещё использую Self-hosted LiveSync на свой сервер, с ним проблем нет. На сервере нужна только CouchDB. Ещё для посика использую плагин Omni Search, удобный и быстрый поиск.
А модель ColbertV2 не пробовали для эмбеддингов? Я получил для себя лучше результаты чем на обычных dense моделях. Её можно подключить через библиотеку fastembed.
Codex же можно использовать ещё из VSCode есть для этого отдельный плагин Codex от Open AI. Это намного удобней и можно править код в редакторе и запускать команды он может локально. Это тоже входит в подписку, но есть лимиты 5 часовые и недельные.
Не стоит забывать о стратегии бакапа данных 3-2-1. (Нужно иметь минимум 3 копии данных на 2х разных типах носителей и одну за пределами дома)
У себя реализовал так: есть 2 НАСа Synology на 2 диска (один дома, один вне дома) + Облако MS Onedrive. 3 копии данных.
По стоимости: 2 НАСа Б/У с Авито + диски серверные Б/У. Б/У - потому что не страшно если один НАС или пара дисков выйдет из строя и получается сильно дешевле.
Почему 2 НАСа на 2 диска, а не 1 на 4: потому что дублирование самих НАСов(блоков питания и т.д.) и ещё их надо было разнести физически в разные места.
1 НАС на 2 диска Synology с Авито 15тр. Диски по 6ТБ - примерно 6тр. (По 1тр за 1тб) Итого: 27тр за 1 НАС разово.
Облако MS Onedrive - 4тр. в год. Дают 6 юзер аккаунтов по 6ТБ каждый.
НАСы синхронизируют между собой только нужные данные. С облаком синхронизируются через rclone.
Не везде можно использовать закрытае модели. Где-то можно только открытые и на своём оборудовании. А Deepseek не помещается в 1 видеокарту с не самым большим объёмом памяти. Для этих целей хорошо подходит Qwen3 он есть во множестве различных размеров и показывает хорошие результаты среди открытых моделей. И Gpt-Oss недавно вышедший от OpenAI ещё не плох в нескольких задачах.
Почему не выбрать лучшее из обоих миров и нанять двух?
Для теста можно попробовать эти модели в приложении LM Studio. В нём можно скачать все те-же модели и давно добавили поддержку мульти-модальных моделей и загрузку картинок в чат.
А по поводу компьютера - тут важна не столько скорость видеокарты, сколько объем видеопамяти и чем больше тем лучше.
Ещё пару дней назад появилась
HunyuanOCR - обещают топ по бенчмаркам и размер меньше.
Согласен, статья как будто написана ChatGPT. Ничего конкретного, только базовые вещи. А проблемы как раз кроются в деталях.
Начиная с того что: Чем парсить и OCRить документы и pdf. Как разбивать на чанки и как доставать семантические связи. Нужны ли графы. Чем делать эмбеддинги, как оптимизировать их размер и где хранить для быстрого поиска. Как и чем ранжировать чанки. В каком формате отдавать их ллм. Какой длинны отдавать чтобы ллм не путалась в большом количестве информации. И какой промпт написать чтобы не галюцинировала и ответы были полезными. (Тут в промпте много мелких нюансов). И какой ответ ожидает юзер короткий и быстрый или длинный и подробный, это тоже надо в промпте для ллм прописать.
Посмотрел что написал. Получился прям промпт для ChatGPT для новой статьи.)
Тоже заметил что переключение между моделями помогает. Если одна модель зацикливается или не может за несколько шагов починить ошибку, то перекдючение на другую модель с тем же промптом помогает двигаться дальше.
Пробовал несколько открытых моделей пол года назад, но у всех у них были проблемы с распознаванием таблиц в сканах печатных документом. И самая большая проблема была с определением направления таблицы - то есть горизонтальная она или вертикальная. (Ну и да ещё с вертикальным текстом в колонках.) Как сейчас с этим обстаят дела? Какие модели сейчас лучше всего распознают документы с таблицами? Qwen3 Omni ?
Syncthing давно перестал использовать. Он бьёт файлы при синхронизации 3х устройств и теряет данные что не допустимо) Remotly Save использую через облако и проблем нет. 3 устройства а одну папку. Только надо сразу после правок на одном устройстве синхронизировать или настроить автосинхронизацию. Ещё использую Self-hosted LiveSync на свой сервер, с ним проблем нет. На сервере нужна только CouchDB. Ещё для посика использую плагин Omni Search, удобный и быстрый поиск.
Или на SWE-Rebench. Если они добавили задач из SWE, то на Rebench будет видно.
На реддите читал отзывы, говорят эта поделка сделана на Qwen3 1.5B и просто дообучена на бенчмарках чтобы красивые цифры в них показывать.
Спасибо ChatGPT )
ColbertV2 как раз не большого размера, но принцип работы у неё немного другой.
А модель ColbertV2 не пробовали для эмбеддингов? Я получил для себя лучше результаты чем на обычных dense моделях. Её можно подключить через библиотеку fastembed.
Codex же можно использовать ещё из VSCode есть для этого отдельный плагин Codex от Open AI. Это намного удобней и можно править код в редакторе и запускать команды он может локально. Это тоже входит в подписку, но есть лимиты 5 часовые и недельные.
Просто надо мечтать о Монолите и тогда не будет расхождения мечт с реальностью )
Ждём разработчиков уровня: Mega Extra Super Junior Pro Max Ultra )
Coding бы ещё выпустили такого размера на замену Qwen3-30B-A3B
Не стоит забывать о стратегии бакапа данных 3-2-1. (Нужно иметь минимум 3 копии данных на 2х разных типах носителей и одну за пределами дома)
У себя реализовал так: есть 2 НАСа Synology на 2 диска (один дома, один вне дома) + Облако MS Onedrive. 3 копии данных.
По стоимости: 2 НАСа Б/У с Авито + диски серверные Б/У. Б/У - потому что не страшно если один НАС или пара дисков выйдет из строя и получается сильно дешевле.
Почему 2 НАСа на 2 диска, а не 1 на 4: потому что дублирование самих НАСов(блоков питания и т.д.) и ещё их надо было разнести физически в разные места.
1 НАС на 2 диска Synology с Авито 15тр. Диски по 6ТБ - примерно 6тр. (По 1тр за 1тб) Итого: 27тр за 1 НАС разово.
Облако MS Onedrive - 4тр. в год. Дают 6 юзер аккаунтов по 6ТБ каждый.
НАСы синхронизируют между собой только нужные данные. С облаком синхронизируются через rclone.
Не везде можно использовать закрытае модели. Где-то можно только открытые и на своём оборудовании. А Deepseek не помещается в 1 видеокарту с не самым большим объёмом памяти. Для этих целей хорошо подходит Qwen3 он есть во множестве различных размеров и показывает хорошие результаты среди открытых моделей. И Gpt-Oss недавно вышедший от OpenAI ещё не плох в нескольких задачах.
Да и нескучные обои после суровой CLI тоже радовали глаз.
Или ИИ-сопрограммирование.