Похоже на сбой интернет-соеденинеия. Вероятно, Ollama не может нормально докачать модель.
Попробуйте скачать модель вручную с Hugging Face и подключить её локально. Это возможный путь в таких случаях. Если нужна пошаговая инструкция, можно уточнить у любой LLM, к какой у вас есть доступ (она подскажет под вашу систему и формат модели). Сам этот способ именно с gemma3 не пробовал, но по идее он должен работать.
Да, тут пока нет какого-то единственного полноценного решения. У каждого будет своя структура хранения, свой набор программ. Возможно, в скором времени кто-то из техгигантов сделает какое-то коробочное решение, где все уже готово. Пока приходится искать для себя подходы, тестировать.
Да, можно задавать вопросы по общей базе, так как база файлов проиндексирована. По картинкам попробовал - если сбросить ей изображение, то может его описать, но искать по ней похожие изображения не может. Но если сбросить скриншот текста - распознает общую тематику и ищет по базе. Возможно можно наладить процесс, но пока не копал в этом направлении.
Тоже думал об этом. Видел, что уже некоторые делают свои плагины для Obsidian. Но это дополнительный уровень сложности входа для обычного пользователя.
Есть несколько идей по этому поводу. В целом, любой RAG, в который вы сможете вставить файлы нормативной базы и данных о проекте - уже может облегчить работу ПТО отдела или отдельного инженера. Но если говорить уже не только о получении ответов на текстовые запросы, но и об анализе чертежей, генерации таблиц – тут уже нужен не только RAG, но и взаимодействие между модулями вашей системы. Я думаю, отдельные части этой системы уже можно построить для себя - опять же могут подсказать клод, гпт и другие. Можно пробовать делать прототипы сначала для решения небольших задач, а потом пробовать их интегрировать друг в друга. Но это путь разработки инструментов для себя – это сложно, когда параллельно есть реальная работа на производстве.
Тоже пробовал подключать Gemini через Google API. Но видимо, не заработало нормально из-за ограничений на аккаунт/регион (с РФ-аккаунтами видимо api google не работает).
Зато через OpenRouter пробовал подключить gemini через бесплатный tier. И там да, по скорости прямо летает и качестве ответов очень высокое. Но это уже облачное решение, не локально. Ну и в основном платно.
Да, у меня тоже на каком-то этапе появилось желание, чтобы ии структурировал папки, дописывал что-то в заметки, расставлял теги. Это уже агентное поведение и следующий шаг.
И да, к сожалению, в более-менее удобном и стабильном виде это сейчас чаще всего упирается либо в платные решения, либо через платное подключение через API.
Да, тут я немного некорректно сформулировал. 70 МБ — это размер всего хранилища с raw-материалами (статьи, вложения, дубли, исходники и т.д.), а не только чистых заметок.
Если брать именно обработанные контексты/markdown-заметки, то там около 4 МБ. И в среднем заметка совсем небольшая — это не «роман», а скорее короткие фрагменты, выдержки и структурированные мысли.
В настройках для rag добавлял raw файлы переписок и материалов в exclude, чтобы индексация шла быстрее и не засорялась база.
Если честно, у меня пока всё довольно просто. В основном чаты с ИИ сокращаю в формате markdown в виде контекста переписки и сохраняю. Вручную пишу часть новых заметок. До сценария, где ИИ сам всё разбирает и раскладывает по папкам, я пока не дошёл. Плагины, описанные в статье, сами не создают структуру папок и не раскладывают заметки по ним. По-крайней мере, я о таком функционале у них не слышал, но может где-то в них есть.
С чатами отдельная история. Важно и то, что писал сам, и то, что отвечала модель. Сейчас сохраняю в основном выжимки, но в начале сохраняли и полностью диалоги "вопрос-ответ". Возможно, потом напишу про это в отдельной статье.
Теги только начинаю пробовать, хочу сделать минимальную систему и не перегружать. Пока больше опираюсь на папки, в них сделал разделение по проектам и направлениям.
Infio Copilot, насколько я понял, больше про чат и редактирование заметок, а не про автоматическую сортировку всей базы. То, что вы описываете с разбором raw и раскладкой по wiki, это уже следующий шаг, ближе к агентам и более мощным инструментам.
Стек, описанный в статье – это не “второй мозг на автомате”, а просто первый рабочий уровень, где уже можно нормально пробовать "разговаривать" со своей базой. И как минимум начать собирать датасет и контексты. А также понять для себя, какой функционал и зачем мне нужен в платных решениях.
Спасибо за отзыв. Да, это как раз то направление, которое сам хотел попробовать в дальнейшем. Хочу попробовать сделать AI-агента, которому можно ставить задачи через мессенджер.
Спасибо за интересный комментарий. Про GPT4All и LM Studio не углублялся, возьму на заметку, попробую.
Да, согласен, следующий шаг вперед – он уже в сторону агентного поведения или более сложных задач. В моём случае, текущий стек скорее как базовый уровень. Это работа с заметками через rag, но без полной автоматизации.
Я в основном использовал Ollama как удобный интерфейс, в llama.cpp не углублялся.
Правильно ли понимаю, что вы имеете в виду запуск llama.cpp в режиме сервера с OpenAI-compatible API?. В Infio Copilot можно указать кастомный base URL, так что теоретически это должно подключиться. Если да, то интересно попробовать как более быстрый вариант.
Да, так и есть, достаточно один раз проиндексировать базу, а дальше обновлять изменения. У меня же проблема была в том, что эмбеддинги через Ollama (пробовал nomic-embed-text, bge-m3 и другие) даже на небольшой базе считались очень долго и иногда зависали, плюс в Copilot возникали ошибки при индексации.
Спасибо за рекомендацию. Qwen3 4B 2507 ещё не пробовал, Phi-4 рассматривал, но надо потестировать. Хочется найти что-то достаточно быстрое, пусть и не самое умное, потому что иногда именно скорость важнее. Думаю, под разные задачи действительно могут лучше подходить разные модели.
Интересные и актуальные идеи. Недавно отправил длинное сообщение в комментарий в один из чатов по моему рабочему профилю. Я печатаю довольно быстро, могу написать свои мысли подробно, что и сделал. В конце понял, что несколько предложений и мыслей получились запутанными - решил отправить на редактуру в чат-бот перед отправкой. Перечитал, прежде чем переслать, отправил. И мне пришел почти сразу ответ в комментариях: "Вы сами писали это текст или пользовались ИИ?" Я ответил: "Да, редактировал ИИ, но мысли мои". Отправил в чат свой оригинальный текст. И в этот момент я как раз задумался о тех моментах, изложенных в этой статье. Вопрос еще в том, что мысли были реально мои, чат-бот не сильно их поменял. Но у меня возникло ощущение, что мне не верят, что так мыслить могу я. Вероятно, мы придем к тому, что будем чаще выходить на видео-связь для проверки того, что человек мыслит сам.
Почти гарантированно, что мы все больше будем сталкиваться с подобными ситуациями. Иногда использование чат-бота только замедляет ответ - нужно несколько раз отредактировать формулировки, перечитать. С другой стороны - он часто выручает, когда надо отправить подробное сообщение, где нужно по пунктам все зафиксировать. Да, нужно перечитать, но все же чат-бот может быть полезным личным редактором и секретарем.
Похоже на сбой интернет-соеденинеия. Вероятно, Ollama не может нормально докачать модель.
Попробуйте скачать модель вручную с Hugging Face и подключить её локально. Это возможный путь в таких случаях. Если нужна пошаговая инструкция, можно уточнить у любой LLM, к какой у вас есть доступ (она подскажет под вашу систему и формат модели). Сам этот способ именно с gemma3 не пробовал, но по идее он должен работать.
Спасибо за новодку! Попробую
Да, тут пока нет какого-то единственного полноценного решения. У каждого будет своя структура хранения, свой набор программ. Возможно, в скором времени кто-то из техгигантов сделает какое-то коробочное решение, где все уже готово. Пока приходится искать для себя подходы, тестировать.
Да, можно задавать вопросы по общей базе, так как база файлов проиндексирована. По картинкам попробовал - если сбросить ей изображение, то может его описать, но искать по ней похожие изображения не может. Но если сбросить скриншот текста - распознает общую тематику и ищет по базе. Возможно можно наладить процесс, но пока не копал в этом направлении.
Тоже думал об этом. Видел, что уже некоторые делают свои плагины для Obsidian. Но это дополнительный уровень сложности входа для обычного пользователя.
Спасибо за комментарий, хорошее замечание. Добавил апдейт в конце статьи про безопасность и обозначил эти моменты.
Есть несколько идей по этому поводу. В целом, любой RAG, в который вы сможете вставить файлы нормативной базы и данных о проекте - уже может облегчить работу ПТО отдела или отдельного инженера. Но если говорить уже не только о получении ответов на текстовые запросы, но и об анализе чертежей, генерации таблиц – тут уже нужен не только RAG, но и взаимодействие между модулями вашей системы. Я думаю, отдельные части этой системы уже можно построить для себя - опять же могут подсказать клод, гпт и другие. Можно пробовать делать прототипы сначала для решения небольших задач, а потом пробовать их интегрировать друг в друга. Но это путь разработки инструментов для себя – это сложно, когда параллельно есть реальная работа на производстве.
Рад, что материал пригодился.
Спасибо, попробую.
Тоже пробовал подключать Gemini через Google API. Но видимо, не заработало нормально из-за ограничений на аккаунт/регион (с РФ-аккаунтами видимо api google не работает).
Зато через OpenRouter пробовал подключить gemini через бесплатный tier. И там да, по скорости прямо летает и качестве ответов очень высокое. Но это уже облачное решение, не локально. Ну и в основном платно.
Да, у меня тоже на каком-то этапе появилось желание, чтобы ии структурировал папки, дописывал что-то в заметки, расставлял теги. Это уже агентное поведение и следующий шаг.
И да, к сожалению, в более-менее удобном и стабильном виде это сейчас чаще всего упирается либо в платные решения, либо через платное подключение через API.
Да, тут я немного некорректно сформулировал. 70 МБ — это размер всего хранилища с raw-материалами (статьи, вложения, дубли, исходники и т.д.), а не только чистых заметок.
Если брать именно обработанные контексты/markdown-заметки, то там около 4 МБ. И в среднем заметка совсем небольшая — это не «роман», а скорее короткие фрагменты, выдержки и структурированные мысли.
В настройках для rag добавлял raw файлы переписок и материалов в exclude, чтобы индексация шла быстрее и не засорялась база.
Спасибо за подробный комментарий.
Если честно, у меня пока всё довольно просто. В основном чаты с ИИ сокращаю в формате markdown в виде контекста переписки и сохраняю. Вручную пишу часть новых заметок. До сценария, где ИИ сам всё разбирает и раскладывает по папкам, я пока не дошёл. Плагины, описанные в статье, сами не создают структуру папок и не раскладывают заметки по ним. По-крайней мере, я о таком функционале у них не слышал, но может где-то в них есть.
С чатами отдельная история. Важно и то, что писал сам, и то, что отвечала модель. Сейчас сохраняю в основном выжимки, но в начале сохраняли и полностью диалоги "вопрос-ответ".
Возможно, потом напишу про это в отдельной статье.
Теги только начинаю пробовать, хочу сделать минимальную систему и не перегружать. Пока больше опираюсь на папки, в них сделал разделение по проектам и направлениям.
Infio Copilot, насколько я понял, больше про чат и редактирование заметок, а не про автоматическую сортировку всей базы. То, что вы описываете с разбором raw и раскладкой по wiki, это уже следующий шаг, ближе к агентам и более мощным инструментам.
Стек, описанный в статье – это не “второй мозг на автомате”, а просто первый рабочий уровень, где уже можно нормально пробовать "разговаривать" со своей базой. И как минимум начать собирать датасет и контексты. А также понять для себя, какой функционал и зачем мне нужен в платных решениях.
Спасибо за отзыв. Да, это как раз то направление, которое сам хотел попробовать в дальнейшем. Хочу попробовать сделать AI-агента, которому можно ставить задачи через мессенджер.
Спасибо за интересный комментарий. Про GPT4All и LM Studio не углублялся, возьму на заметку, попробую.
Да, согласен, следующий шаг вперед – он уже в сторону агентного поведения или более сложных задач. В моём случае, текущий стек скорее как базовый уровень. Это работа с заметками через rag, но без полной автоматизации.
Я в основном использовал Ollama как удобный интерфейс, в llama.cpp не углублялся.
Правильно ли понимаю, что вы имеете в виду запуск llama.cpp в режиме сервера с OpenAI-compatible API?. В Infio Copilot можно указать кастомный base URL, так что теоретически это должно подключиться. Если да, то интересно попробовать как более быстрый вариант.
Да, так и есть, достаточно один раз проиндексировать базу, а дальше обновлять изменения. У меня же проблема была в том, что эмбеддинги через Ollama (пробовал nomic-embed-text, bge-m3 и другие) даже на небольшой базе считались очень долго и иногда зависали, плюс в Copilot возникали ошибки при индексации.
Спасибо за рекомендацию. Qwen3 4B 2507 ещё не пробовал, Phi-4 рассматривал, но надо потестировать. Хочется найти что-то достаточно быстрое, пусть и не самое умное, потому что иногда именно скорость важнее. Думаю, под разные задачи действительно могут лучше подходить разные модели.
Спасибо! Надеюсь, материал пригодится. Тут всё равно лучше тестировать связку под свои задачи, тем более что модели сейчас меняются очень быстро.
Интересные и актуальные идеи. Недавно отправил длинное сообщение в комментарий в один из чатов по моему рабочему профилю. Я печатаю довольно быстро, могу написать свои мысли подробно, что и сделал. В конце понял, что несколько предложений и мыслей получились запутанными - решил отправить на редактуру в чат-бот перед отправкой. Перечитал, прежде чем переслать, отправил. И мне пришел почти сразу ответ в комментариях: "Вы сами писали это текст или пользовались ИИ?" Я ответил: "Да, редактировал ИИ, но мысли мои". Отправил в чат свой оригинальный текст. И в этот момент я как раз задумался о тех моментах, изложенных в этой статье. Вопрос еще в том, что мысли были реально мои, чат-бот не сильно их поменял. Но у меня возникло ощущение, что мне не верят, что так мыслить могу я. Вероятно, мы придем к тому, что будем чаще выходить на видео-связь для проверки того, что человек мыслит сам.
Почти гарантированно, что мы все больше будем сталкиваться с подобными ситуациями. Иногда использование чат-бота только замедляет ответ - нужно несколько раз отредактировать формулировки, перечитать. С другой стороны - он часто выручает, когда надо отправить подробное сообщение, где нужно по пунктам все зафиксировать. Да, нужно перечитать, но все же чат-бот может быть полезным личным редактором и секретарем.