jumie — локальный ИИ ассистент в терминале

[Limows]

Разработка прикольная, но насколько оно полезно, особенно не на самом свежем железе, вопрос. Попробую потом на своём тинкпаде Т480, чтобы ощутить всю боль.

[piterovxyz]

да, локальная ллм сейчас как бутылочное горлышко, но думаю облачная ллмка как раз решит быстро эту проблему

[AleGen]

КМК, имеет смысл заюзать SLM или даже TLM, специально заточенную под это. Ну да, затачивать (дообучать) наверное придётся самому. Но, если удастся, то результат будет сильно лучше по качеству и сильно быстрее.

А так, идея - очень даже вполне себе ага, думаю, многим может прийтись по душе.

P.S. Решил пнуть Qwen с вопросом про подобные модели - выдал много интересного:

• оптимизированные под это дело модели: Qwen3-0.6B (дообученный, лучший баланс качества и размера, поддерживает русский язык), Gemma-3-270M (дообученный для bash, работает даже на Raspberry Pi), SmolLM2-360M-Instruct (компактная альтернатива);

• готовые инструменты и проекты: ShellAI, tlm (Terminal Language Model), TerminalCommander, Autocomplete.sh.

• есть также специализированные датасеты для обучения моделей переводу естественного языка в bash-команды:

  • TellinaTool/nl2bash: ~10,000 bash one-liners с английскими описаниями

    GitHub

  • aelhalili/bash-commands-dataset на Hugging Face

Так что тему уже давно раскуривают!

[anitastsoy]

сколько раз не пытался запустить на своей 5070ти ллмки локальные - всегда получался какой то кал
23б модели кое че там умеют но после того как ты попробовал тот же клод или гемини ты уже никогда не сможешь юзать локальный кал )

[Wesha]

мало кто помнит наизусть все флаги команды find

В наше время этим не гордились!

[Mayurifag]

Напомнило маленький плагин для zsh https://github.com/matheusml/zsh-ai — ничего удобнее Comment Syntax тамошнего не встречал для быстрого запуска команды по примеру find с флагами. Но я особо не искал, мне сразу понравилось пользоваться и всем устроило.

Ollama тоже в наличии, хотя я пользуюсь бесплатным ключом гугловской аи студио, локальную модельку жирновато подрубать в эру спонсирования моделей по моему мнению, сильно приватного тут ничего нет, а вот скорость нужна.

[brtpfdvlbpd2]

мало кто помнит наизусть все флаги команды find

Если я не помню флаги, я открываю man, а не ищу того, кто сделает всё за меня

[AleGen]

Ну, Вы - оригинал. ))) А в общем природа человека такова, что он лучше найдёт того, кто сделает за него (и, желательно, бесплатно).

[brtpfdvlbpd2]

Это природа паразита, а не человека.

[VitalikErzov]

Да, использую, но скорее как подсказку. Часто удобно, быстрее вспоминаешь нужные флаги или синтаксис. Но всегда перепроверяю, потому что ИИ может легко накидать что-то из Linux в macOS или вообще несуществующий вариант. В итоге это как умный справочник, а не готовая истина.

[piterovxyz]

да! как раз в этом и суть текущей утилиты, она перед генерацией команды изучает систему и возвращает команду именно под нее

[paramtamtam]

Простите, вы, блин, серьезно?

	progress(fmt.Sprintf("downloading ollama archive for %s...", runtime.GOOS))

	cmd := exec.Command("sh", "-c", fmt.Sprintf("curl -fL --retry 3 --retry-delay 2 %s | tar --zstd -xf - -C %s", url, targetDir))
	cmd.Stdout = os.Stdout
	cmd.Stderr = os.Stderr

Или это вам имитация интетелекта так написала, а вы “а давай, чего там проверять, коммит, пуш, в релиз”?

[piterovxyz]

да, вы правы, костыль костыльный, как раз планирую оптимизировать загрузку ollama в рамках работы с API, спасибо!

[Wesha]

да, вы правы, костыль костыльный

Не так! «Вы абсолютно правы! Я не должен был делать...»

[YuryZakharov]

А почему Ollama, а не llama-cpp?

А jum сможет воспользоваться существующим в системе сервером или всё равно запустит свой?

И как он вообще ориентируется в пространстве, заведётся, скажем, на NixOs, внутри direnv?

[piterovxyz]

ollama мне показалась легче в реализации

по поводу текущего - пока нет, она устанавливает отдельный инстанс и использует другой порт, но хочу как раз реализовать распознавание существующего и выбор модели вручную!

насчёт nixos не знаю если честно) тестировал пока только на макоси и убунте, так что рад фидбеку и issues в гитхабе)

[brammator]

Вы смотрели на Warp или Wave? Сценарий использования у них схож.