Comments 7
и нужно еще как следует потрудиться, чтобы ее запустить, потому что с зависимостями в половине случаев царит полная неопределенность
Это да. Нужно и все версии питона иметь, и не пытаться отходить от рекомендованной, если автор только на одной какой-то тестировал. :) И все равно постоянно спотыкаешься на проблемы несовместимости пакетов, когда настраиваешь environment. Я уже размышлял на эту тему -- начинает казаться, что весь этот питоновский AI мир держится просто на соплях. Только толкнуть, и все просто рассыпется на молекулы. :)
В целом по поводу тайтла статьи... Есть вот такой вариант:
https://github.com/pinokiocomputer/pinokio (Install, Run & Control AI apps on Your Computer with 1 Click. Pinokio is a browser that lets you install, run, and manage ANY server application, locally.)
Он не про API, но очень сильно упрощает доступ к новым проектам. Оно ж реально лень становится каждый по отдельности устанавливать. А тут сразу подборка. Очень удобно. ComfyUI с кучей своих workflow, Pinokio с нужными проектами. И остальное, что не вошло в первые две системы.
P.S. /dɪˈsaɪ.dər/
Интересное решение! Для интересующихся, вот прямая ссылка на его документацию https://program.pinokio.computer/#/
У меня возникло ощущение, что это ближе к аналогу докер-файла, который запустится не в контейнере, а прямо на хосте: "Everything you can run in your command line can be automated with Pinokio script, with a user-friendly UI.", и собственно далее они описывают, как писать скрипты для их системы так, чтобы они по-разному работали на разных ОС. Это страшновато =) Плюс, есть проблема зависимостей некоторых ИИ от линуксовых программ в ОС, плюс проблема того, что некоторые ИИ выложены не как приложение, а как библиотека для питона.
Что интересно. На этом сайте не разу не видел, чтоб кто то ставил свой материал в формате видео пособия.
Привет, это команда GitVerse! Рады видеть тебя в числе участников сезона open source! Ставим лайк твоей статье :)
спасибо за проект.
а как решаются вопросы:
- доступа к моделям на huggingface например, где нужен токен для скачивания.
- есть ли контроль места на диске (некоторые модели объемны)
- как обновлять контейнеры, если это предусмотрено.
- используется ли gpu. если да, то кто устанавливает cuda и т.п.
- не проще ли организовать обычный pipeline, где выход одной модели будет входом в другую. и избавиться от докеров, анаконд и т.д.
Он может решаться изнутри контейнера через передачу туда токена, либо, поскольку контейнер шерит диск с хостом и как правило модели лежат именно в этом расшеренном месте, установить туда внешним от контейнером способом - скриптом или руками
Нет, но можно добавить.
Те контейнеры, что сейчас, наоборот, сделаны необновляемыми: я прошиваю в них и версию питона, и зависимостей, и commit репозитория - для того, чтобы это надежно и воспроизводимо работало. Как правило, обновление делают ради новой функциональности, и в данном случае это означает, что и внутренность контейнера тоже нужно менять. Но у брейнбокса другая цель - не новые исследования и функции какого-нибудь ИИ, а, наоборот, стабилизация уже освоенных функций ИИ и их подготовка для использования прикладным слоем.
Да, gpu пробрасывается в контейнер по умолчанию методами докера. Установка CUDA осуществляется средствами хоста.
Смотря для каких целей. Если цель - исследовать системы и их взаимодействие, где вы настраиваете это на одной машине и один раз, а потом исследуете - то да, проще. BrainBox предназначен скорее для случая, когда вы ничего исследовать не хотите: вы хотите, допустим, озвучить электронную книгу или сделать суммаризацию одной книги. В этом случае вы, как правило, не хотите ни с чем разбираться и ничего устанавливать руками - и вот здесь с помощью Брейнбокса вы сможете быстро развернуть озвучиватель или ollama, и затем обратиться к ним через HTTP интерфейс хоть из Node.js хоть из шарпа.
Как я запускаю 15+ самых разных ИИ на своей машине — open-source, self-hosted, с HTTP-доступом