Хмм… вот смотрите (как бы всем адресовано кто отвечал под моим клиентом). У меня Docker Swarm, оверлей-сети, один админ — а не несколько человек. Да, есть чужие образы — около 20 (Grafana, Prometheus и всё вокруг них). Обновления хостов и доставка образов идут через Ansible-плейбуки. Собственные веб-сервисы общаются только через API. Наружный и внутренний выходы разделены через Traefik. Доступы — через самоподписанные сертификаты. NFS между хостами тоже на сертификатах. Оверлей-сети чётко ограничивают, кто и с кем может общаться.
Я прекрасно понимаю, что Docker — не панацея. Но в сравнении с bare-metal это в моём случае реально проще и надёжнее. На чистом железе пришлось бы вручную обслуживать десятки конфигураций, ловить несовместимости, обновлять зависимости, контролировать окружения — и всё это без изоляции. У меня же весь стек предсказуемый: единые образы, единые сценарии развертывания, автоматизация, минимизация ручного вмешательства. Для моей архитектуры это полностью оправдано. Которую сам с нуля поднял это лучше чем...
Для моих задач Swarm — более чем достаточно, без лишней сложности и без ненужных уровней абстракции.
Отдельно по сертификатам: хочу поставить свой CA под всю инфраструктуру, но раньше с этим не работал, поэтому и решил почитать, что советуют люди, которые в теме.
Хмм... Мне намного проще с докером чем настраивать сервера под несколько задач....
---
Я вот представил одну вещь и меня ужас охватил. Администрирование 40 хостов с разными конфигурациями и под разные нужды, и все это дело ручками... Да ну... 4 сервера - докер сварм, 40 контейнеров, под этим всем. И я вообще не парюсь... За два года был один инцидент. 2 недели в отпуску был. Место закончилось на одном хосту на менеджере, пол дня восстанавливал кластер, можно сказать с нуля. Да, технология сложная по началу, но лучше так чем bare-metal в чистом виде.
Да, согласен ручками щупать очень полезно и познавательно. Я второй год с начальником... В футбол играем, наслушался он всяких. Слава всем богам что отбросили PowerBugAutomate, и пришла очередь make.com... В моих глазах N8N приемлем как компромис, на сервере в соседней комнате в кластере doker-swarm.
Тут общая проблема (у меня на фирме где я "one man army" и статья) - выбор инструмента для разраба, интегратора. Не имея абсолютного понятия с чем разработчик работает.
Подход хорош... Может не так я это использую - да не могу сказать что промпт-инженер я 80 уровня(термин как на меня выжат из пальца)... Но. Использование Греческих символов - єто оказалось отличным трюком. Комбинуруя LangChain и system_prompt на модели liquid/lfm2-1.2b. Модель сама по себе хороша - хорошо следует инструкциям на достаточном уровне... Но имела проблемы... ---Нужно идти - поэтому минимум информации--- Использование их как маркеров - так как модели мало обучены на этих символах и соответсвенно мало статистики где-то там в весах - так мне кажется. Я только 2 часа эксперементирую но результат гораз лучше гораздо предсказуем даже на температуре 0.9.
Классная формулировка, запомню на будущее) Я всегда приводил пример с каменными секирами с понятно какого века, но действительно ваша формулировка мне больше нравится. Разрешите пользоваться?)))
Интересно... Попробу я пожалуй это на модели 1.5b... Не знаю правильно ли уловил суть... Я использовал мермеинд диаграммы для описания последовательностей. Здесь немного о другом но описано интересно.
Я понимаю сто эта стаття под менеджеров сделана, но немогу не согласится, сами пробовали "это" сделать. Мне мой начальник год подсовывал PowerBugAutomate. В итоге у меня целая коллекция этих багов и нервный тик от мелкософта с их автоматизацией.
Хотя сам для себя использую модель 1.5b в связке с n8n + python для тагирования, линкования и паркинга заметок с обсидиана... И всё это на NixOS. Ибо Виндоус маст дай! Эти модели как некоторые называют их AI, я бы их назвал математическо-статистические модели использования слов, на самом нижнем уровне решают поиска пути и задачи классификации. Эти задачи можна дать им без оглядки...
Ну не скажи... Мой интерес к малым обусловлен тем, что давать короткие инструкции, что бы следовало максимально точно. И фундамент это скрипты. Но если ищешь модель 1b с качеством как у 600+ то слишком много ты хочешь от дистелированых моделей.
На Huginface, есть калькулятор. Там можно посмотреть сколько нужно ресурсов для запуска той или иной модели.
Я занимаюсь активно этим вопросом по мере возможности. Модели до 7б работают в связке с roocode и kilocode отвратительно. За все время может 3 раза правильно вызвали "tools" из сотни. Иду в отпуск на следующей неделе и немного будет времени.
П.С. Не знаю как с Виндоус, но на Линукс. А конкретно NixOS у меня получилось запускать модели и на vRAM и RAM, когда модель не помещается в видео память.
На ЦРУ и на раме 32b модель генерировать ответ будет час
Нужно было назвать не ЛЛМ, многомерная статистическая модель использования слов... У меня шев определяет по наличию интеграции с ЛЛМ хороший инструмент/ платформа или нет)
Хм... Как бы сказать. NFS... Расширение памяти(HDD;SSD) для хостов за счёт других хостов. В контексте docker-compose, NFS оглашается в volume (нужен настроенный серверNFS) . В сварм из коробки точно не работает, можно использовать bind на каталог NFS тогда содержание доступно на других холстах: так работает.
Теперь о user в докер компоуз оглашается user "1000":"1000" ("uid":"gid") либо user : container_user. Чтобы контейнер работал не от рута и при использовании бинд не было проблем с доступом к данным. В контейнере там ид юзера и ид группы 1000 и 1000 и на хосту по умолчанию те самые айдишники... В сценарии использования кластера сварм - унификация пользователей, этот вопрос доступа стоит остро. Наверно половина образов которые запускал, работали от рута. В своё время намучался с этим...
Использование генеративных нейро сетей - это большая нагрузка на мозг. Фильтровать критически тонну информации/опровергать/тестировать... То ещё удовольствие.
Я использую в учебных/рабочих целях.
Плюс ещё могу из минусов написать что при изучении, очень часто белые пятна в изучении технологии. Ты о них знаешь, но никак времени не находишь. Постоянно в процессе.
За год использования, ну... Больше 1000 (импортировал в obsydian, а далее агентами редактируются, связываются и формируются "дев-стори") чатов о Django, Odoo, Pyton, NixOS, Docker, Docker-swarm, Docker-compose, сеть,ансибл, и хрен пойми что ещё...
Высшее в 12 году закончил - "инженер системотехник" - ИТ, но после то електриком был з доступом до 10 кВт, строителем, фирма своя была из 3 человек - телефоны ремонтировали. Ещё 6 специальностей которые с ИТ не связаны. Это я к чему - во первых после вуза. В те года не особо и брали всех. За 10 лет сколько всего - что угнаться просто нереально.
Нескажу что даже мидл SRE, front-end, back-end. Пойти могу как Пайтон Разграб на фронт-енд или бек-енд. Девопс тоже вариант вполне реальный. Вопрос - возьмут ли ))) это не знаю, в ИТ неспокойное время).
Я не думаю что нейро сети делают нас глупее. Это инструмент, а не один мозг на двух. Инструмент не больше ни меньше. Молотком тоже можно отбить себе пальцы и остаться калекой.)
Понимаеш - за все время в десктопе это 2.75-5.3%, но ситуация с серверами совсем иная 95% это дистрибутивы Линукс. В разработке ПО для бизнеса SaaS и чего-то около серверного - чем будешь пользоваться?
Могу так пример дать, купил микроскоп. Дрова на CD. Я когда это увидел - я впал в ступор. У меня нет этой древности уже как лет 10 ни на одной моей машине. Дрова оказались на каком-то китайском сайте. Тогда я снёс на последней машине виндовс. Тогда были и юбунту и вин7 и вин10 и на работе вин11. Сейчас везде NixOS. 4 ноута 3 ПК
На Линукс одной командой передаешь из юсб на меада плеер картинку. без дров без ничего. Я вот тут подумал что можна и в systemd сервис прописать и на ярлик забиндить можно. Хм.. нада попробовать
2007 год, Linux Mandriva, первая ОС, Линукс первый раз в глаза видел. Все работало "out of the box". А поставил её тогда из того что продукт от мелкософт. Был заражон каким-то сифилисом, который в универе подцепил. А новомгодная виста... Реинстал не помогал. А сейчас я гордый пользователь NixOS. В Линукс все отлично но это болото зависимостей - это просто ад. Nic этим не страдает)
Когда заметок стало больше 100 - нашел obsidian, и забыл о кошмаре onenote. Сейчас заметок 1400+. Сейчас пользуюсь и obsidian, и vscode для ликования подобных заметок.
RooCode протестируй с динамической подменой контенту за счет смен мода. Там 4 из коробки и свои можно создавать, и только тссс он сам можете на ходу создавать если прописать. И инструкции пишет, и следует кое как ...
Хмм… вот смотрите (как бы всем адресовано кто отвечал под моим клиентом). У меня Docker Swarm, оверлей-сети, один админ — а не несколько человек. Да, есть чужие образы — около 20 (Grafana, Prometheus и всё вокруг них). Обновления хостов и доставка образов идут через Ansible-плейбуки. Собственные веб-сервисы общаются только через API. Наружный и внутренний выходы разделены через Traefik. Доступы — через самоподписанные сертификаты. NFS между хостами тоже на сертификатах. Оверлей-сети чётко ограничивают, кто и с кем может общаться.
Я прекрасно понимаю, что Docker — не панацея. Но в сравнении с bare-metal это в моём случае реально проще и надёжнее. На чистом железе пришлось бы вручную обслуживать десятки конфигураций, ловить несовместимости, обновлять зависимости, контролировать окружения — и всё это без изоляции. У меня же весь стек предсказуемый: единые образы, единые сценарии развертывания, автоматизация, минимизация ручного вмешательства. Для моей архитектуры это полностью оправдано. Которую сам с нуля поднял это лучше чем...
Для моих задач Swarm — более чем достаточно, без лишней сложности и без ненужных уровней абстракции.
Отдельно по сертификатам: хочу поставить свой CA под всю инфраструктуру, но раньше с этим не работал, поэтому и решил почитать, что советуют люди, которые в теме.
Хмм... Мне намного проще с докером чем настраивать сервера под несколько задач....
---
Я вот представил одну вещь и меня ужас охватил. Администрирование 40 хостов с разными конфигурациями и под разные нужды, и все это дело ручками... Да ну... 4 сервера - докер сварм, 40 контейнеров, под этим всем. И я вообще не парюсь... За два года был один инцидент. 2 недели в отпуску был. Место закончилось на одном хосту на менеджере, пол дня восстанавливал кластер, можно сказать с нуля. Да, технология сложная по началу, но лучше так чем bare-metal в чистом виде.
Да, согласен ручками щупать очень полезно и познавательно. Я второй год с начальником... В футбол играем, наслушался он всяких. Слава всем богам что отбросили PowerBugAutomate, и пришла очередь make.com... В моих глазах N8N приемлем как компромис, на сервере в соседней комнате в кластере doker-swarm.
Тут общая проблема (у меня на фирме где я "one man army" и статья) - выбор инструмента для разраба, интегратора. Не имея абсолютного понятия с чем разработчик работает.
Подход хорош... Может не так я это использую - да не могу сказать что промпт-инженер я 80 уровня(термин как на меня выжат из пальца)... Но. Использование Греческих символов - єто оказалось отличным трюком. Комбинуруя LangChain и system_prompt на модели liquid/lfm2-1.2b. Модель сама по себе хороша - хорошо следует инструкциям на достаточном уровне... Но имела проблемы...
---Нужно идти - поэтому минимум информации---
Использование их как маркеров - так как модели мало обучены на этих символах и соответсвенно мало статистики где-то там в весах - так мне кажется. Я только 2 часа эксперементирую но результат гораз лучше гораздо предсказуем даже на температуре 0.9.
Классная формулировка, запомню на будущее) Я всегда приводил пример с каменными секирами с понятно какого века, но действительно ваша формулировка мне больше нравится. Разрешите пользоваться?)))
Интересно... Попробу я пожалуй это на модели 1.5b... Не знаю правильно ли уловил суть... Я использовал мермеинд диаграммы для описания последовательностей. Здесь немного о другом но описано интересно.
Я понимаю сто эта стаття под менеджеров сделана, но немогу не согласится, сами пробовали "это" сделать. Мне мой начальник год подсовывал PowerBugAutomate. В итоге у меня целая коллекция этих багов и нервный тик от мелкософта с их автоматизацией.
Хотя сам для себя использую модель 1.5b в связке с n8n + python для тагирования, линкования и паркинга заметок с обсидиана... И всё это на NixOS. Ибо Виндоус маст дай! Эти модели как некоторые называют их AI, я бы их назвал математическо-статистические модели использования слов, на самом нижнем уровне решают поиска пути и задачи классификации. Эти задачи можна дать им без оглядки...
Ну не скажи... Мой интерес к малым обусловлен тем, что давать короткие инструкции, что бы следовало максимально точно. И фундамент это скрипты. Но если ищешь модель 1b с качеством как у 600+ то слишком много ты хочешь от дистелированых моделей.
На Huginface, есть калькулятор. Там можно посмотреть сколько нужно ресурсов для запуска той или иной модели.
Я занимаюсь активно этим вопросом по мере возможности. Модели до 7б работают в связке с roocode и kilocode отвратительно. За все время может 3 раза правильно вызвали "tools" из сотни. Иду в отпуск на следующей неделе и немного будет времени.
П.С. Не знаю как с Виндоус, но на Линукс. А конкретно NixOS у меня получилось запускать модели и на vRAM и RAM, когда модель не помещается в видео память.
На ЦРУ и на раме 32b модель генерировать ответ будет час
Нужно было назвать не ЛЛМ, многомерная статистическая модель использования слов... У меня шев определяет по наличию интеграции с ЛЛМ хороший инструмент/ платформа или нет)
Хм... Как бы сказать. NFS... Расширение памяти(HDD;SSD) для хостов за счёт других хостов. В контексте docker-compose, NFS оглашается в volume (нужен настроенный серверNFS) . В сварм из коробки точно не работает, можно использовать bind на каталог NFS тогда содержание доступно на других холстах: так работает.
Теперь о user в докер компоуз оглашается user "1000":"1000" ("uid":"gid") либо user : container_user. Чтобы контейнер работал не от рута и при использовании бинд не было проблем с доступом к данным. В контейнере там ид юзера и ид группы 1000 и 1000 и на хосту по умолчанию те самые айдишники... В сценарии использования кластера сварм - унификация пользователей, этот вопрос доступа стоит остро. Наверно половина образов которые запускал, работали от рута. В своё время намучался с этим...
NFS? Коли не ошибаюсь для докер компоуз можно из коробки пользоваться, а для сварма плагин какой-то нужен.
И запуск контейнеров от пользователя, как-то мало об этом.
Хотя и кажется мне что это для следующей статьи))) Спасибо годная статья) Моё почтение и уважение.
Использование генеративных нейро сетей - это большая нагрузка на мозг. Фильтровать критически тонну информации/опровергать/тестировать... То ещё удовольствие.
Я использую в учебных/рабочих целях.
Плюс ещё могу из минусов написать что при изучении, очень часто белые пятна в изучении технологии. Ты о них знаешь, но никак времени не находишь. Постоянно в процессе.
За год использования, ну... Больше 1000 (импортировал в obsydian, а далее агентами редактируются, связываются и формируются "дев-стори") чатов о Django, Odoo, Pyton, NixOS, Docker, Docker-swarm, Docker-compose, сеть,ансибл, и хрен пойми что ещё...
Высшее в 12 году закончил - "инженер системотехник" - ИТ, но после то електриком был з доступом до 10 кВт, строителем, фирма своя была из 3 человек - телефоны ремонтировали. Ещё 6 специальностей которые с ИТ не связаны. Это я к чему - во первых после вуза. В те года не особо и брали всех. За 10 лет сколько всего - что угнаться просто нереально.
Нескажу что даже мидл SRE, front-end, back-end. Пойти могу как Пайтон Разграб на фронт-енд или бек-енд. Девопс тоже вариант вполне реальный. Вопрос - возьмут ли ))) это не знаю, в ИТ неспокойное время).
Я не думаю что нейро сети делают нас глупее. Это инструмент, а не один мозг на двух. Инструмент не больше ни меньше. Молотком тоже можно отбить себе пальцы и остаться калекой.)
NixOS?
Понимаеш - за все время в десктопе это 2.75-5.3%, но ситуация с серверами совсем иная 95% это дистрибутивы Линукс. В разработке ПО для бизнеса SaaS и чего-то около серверного - чем будешь пользоваться?
Могу так пример дать, купил микроскоп. Дрова на CD. Я когда это увидел - я впал в ступор. У меня нет этой древности уже как лет 10 ни на одной моей машине. Дрова оказались на каком-то китайском сайте. Тогда я снёс на последней машине виндовс. Тогда были и юбунту и вин7 и вин10 и на работе вин11. Сейчас везде NixOS. 4 ноута 3 ПК
На Линукс одной командой передаешь из юсб на меада плеер картинку. без дров без ничего. Я вот тут подумал что можна и в systemd сервис прописать и на ярлик забиндить можно. Хм.. нада попробовать
Это называется WSL. Windows subsystem for Linux. Если хоть как-то в ИТ, то это маст хев.
2007 год, Linux Mandriva, первая ОС, Линукс первый раз в глаза видел. Все работало "out of the box". А поставил её тогда из того что продукт от мелкософт. Был заражон каким-то сифилисом, который в универе подцепил. А новомгодная виста... Реинстал не помогал. А сейчас я гордый пользователь NixOS. В Линукс все отлично но это болото зависимостей - это просто ад. Nic этим не страдает)
Когда заметок стало больше 100 - нашел obsidian, и забыл о кошмаре onenote. Сейчас заметок 1400+. Сейчас пользуюсь и obsidian, и vscode для ликования подобных заметок.
RooCode протестируй с динамической подменой контенту за счет смен мода. Там 4 из коробки и свои можно создавать, и только тссс он сам можете на ходу создавать если прописать. И инструкции пишет, и следует кое как ...