Подход хорош... Может не так я это использую - да не могу сказать что промпт-инженер я 80 уровня(термин как на меня выжат из пальца)... Но. Использование Греческих символов - єто оказалось отличным трюком. Комбинуруя LangChain и system_prompt на модели liquid/lfm2-1.2b. Модель сама по себе хороша - хорошо следует инструкциям на достаточном уровне... Но имела проблемы... ---Нужно идти - поэтому минимум информации--- Использование их как маркеров - так как модели мало обучены на этих символах и соответсвенно мало статистики где-то там в весах - так мне кажется. Я только 2 часа эксперементирую но результат гораз лучше гораздо предсказуем даже на температуре 0.9.
Классная формулировка, запомню на будущее) Я всегда приводил пример с каменными секирами с понятно какого века, но действительно ваша формулировка мне больше нравится. Разрешите пользоваться?)))
Интересно... Попробу я пожалуй это на модели 1.5b... Не знаю правильно ли уловил суть... Я использовал мермеинд диаграммы для описания последовательностей. Здесь немного о другом но описано интересно.
Я понимаю сто эта стаття под менеджеров сделана, но немогу не согласится, сами пробовали "это" сделать. Мне мой начальник год подсовывал PowerBugAutomate. В итоге у меня целая коллекция этих багов и нервный тик от мелкософта с их автоматизацией.
Хотя сам для себя использую модель 1.5b в связке с n8n + python для тагирования, линкования и паркинга заметок с обсидиана... И всё это на NixOS. Ибо Виндоус маст дай! Эти модели как некоторые называют их AI, я бы их назвал математическо-статистические модели использования слов, на самом нижнем уровне решают поиска пути и задачи классификации. Эти задачи можна дать им без оглядки...
Ну не скажи... Мой интерес к малым обусловлен тем, что давать короткие инструкции, что бы следовало максимально точно. И фундамент это скрипты. Но если ищешь модель 1b с качеством как у 600+ то слишком много ты хочешь от дистелированых моделей.
На Huginface, есть калькулятор. Там можно посмотреть сколько нужно ресурсов для запуска той или иной модели.
Я занимаюсь активно этим вопросом по мере возможности. Модели до 7б работают в связке с roocode и kilocode отвратительно. За все время может 3 раза правильно вызвали "tools" из сотни. Иду в отпуск на следующей неделе и немного будет времени.
П.С. Не знаю как с Виндоус, но на Линукс. А конкретно NixOS у меня получилось запускать модели и на vRAM и RAM, когда модель не помещается в видео память.
На ЦРУ и на раме 32b модель генерировать ответ будет час
Нужно было назвать не ЛЛМ, многомерная статистическая модель использования слов... У меня шев определяет по наличию интеграции с ЛЛМ хороший инструмент/ платформа или нет)
Хм... Как бы сказать. NFS... Расширение памяти(HDD;SSD) для хостов за счёт других хостов. В контексте docker-compose, NFS оглашается в volume (нужен настроенный серверNFS) . В сварм из коробки точно не работает, можно использовать bind на каталог NFS тогда содержание доступно на других холстах: так работает.
Теперь о user в докер компоуз оглашается user "1000":"1000" ("uid":"gid") либо user : container_user. Чтобы контейнер работал не от рута и при использовании бинд не было проблем с доступом к данным. В контейнере там ид юзера и ид группы 1000 и 1000 и на хосту по умолчанию те самые айдишники... В сценарии использования кластера сварм - унификация пользователей, этот вопрос доступа стоит остро. Наверно половина образов которые запускал, работали от рута. В своё время намучался с этим...
Использование генеративных нейро сетей - это большая нагрузка на мозг. Фильтровать критически тонну информации/опровергать/тестировать... То ещё удовольствие.
Я использую в учебных/рабочих целях.
Плюс ещё могу из минусов написать что при изучении, очень часто белые пятна в изучении технологии. Ты о них знаешь, но никак времени не находишь. Постоянно в процессе.
За год использования, ну... Больше 1000 (импортировал в obsydian, а далее агентами редактируются, связываются и формируются "дев-стори") чатов о Django, Odoo, Pyton, NixOS, Docker, Docker-swarm, Docker-compose, сеть,ансибл, и хрен пойми что ещё...
Высшее в 12 году закончил - "инженер системотехник" - ИТ, но после то електриком был з доступом до 10 кВт, строителем, фирма своя была из 3 человек - телефоны ремонтировали. Ещё 6 специальностей которые с ИТ не связаны. Это я к чему - во первых после вуза. В те года не особо и брали всех. За 10 лет сколько всего - что угнаться просто нереально.
Нескажу что даже мидл SRE, front-end, back-end. Пойти могу как Пайтон Разграб на фронт-енд или бек-енд. Девопс тоже вариант вполне реальный. Вопрос - возьмут ли ))) это не знаю, в ИТ неспокойное время).
Я не думаю что нейро сети делают нас глупее. Это инструмент, а не один мозг на двух. Инструмент не больше ни меньше. Молотком тоже можно отбить себе пальцы и остаться калекой.)
Понимаеш - за все время в десктопе это 2.75-5.3%, но ситуация с серверами совсем иная 95% это дистрибутивы Линукс. В разработке ПО для бизнеса SaaS и чего-то около серверного - чем будешь пользоваться?
Могу так пример дать, купил микроскоп. Дрова на CD. Я когда это увидел - я впал в ступор. У меня нет этой древности уже как лет 10 ни на одной моей машине. Дрова оказались на каком-то китайском сайте. Тогда я снёс на последней машине виндовс. Тогда были и юбунту и вин7 и вин10 и на работе вин11. Сейчас везде NixOS. 4 ноута 3 ПК
На Линукс одной командой передаешь из юсб на меада плеер картинку. без дров без ничего. Я вот тут подумал что можна и в systemd сервис прописать и на ярлик забиндить можно. Хм.. нада попробовать
2007 год, Linux Mandriva, первая ОС, Линукс первый раз в глаза видел. Все работало "out of the box". А поставил её тогда из того что продукт от мелкософт. Был заражон каким-то сифилисом, который в универе подцепил. А новомгодная виста... Реинстал не помогал. А сейчас я гордый пользователь NixOS. В Линукс все отлично но это болото зависимостей - это просто ад. Nic этим не страдает)
Когда заметок стало больше 100 - нашел obsidian, и забыл о кошмаре onenote. Сейчас заметок 1400+. Сейчас пользуюсь и obsidian, и vscode для ликования подобных заметок.
RooCode протестируй с динамической подменой контенту за счет смен мода. Там 4 из коробки и свои можно создавать, и только тссс он сам можете на ходу создавать если прописать. И инструкции пишет, и следует кое как ...
Подход хорош... Может не так я это использую - да не могу сказать что промпт-инженер я 80 уровня(термин как на меня выжат из пальца)... Но. Использование Греческих символов - єто оказалось отличным трюком. Комбинуруя LangChain и system_prompt на модели liquid/lfm2-1.2b. Модель сама по себе хороша - хорошо следует инструкциям на достаточном уровне... Но имела проблемы...
---Нужно идти - поэтому минимум информации---
Использование их как маркеров - так как модели мало обучены на этих символах и соответсвенно мало статистики где-то там в весах - так мне кажется. Я только 2 часа эксперементирую но результат гораз лучше гораздо предсказуем даже на температуре 0.9.
Классная формулировка, запомню на будущее) Я всегда приводил пример с каменными секирами с понятно какого века, но действительно ваша формулировка мне больше нравится. Разрешите пользоваться?)))
Интересно... Попробу я пожалуй это на модели 1.5b... Не знаю правильно ли уловил суть... Я использовал мермеинд диаграммы для описания последовательностей. Здесь немного о другом но описано интересно.
Я понимаю сто эта стаття под менеджеров сделана, но немогу не согласится, сами пробовали "это" сделать. Мне мой начальник год подсовывал PowerBugAutomate. В итоге у меня целая коллекция этих багов и нервный тик от мелкософта с их автоматизацией.
Хотя сам для себя использую модель 1.5b в связке с n8n + python для тагирования, линкования и паркинга заметок с обсидиана... И всё это на NixOS. Ибо Виндоус маст дай! Эти модели как некоторые называют их AI, я бы их назвал математическо-статистические модели использования слов, на самом нижнем уровне решают поиска пути и задачи классификации. Эти задачи можна дать им без оглядки...
Ну не скажи... Мой интерес к малым обусловлен тем, что давать короткие инструкции, что бы следовало максимально точно. И фундамент это скрипты. Но если ищешь модель 1b с качеством как у 600+ то слишком много ты хочешь от дистелированых моделей.
На Huginface, есть калькулятор. Там можно посмотреть сколько нужно ресурсов для запуска той или иной модели.
Я занимаюсь активно этим вопросом по мере возможности. Модели до 7б работают в связке с roocode и kilocode отвратительно. За все время может 3 раза правильно вызвали "tools" из сотни. Иду в отпуск на следующей неделе и немного будет времени.
П.С. Не знаю как с Виндоус, но на Линукс. А конкретно NixOS у меня получилось запускать модели и на vRAM и RAM, когда модель не помещается в видео память.
На ЦРУ и на раме 32b модель генерировать ответ будет час
Нужно было назвать не ЛЛМ, многомерная статистическая модель использования слов... У меня шев определяет по наличию интеграции с ЛЛМ хороший инструмент/ платформа или нет)
Хм... Как бы сказать. NFS... Расширение памяти(HDD;SSD) для хостов за счёт других хостов. В контексте docker-compose, NFS оглашается в volume (нужен настроенный серверNFS) . В сварм из коробки точно не работает, можно использовать bind на каталог NFS тогда содержание доступно на других холстах: так работает.
Теперь о user в докер компоуз оглашается user "1000":"1000" ("uid":"gid") либо user : container_user. Чтобы контейнер работал не от рута и при использовании бинд не было проблем с доступом к данным. В контейнере там ид юзера и ид группы 1000 и 1000 и на хосту по умолчанию те самые айдишники... В сценарии использования кластера сварм - унификация пользователей, этот вопрос доступа стоит остро. Наверно половина образов которые запускал, работали от рута. В своё время намучался с этим...
NFS? Коли не ошибаюсь для докер компоуз можно из коробки пользоваться, а для сварма плагин какой-то нужен.
И запуск контейнеров от пользователя, как-то мало об этом.
Хотя и кажется мне что это для следующей статьи))) Спасибо годная статья) Моё почтение и уважение.
Использование генеративных нейро сетей - это большая нагрузка на мозг. Фильтровать критически тонну информации/опровергать/тестировать... То ещё удовольствие.
Я использую в учебных/рабочих целях.
Плюс ещё могу из минусов написать что при изучении, очень часто белые пятна в изучении технологии. Ты о них знаешь, но никак времени не находишь. Постоянно в процессе.
За год использования, ну... Больше 1000 (импортировал в obsydian, а далее агентами редактируются, связываются и формируются "дев-стори") чатов о Django, Odoo, Pyton, NixOS, Docker, Docker-swarm, Docker-compose, сеть,ансибл, и хрен пойми что ещё...
Высшее в 12 году закончил - "инженер системотехник" - ИТ, но после то електриком был з доступом до 10 кВт, строителем, фирма своя была из 3 человек - телефоны ремонтировали. Ещё 6 специальностей которые с ИТ не связаны. Это я к чему - во первых после вуза. В те года не особо и брали всех. За 10 лет сколько всего - что угнаться просто нереально.
Нескажу что даже мидл SRE, front-end, back-end. Пойти могу как Пайтон Разграб на фронт-енд или бек-енд. Девопс тоже вариант вполне реальный. Вопрос - возьмут ли ))) это не знаю, в ИТ неспокойное время).
Я не думаю что нейро сети делают нас глупее. Это инструмент, а не один мозг на двух. Инструмент не больше ни меньше. Молотком тоже можно отбить себе пальцы и остаться калекой.)
NixOS?
Понимаеш - за все время в десктопе это 2.75-5.3%, но ситуация с серверами совсем иная 95% это дистрибутивы Линукс. В разработке ПО для бизнеса SaaS и чего-то около серверного - чем будешь пользоваться?
Могу так пример дать, купил микроскоп. Дрова на CD. Я когда это увидел - я впал в ступор. У меня нет этой древности уже как лет 10 ни на одной моей машине. Дрова оказались на каком-то китайском сайте. Тогда я снёс на последней машине виндовс. Тогда были и юбунту и вин7 и вин10 и на работе вин11. Сейчас везде NixOS. 4 ноута 3 ПК
На Линукс одной командой передаешь из юсб на меада плеер картинку. без дров без ничего. Я вот тут подумал что можна и в systemd сервис прописать и на ярлик забиндить можно. Хм.. нада попробовать
Это называется WSL. Windows subsystem for Linux. Если хоть как-то в ИТ, то это маст хев.
2007 год, Linux Mandriva, первая ОС, Линукс первый раз в глаза видел. Все работало "out of the box". А поставил её тогда из того что продукт от мелкософт. Был заражон каким-то сифилисом, который в универе подцепил. А новомгодная виста... Реинстал не помогал. А сейчас я гордый пользователь NixOS. В Линукс все отлично но это болото зависимостей - это просто ад. Nic этим не страдает)
Когда заметок стало больше 100 - нашел obsidian, и забыл о кошмаре onenote. Сейчас заметок 1400+. Сейчас пользуюсь и obsidian, и vscode для ликования подобных заметок.
RooCode протестируй с динамической подменой контенту за счет смен мода. Там 4 из коробки и свои можно создавать, и только тссс он сам можете на ходу создавать если прописать. И инструкции пишет, и следует кое как ...