Нашёл доку. И более внимательно перечитал readme. https://github.com/DmitrL-dev/AISecurity/tree/main/rlm-toolkit/docs Выглядит мощно, сегодня обязательно попробую. Если жор токенов и правда можно победить таким образом, а качество при этом не сильно падает, то это конечно epicwin, и тот же opencode можно будет "выкидывать".
Что-то доки у вас по ссылке нет. По этому спрошу здесь:
Имеется только python интерфейс? Чего-то более повседневного типа cli или vscode расширения не предвидится?
Можно ли на инпут подать директорию, чтобы он её проиндексировал, и работал в контексте "проекта"?
Какой скоуп задач потенциально можно решить с помощью вашей библиотеки? Она про обработку одного документа в упряжке в виде python или это полноценная агентная система, которая может гулять по файловой системе и выполнять различные действия?
Есть ли аналог copilot-instructions.md чтобы задавать общий контекст и рекомендации для агента?
P.S. Если будете использовать OpenRouter будтье внимательны к каким моделям даёте доступ, чтобы там случайно не оказался какой-нибудь gpt-o1-pro который за пару чатов высасывает около сотни баксов...
Там можно и так и так. Весь набор моделей по дефолту приватный, и доступен только админам. Далее можно выбрать интересующие вас модели (как правило от основных провайдеров - openai, gemini, claude, grok, deepseek, perplexity). Так же можно туда подгрузить "быза знаний" если у вас есть какая-то специфика (дока по проектам, дизайн-доки, стилистические гайдлайны и т.п.).
Этого набора уже хватит для абсолютного большинства пользователей. Но если есть энтузиасты, они могут себе на основе доступных им моделей (которые выдал админ) делать персонализованные версии (с кастомным системным промптом, и наборами знаний).
В общем толковая штука, обязательно попробуйте, благо это очень просто и есть много вариантов как его установить (docker, venv, sqlite/postgres, нативно рабоатет на win/mac/linux).
Уже более года развернуто для 20+ человек полёт нормальный. Это пожалуй лучшее решение из доступных на сегодня, особенно с провайдерами типа openrouter, которые кучу моделей предоставляют через одно Api, выходит сильно дешевле (в разы) и удобнее чем платить за отдельные подписки для всех сотрудников.
Самой главной фичей данного софта является то, что у тебя все модели в одном месте. И ты можешь выбирать что тебе сейчас важнее - скорость ответа, или качественность размышлений. Такого экспириенса не даёт ни один "моно провайдер".
Ещё в нём есть фича с каналами, это групповые чаты как в discord, их можно использовать для обсуждения проектов подключая разные модели к обсуждению.
Недавно в openwebui добавили группы для более удобного управления доступами, так что в этом плане все работает отлично.
Так же в нём есть sso, если у вас всё по взрослому.
Короче говоря пушка гонка, лучше которой ни чего нет, если нужен selfhosted, и сразу на много пользователей.
У винды и правда коробочный звук по BT абсолютно мусорный. Даже когда наушники поддерживают более крутые кодеки она выбирает SBC, и настрить это ни как нельзя. Благо есть такая штука как Alternative A2DP Driver, да, он стоит денег, но за то даёт тебе полный контроль над тем что и как ты слышишь.
И правда, совсем распоясались уже! А если по сути, классная тема на самом деле, так как показывает что для диффузных моделей кол-во измерений не проблема. Вопрос только в обучающий выборке, и в том может ли эта модель создавать что-то помимо одного дженеиичного домика как в этой демке. Ну и как оно скейлится на большие объемы, кубически по сложности, или там какие-то хаки применены. Эх, ушла эпоха...
Посмотрите в сторону SpaceTime DB в качестве бекенда, сэкономит вам кучу времени, и повысит вероятность того что не утонете в разработке собственного реалтаймового сервера.
Я вроде как про качество источника спросил а не про Китай. Вы когда подобные сомнительные изображения вставляете в свой материал, вы проверяете их достоверность? Или просто доверяете авторитетности источника?
А какие-то более авторитетные источники помимо ньюсвик имеются? Они только картинки с иероглифами у себя разместили, и "ууу какой плохой и страшный китай и рф" по всему тексту, а ссылок на патент, или его номер, ни чего нет. Я тоже могу прикольных картинок нарисовать.
С приходом llm'ок я решил что буду общаться с ними только на английском, и как можно больше рутинных задач решать через них. За пол года уровень письма и легкость чтения улетела в небеса. По этому да, всеми руками подтверждаю, что регулярность повышает погруженность, а она в свою очередь, эффективность обучения.
Сколько по времени и деньгам уходит на создание сета скажем из 10 изображений? В целом это можно все и локально провернуть при наличии мощной видеокарты. Но ваш вариант конечно удобнее будет для большинства и проще чем тот же comfyui и локальное обучение лоры.
Имхо. Как и все поделки на расте, эта выглядит так же шапкозакидательно как и всё остальное "написаное на раст btw". На мой взгляд у tauri слишком много минусов чтобы делать на нём сколь нибудь серьёзный проект.
Отсутствие гарантии наличия web view на компе у конечного пользователя
Отсутствие гарантии что через пару лет сам microsoft не решит выпилить webview из дефолтной поставки, или что будет продолжать его обновлять
Зоопарк браузерных движков на разных платформах, с разным подмножеством поддерживаемых фичь
Rust. Я уж лучше буду на плюсах писать чем на этом творении великого сумрачного гения. Сколько там людей на рынке, кто согласиться писать на расте нативные расширения не связанные с криптой, и прочим модным молодёжным?
Короче говоря, если это не пет проект, и жизненный цикл продукта больше чем 5 лет, electron будет сильно лучше и надёжнее. Плюс ко всему старые билды будут запускаться, и что самое главное работать, вне зависимости от того что там снаружи.
Было бы здорово в начале статьи привести пару примеров, где собственно эти собственные числа и векторы применяются. В чем их практический смысл. Чтобы у человека в первый раз их встречающего сформировалась более плотная ассоциация, и ему было проще вспомнить про вашу статью. В остальном, спасибо за материал.
Причина тряски сеньор помидор? А если серьёзно, вот вы как опытный, взрослый и критически мыслящий человек, хорошо разбирающийся в своей предметной области, почему не можете различить маркетинг и реальность? Понятно ведь что ни какое это не ии, а просто цветастый буклетик с обещаниями. И problem solving'ом там даже не пахнет. А все кто только сегодня приходит в профессию, так же неизбежно пройдут все те же самые когнитивные трудности усвоения профессии, прежде чем станут профессионалами. Единственное отличие будет лишь в том, что им будет проще чем нам с вами, потому что у них теперь есть более крутые инструменты.
Zig Roadmap 2024, первоисточник так сказать, тут интересный сегмент начинается на 4:00 и заканчивается в районе 20:00.
Вы не подумайте, я не спора ради, а скорее про то что изначальная причина в моём понимании немного другая.
Про последнее где LLVM's lack of ability to optimize them. Да, очевидно что проблемы с LLVM есть, и вероятно далеко не последние. Просто масштаб этих проблем не сопоставим. Да llvm не умеет чего-то делать так как им нужно. Но написать адаптер, который будет транспайлить код на Zig в тот же C, и затем скомпилировать это с помощью того же LLVM всё ещё сильно проще чем писать что-то своё. Опять таки, речь и в стриме и в релиз ноутах идёт именно про Debug сборки, для десктопов.
По вашей же ссылке чуть ниже написано:
These problems are surmountable, but it will take time.
В общем причины для отказа есть, но я готов поставить все $7 на то что они от него не откажутся, пока LLVM будет актуален в других местах и будет развиваться.
В остальном держу кулачки за Zig, классная штука. Пусть я на нём и не пишу но тулчейн для своих поделок на С++ использую. Спасибо что занимаетесь популяризацией данного проекта в рунете!
Про собственный компилятор Эндрю говорил на одном из последних стримов немного в другом ключе. Они собираются его выкатить для того чтобы ускорить дебажные сборкии, чтобы начать быстрее разгребать беклог, который растет сильно быстрее чем они могут с ним справиться. Одной из главных причин он называл медленную итерацию из-за скорости llvm при сборке промежуточных билдов. Собственный компилятор должен дать супер быструю сборку в debug режиме, на одной десктопной платформе, не более того. А отказываться от llvm совсем, они точно не собираются, поскольку для сборки тех же релизных билдов, да еще и под пару десятков железных архитектур они точно никогда такой компилятор не осилят. Так же терять interop с С/C++, который прям киллер фича, тоже такая себе затея.
Не рассказал, потому что текущий вариант реализации плохо применим на практике.
TensorRT штука интересная, потому что позволяет в 2+ раз ускорять генерацию изображений. Как Proof of Concept норм, но у неё слишком много минусов чтобы рекомендовать её:
Для каждого чекпоинта приходится создавать отдельную модель которая занимает 1гб+
Модели-ускорители создаются под конкретное разрешение
Не работают Lora. А чтобы заработали их нужно смерджить с чекпоинтом, что долго, не удобно, занимент много места. А учитывая то что Lora часто не одна, и хочется покрутить её вес в промпте, это прям совсем для любителей.
Довольно проблематично установить
В текущей реализации оно подходит разве что для чат-ботов, которые аватарки генерят, где пайплайн максимально фиксирован, а машинное время дорогое. Для ручной генерации изображений, да и тем более новичкам, оно точно не нужно.
Нашёл доку. И более внимательно перечитал readme.
https://github.com/DmitrL-dev/AISecurity/tree/main/rlm-toolkit/docs
Выглядит мощно, сегодня обязательно попробую. Если жор токенов и правда можно победить таким образом, а качество при этом не сильно падает, то это конечно epicwin, и тот же opencode можно будет "выкидывать".
Что-то доки у вас по ссылке нет. По этому спрошу здесь:
Имеется только python интерфейс? Чего-то более повседневного типа cli или vscode расширения не предвидится?
Можно ли на инпут подать директорию, чтобы он её проиндексировал, и работал в контексте "проекта"?
Какой скоуп задач потенциально можно решить с помощью вашей библиотеки? Она про обработку одного документа в упряжке в виде python или это полноценная агентная система, которая может гулять по файловой системе и выполнять различные действия?
Есть ли аналог copilot-instructions.md чтобы задавать общий контекст и рекомендации для агента?
P.S. Если будете использовать OpenRouter будтье внимательны к каким моделям даёте доступ, чтобы там случайно не оказался какой-нибудь gpt-o1-pro который за пару чатов высасывает около сотни баксов...
Там можно и так и так. Весь набор моделей по дефолту приватный, и доступен только админам. Далее можно выбрать интересующие вас модели (как правило от основных провайдеров - openai, gemini, claude, grok, deepseek, perplexity). Так же можно туда подгрузить "быза знаний" если у вас есть какая-то специфика (дока по проектам, дизайн-доки, стилистические гайдлайны и т.п.).
Этого набора уже хватит для абсолютного большинства пользователей. Но если есть энтузиасты, они могут себе на основе доступных им моделей (которые выдал админ) делать персонализованные версии (с кастомным системным промптом, и наборами знаний).
В общем толковая штука, обязательно попробуйте, благо это очень просто и есть много вариантов как его установить (docker, venv, sqlite/postgres, нативно рабоатет на win/mac/linux).
Уже более года развернуто для 20+ человек полёт нормальный. Это пожалуй лучшее решение из доступных на сегодня, особенно с провайдерами типа openrouter, которые кучу моделей предоставляют через одно Api, выходит сильно дешевле (в разы) и удобнее чем платить за отдельные подписки для всех сотрудников.
Самой главной фичей данного софта является то, что у тебя все модели в одном месте. И ты можешь выбирать что тебе сейчас важнее - скорость ответа, или качественность размышлений. Такого экспириенса не даёт ни один "моно провайдер".
Ещё в нём есть фича с каналами, это групповые чаты как в discord, их можно использовать для обсуждения проектов подключая разные модели к обсуждению.
Недавно в openwebui добавили группы для более удобного управления доступами, так что в этом плане все работает отлично.
Так же в нём есть sso, если у вас всё по взрослому.
Короче говоря пушка гонка, лучше которой ни чего нет, если нужен selfhosted, и сразу на много пользователей.
У винды и правда коробочный звук по BT абсолютно мусорный. Даже когда наушники поддерживают более крутые кодеки она выбирает SBC, и настрить это ни как нельзя. Благо есть такая штука как Alternative A2DP Driver, да, он стоит денег, но за то даёт тебе полный контроль над тем что и как ты слышишь.
Тогда на помощь приходит скриптинг...
Что интересно могло бы быть аналогом в мире LLM'ок?
И правда, совсем распоясались уже!
А если по сути, классная тема на самом деле, так как показывает что для диффузных моделей кол-во измерений не проблема. Вопрос только в обучающий выборке, и в том может ли эта модель создавать что-то помимо одного дженеиичного домика как в этой демке. Ну и как оно скейлится на большие объемы, кубически по сложности, или там какие-то хаки применены.
Эх, ушла эпоха...
Посмотрите в сторону SpaceTime DB в качестве бекенда, сэкономит вам кучу времени, и повысит вероятность того что не утонете в разработке собственного реалтаймового сервера.
Я вроде как про качество источника спросил а не про Китай. Вы когда подобные сомнительные изображения вставляете в свой материал, вы проверяете их достоверность? Или просто доверяете авторитетности источника?
А какие-то более авторитетные источники помимо ньюсвик имеются? Они только картинки с иероглифами у себя разместили, и "ууу какой плохой и страшный китай и рф" по всему тексту, а ссылок на патент, или его номер, ни чего нет. Я тоже могу прикольных картинок нарисовать.
С приходом llm'ок я решил что буду общаться с ними только на английском, и как можно больше рутинных задач решать через них. За пол года уровень письма и легкость чтения улетела в небеса. По этому да, всеми руками подтверждаю, что регулярность повышает погруженность, а она в свою очередь, эффективность обучения.
Сколько по времени и деньгам уходит на создание сета скажем из 10 изображений?
В целом это можно все и локально провернуть при наличии мощной видеокарты. Но ваш вариант конечно удобнее будет для большинства и проще чем тот же comfyui и локальное обучение лоры.
Имхо. Как и все поделки на расте, эта выглядит так же шапкозакидательно как и всё остальное "написаное на раст btw". На мой взгляд у tauri слишком много минусов чтобы делать на нём сколь нибудь серьёзный проект.
Отсутствие гарантии наличия web view на компе у конечного пользователя
Отсутствие гарантии что через пару лет сам microsoft не решит выпилить webview из дефолтной поставки, или что будет продолжать его обновлять
Зоопарк браузерных движков на разных платформах, с разным подмножеством поддерживаемых фичь
Rust. Я уж лучше буду на плюсах писать чем на этом творении великого сумрачного гения. Сколько там людей на рынке, кто согласиться писать на расте нативные расширения не связанные с криптой, и прочим модным молодёжным?
Короче говоря, если это не пет проект, и жизненный цикл продукта больше чем 5 лет, electron будет сильно лучше и надёжнее. Плюс ко всему старые билды будут запускаться, и что самое главное работать, вне зависимости от того что там снаружи.
Было бы здорово в начале статьи привести пару примеров, где собственно эти собственные числа и векторы применяются. В чем их практический смысл. Чтобы у человека в первый раз их встречающего сформировалась более плотная ассоциация, и ему было проще вспомнить про вашу статью. В остальном, спасибо за материал.
А что за софт у вас на скринах? Это кастом, или что-то с github'a?
Если не затруднит, дайте пожалуйста пару ссылок, на попробовать / изучения темы
Причина тряски сеньор помидор?
А если серьёзно, вот вы как опытный, взрослый и критически мыслящий человек, хорошо разбирающийся в своей предметной области, почему не можете различить маркетинг и реальность? Понятно ведь что ни какое это не ии, а просто цветастый буклетик с обещаниями. И problem solving'ом там даже не пахнет. А все кто только сегодня приходит в профессию, так же неизбежно пройдут все те же самые когнитивные трудности усвоения профессии, прежде чем станут профессионалами. Единственное отличие будет лишь в том, что им будет проще чем нам с вами, потому что у них теперь есть более крутые инструменты.
Zig Roadmap 2024, первоисточник так сказать, тут интересный сегмент начинается на 4:00 и заканчивается в районе 20:00.
Вы не подумайте, я не спора ради, а скорее про то что изначальная причина в моём понимании немного другая.
Про последнее где
LLVM's lack of ability to optimize them. Да, очевидно что проблемы с LLVM есть, и вероятно далеко не последние. Просто масштаб этих проблем не сопоставим. Да llvm не умеет чего-то делать так как им нужно. Но написать адаптер, который будет транспайлить код на Zig в тот же C, и затем скомпилировать это с помощью того же LLVM всё ещё сильно проще чем писать что-то своё. Опять таки, речь и в стриме и в релиз ноутах идёт именно про Debug сборки, для десктопов.По вашей же ссылке чуть ниже написано:
В общем причины для отказа есть, но я готов поставить все $7 на то что они от него не откажутся, пока LLVM будет актуален в других местах и будет развиваться.
В остальном держу кулачки за Zig, классная штука. Пусть я на нём и не пишу но тулчейн для своих поделок на С++ использую. Спасибо что занимаетесь популяризацией данного проекта в рунете!
Про собственный компилятор Эндрю говорил на одном из последних стримов немного в другом ключе. Они собираются его выкатить для того чтобы ускорить дебажные сборкии, чтобы начать быстрее разгребать беклог, который растет сильно быстрее чем они могут с ним справиться. Одной из главных причин он называл медленную итерацию из-за скорости llvm при сборке промежуточных билдов. Собственный компилятор должен дать супер быструю сборку в debug режиме, на одной десктопной платформе, не более того. А отказываться от llvm совсем, они точно не собираются, поскольку для сборки тех же релизных билдов, да еще и под пару десятков железных архитектур они точно никогда такой компилятор не осилят. Так же терять interop с С/C++, который прям киллер фича, тоже такая себе затея.
Не рассказал, потому что текущий вариант реализации плохо применим на практике.
TensorRT штука интересная, потому что позволяет в 2+ раз ускорять генерацию изображений. Как Proof of Concept норм, но у неё слишком много минусов чтобы рекомендовать её:
Для каждого чекпоинта приходится создавать отдельную модель которая занимает 1гб+
Модели-ускорители создаются под конкретное разрешение
Не работают Lora. А чтобы заработали их нужно смерджить с чекпоинтом, что долго, не удобно, занимент много места. А учитывая то что Lora часто не одна, и хочется покрутить её вес в промпте, это прям совсем для любителей.
Довольно проблематично установить
В текущей реализации оно подходит разве что для чат-ботов, которые аватарки генерят, где пайплайн максимально фиксирован, а машинное время дорогое. Для ручной генерации изображений, да и тем более новичкам, оно точно не нужно.