Поддерживаю. Образ "мышления" модели человеческий. Предполагаю, ее поиск по оглавлению в один-два уровня будет качественней, чем RAG. Скажем, так - это разные инструменты. В большинстве случаев человек откроет доки по оглавлению, а не ищет по всей базе документов сходу.
И еще мне не понятно стремление использовать RAG в кодовой базе. Проводились какие-то тесты его эффективности?
RAG - это поиск по вектору "смысла". Для обычных текстов эта штука может быть эффективна. Где-то, наверное, вообще незаменима, в какой-нибудь юридической базе документов. Но код - это жестко детерменированный синтаксис. Там не нужен "смысл", он очень хорошо грепается регулярками. А для совсем большой кодовой базы есть другие индексы, заточенные на регулярки. Или заточенные прямо на синтаксис конкретного языка. Зачем тут вектора "смысла"? Тем более, они по чанкам, а "смысл" порезанного кода, это вообще нечто странное...
Возможно, я не прав, это все исключительно рассуждения без практики. Интересно было бы почитать о каких-либо реальных тестированиях на эту тему.
Вообще, все нейронам имеют в параметрах залежалое легаси)
У них с новым может быть проблема, а со старым - нет.
А во вторых - не обязательно все иметь в параметрах. Нейронки вполне успешно работают со свежими либами, которых не было на момент обучения. Да и на новом языке вполне могут.
Да ну какие 128gb, даже дипсику большому под терабайт нужно. Другим - ещё больше. Ну и v100 медленные очень, и многие механики современные не поддерживают. Надо делать сборку на линейке h200 или b200.
В разработке оба варианта не работают. Бесплатные не годятся - очень слабы. А свое железо для нормальной модели... Ну, в полтора ляма зелёных уложиться можно.
Вроде бы очень детальная статья, но не раскрыта очень важная тема. Сплит-тунель по списку адресов НЕ РЕШАЕТ все проблемы.
Дело в том, что зарубежные сайты часто спрашивают инфу об адресе у различных сторонних сервисов скриптом на странице. Поэтому, эти сервисы приходится добавлять в список. А потом заходим на страницу какого-нибудь сраного маркетплейса, и ему ничего не мешает спросить эти же сервисы и сделать выводы (
Аккумулятор лучше сделать на атомных изомерах (не изотопах). Хранить очень просто, как обычные предметы. Но вот как зарядить и вытащить обратно - не придумали пока))
Все верно. Все взаимодействия, что мы видим воокруг нас - электромагнитные. Все предметы, здания, машины, все взаимодействия между ними. Самые сильные удары, взрывы, цунами и все остальное - тоже электромагнитные взаимодействия. Точнее, его крошечная часть.
Например, гору Эверест держит тоже электромагнитное поле :) Иначе она бы упала, схлопнувшись в пластинку каких-то там микронных размеров)) Да и мы сами - электромагнитные фантомы с вкраплением положительно заряженных атомных ядер. По объему мы почти полностью состоим из пустоты с электромагнитным полем :))
Да, расчеты с цифрами в статье не помешали бы, это же хабр :)
Вы используете нейронки? Какая архитектура сети - полносвязная, сверточная, RNN, трансформер?
Самое главное не нашел - какая у него полоса пропускания? Для каких он частот? Время разверток?
Поддерживаю. Образ "мышления" модели человеческий. Предполагаю, ее поиск по оглавлению в один-два уровня будет качественней, чем RAG. Скажем, так - это разные инструменты. В большинстве случаев человек откроет доки по оглавлению, а не ищет по всей базе документов сходу.
И еще мне не понятно стремление использовать RAG в кодовой базе. Проводились какие-то тесты его эффективности?
RAG - это поиск по вектору "смысла". Для обычных текстов эта штука может быть эффективна. Где-то, наверное, вообще незаменима, в какой-нибудь юридической базе документов. Но код - это жестко детерменированный синтаксис. Там не нужен "смысл", он очень хорошо грепается регулярками. А для совсем большой кодовой базы есть другие индексы, заточенные на регулярки. Или заточенные прямо на синтаксис конкретного языка. Зачем тут вектора "смысла"? Тем более, они по чанкам, а "смысл" порезанного кода, это вообще нечто странное...
Возможно, я не прав, это все исключительно рассуждения без практики. Интересно было бы почитать о каких-либо реальных тестированиях на эту тему.
Тысячи - это для совсем простых. Для топовых там миллионы баксов и более. Причем файн-тюнинг всегда ухудшает когнитивные способности модели.
Похоже, у вас проблема с агентом. Он не может получить доступ к документации по либе и/или ее исходникам.
Вообще, все нейронам имеют в параметрах залежалое легаси)
У них с новым может быть проблема, а со старым - нет.
А во вторых - не обязательно все иметь в параметрах. Нейронки вполне успешно работают со свежими либами, которых не было на момент обучения. Да и на новом языке вполне могут.
Да ну какие 128gb, даже дипсику большому под терабайт нужно. Другим - ещё больше. Ну и v100 медленные очень, и многие механики современные не поддерживают. Надо делать сборку на линейке h200 или b200.
Для kimi k3, glm 5 и дипсика должно хватить. А чего-то более мощного в открытом доступе нет.
В разработке оба варианта не работают. Бесплатные не годятся - очень слабы. А свое железо для нормальной модели... Ну, в полтора ляма зелёных уложиться можно.
Плюсую, жду статью про новости, весьма интересно)
Так у него и правда часов нет) Дайте ему часы в MCP, будет смотреть время и говорить вам, если очень хочется :)))
Ну или запустите готового агента, где все есть, а не говорите с голой моделью.
Вроде бы очень детальная статья, но не раскрыта очень важная тема. Сплит-тунель по списку адресов НЕ РЕШАЕТ все проблемы.
Дело в том, что зарубежные сайты часто спрашивают инфу об адресе у различных сторонних сервисов скриптом на странице. Поэтому, эти сервисы приходится добавлять в список. А потом заходим на страницу какого-нибудь сраного маркетплейса, и ему ничего не мешает спросить эти же сервисы и сделать выводы (
Но можно делать скидку при оплате нужным способом)
На этот вопрос давно ответила ICQ и еще пучок месенджеров, еще в 2000х годах :)
Вообще, привязка всего в интернете к телефону - это, скорее, недавнее веяние, ему лет 10. А до этого все прекрасно существовало без номера телефона.
Аккумулятор лучше сделать на атомных изомерах (не изотопах). Хранить очень просто, как обычные предметы. Но вот как зарядить и вытащить обратно - не придумали пока))
Это вряд ли, хранить огромный заряд, пожалуй, посложнее, чем антиматерию :)
Все верно. Все взаимодействия, что мы видим воокруг нас - электромагнитные. Все предметы, здания, машины, все взаимодействия между ними. Самые сильные удары, взрывы, цунами и все остальное - тоже электромагнитные взаимодействия. Точнее, его крошечная часть.
Например, гору Эверест держит тоже электромагнитное поле :) Иначе она бы упала, схлопнувшись в пластинку каких-то там микронных размеров)) Да и мы сами - электромагнитные фантомы с вкраплением положительно заряженных атомных ядер. По объему мы почти полностью состоим из пустоты с электромагнитным полем :))
Да, расчеты с цифрами в статье не помешали бы, это же хабр :)
Лобня, Подмосковье. Прямо на центральной улице Ленина. Две полукабинки в разных местах есть, езжу каждый день мимо них.
У нас в городе - есть)
Правда, не проверял - работает или нет.
Да-да, оно! :)