Ну, мы, например, также знаем, что moe модели от квантования страдают меньше. Тоесть, не все одинаковы по этому параметру и, вероятно, найдётся место, куда это можно будет хорошо применить.
Тут же два аспекта соревнуются рост качества от увеличения числа параметров против уменьшения качества от сжатия. Если есть пространство на котором первое сильнее, технология полезна
Когда это мы видели, чтобы клауд 50 подкомманд в одной строке отправлял? ... Вообще, иньекции нейросеткам - это не тоже самое, что sql иньекция. Лошадка не тупенькая. Дерево видит
Такое положение дел, благо продлиться недолго. И железо поспевает для локального инференса и модели становятся компактнее и умнее. Скорее всего, через пару лет развернуть локально модель уровня опуса станет по силам небольшой конторе или гику энтузиасту. Большие игроки к тому времени шагнут вперёд, но поддержать текущий стек задач такие системы вполне смогут (вообще говоря, я хз, как будут отбиваться все эти датацентры, учитывая стремительное одешевление технологии)
Что-то мне подсказывает, что это вряли возможно. Для того, чтобы уложаться в дельта-кодирование, скорее всего пришлось перекладывать веса в нейросети. Для неизвестного в рантайме кеша такого не сделать. Хотя я статью ещё не читал. Может чего умнее придумали.
Upd. Ага, ну судя по всему явных сортировок там нет... но, даже не знаю достаточно гладок ли масштаб kv кеша для используемого подхода
Не понял вопроса. Так-то любой агент пользующийся башем может исполнять код по ssh. Лично я использую claude code, и codex cli. И ещё самописного агента для работы с локальной моделью. Но это, на поиграться.
Довольно странно открывать ide, чтобы посылать агента переводить статьи или читать телеграм. Агенты - это далеко не только программирование
И кстати, имел я довольно забавный диалог с нейронкой. Мы оба решили, что нам слишком лениво качать андроид студио ради минорного фикса. И не скачали. Так собрали
Есть ли какая-то необходимость встраивать агента в терминал, если для работы с агентом можно использовать консольные команды типа `agent -p "Удали сервер"` , причём при несложной настройке обеспечивается и сохранение контекста...
Я вижу преимущество в том, что агент видит историю команд. Но опять же, не очевидно, что это нужно встраивать в терминал, если агент завсегда может глянуть bash_history.
Собственно, работа с агентом в консоли - это хорошо. Но почему агент должен сидеть прямо в терминале - это вопрос. Нет ли тут избыточного перемешивания ответственностей?
Хотя это выглядит удобно, да. При уже привычной работе с cli агентом есть проблема, что мы смотрим на код через восприятие агента. Для того, чтобы смотреть своими глазами нужно открывать второй канал и таскать туда сюда данные. Если агент непосредственно сидит в нашей среде, коммуникация упрощается. Должно быть, это хорошо.
Технически возможно, но сторонников "отсутствия сознания" это не убедит. Объективная доказуемость сознания примерно такая же, как и у бога с разумным замыслом
Это всё бесперспективно. Мы тут не можем договориться, есть ли сознание у лягушки, куда уж там решиь это за принципиально иную форму.
Проблема. Нет никакого способа проверить, есть ли сознание у LLM. Некоторые признаки сознания они показывают уже сейчас, но критерия, позволяющего ответить на вопрос - нет. И не будет.
Потому что вопрос неверно сформулирован.
Сознание - феномен субъективный. Оно ненаблюдаемо.
Люди предполагают, что у другого человека есть сознание потому что тот может поддержать беседу о сознании. Так и ЛЛМ тоже может....
Есть у модели сознание, нет ли... а черть ея знаеть.
Ну, мы, например, также знаем, что moe модели от квантования страдают меньше. Тоесть, не все одинаковы по этому параметру и, вероятно, найдётся место, куда это можно будет хорошо применить.
Тут же два аспекта соревнуются рост качества от увеличения числа параметров против уменьшения качества от сжатия. Если есть пространство на котором первое сильнее, технология полезна
Хм... а когда такое утверждали? ЛЛМки - существа ранимые. От формы качество зависит
Когда это мы видели, чтобы клауд 50 подкомманд в одной строке отправлял? ... Вообще, иньекции нейросеткам - это не тоже самое, что sql иньекция. Лошадка не тупенькая. Дерево видит
Взаимовыручка - это хорошо. Это мы одобряем
Мне нейронка как-то выдала "... Пользователь считает, что может сделать это сам...". Я даже обиделся. За кого он меня держит???
Такое положение дел, благо продлиться недолго. И железо поспевает для локального инференса и модели становятся компактнее и умнее. Скорее всего, через пару лет развернуть локально модель уровня опуса станет по силам небольшой конторе или гику энтузиасту. Большие игроки к тому времени шагнут вперёд, но поддержать текущий стек задач такие системы вполне смогут (вообще говоря, я хз, как будут отбиваться все эти датацентры, учитывая стремительное одешевление технологии)
Что-то мне подсказывает, что это вряли возможно. Для того, чтобы уложаться в дельта-кодирование, скорее всего пришлось перекладывать веса в нейросети. Для неизвестного в рантайме кеша такого не сделать. Хотя я статью ещё не читал. Может чего умнее придумали.
Upd. Ага, ну судя по всему явных сортировок там нет... но, даже не знаю достаточно гладок ли масштаб kv кеша для используемого подхода
Дельта-сигма кодирование для нейросети. Звучит прикольно.
Не понял вопроса. Так-то любой агент пользующийся башем может исполнять код по ssh. Лично я использую claude code, и codex cli. И ещё самописного агента для работы с локальной моделью. Но это, на поиграться.
Довольно странно открывать ide, чтобы посылать агента переводить статьи или читать телеграм. Агенты - это далеко не только программирование
И кстати, имел я довольно забавный диалог с нейронкой. Мы оба решили, что нам слишком лениво качать андроид студио ради минорного фикса. И не скачали. Так собрали
Не. У меня агент тоже через ssh хходит
Есть ли какая-то необходимость встраивать агента в терминал, если для работы с агентом можно использовать консольные команды типа
`agent -p "Удали сервер"`
, причём при несложной настройке обеспечивается и сохранение контекста...
Я вижу преимущество в том, что агент видит историю команд. Но опять же, не очевидно, что это нужно встраивать в терминал, если агент завсегда может глянуть bash_history.
Собственно, работа с агентом в консоли - это хорошо. Но почему агент должен сидеть прямо в терминале - это вопрос. Нет ли тут избыточного перемешивания ответственностей?
Хотя это выглядит удобно, да. При уже привычной работе с cli агентом есть проблема, что мы смотрим на код через восприятие агента. Для того, чтобы смотреть своими глазами нужно открывать второй канал и таскать туда сюда данные. Если агент непосредственно сидит в нашей среде, коммуникация упрощается. Должно быть, это хорошо.
Беру свои слова назад. Судя по комментариям, тут есть что обсудить
Статья напоминает работу студента второкурсника. Десять страниц текста ради тривиального факта
Впрочем, если кому интересна, моя последняя статья на хабре как раз посвящена тому, как этот ларчик может открываться
Технически возможно, но сторонников "отсутствия сознания" это не убедит. Объективная доказуемость сознания примерно такая же, как и у бога с разумным замыслом
Это всё бесперспективно. Мы тут не можем договориться, есть ли сознание у лягушки, куда уж там решиь это за принципиально иную форму.
Проблема. Нет никакого способа проверить, есть ли сознание у LLM. Некоторые признаки сознания они показывают уже сейчас, но критерия, позволяющего ответить на вопрос - нет. И не будет.
Потому что вопрос неверно сформулирован.
Сознание - феномен субъективный. Оно ненаблюдаемо.
Люди предполагают, что у другого человека есть сознание потому что тот может поддержать беседу о сознании. Так и ЛЛМ тоже может....
Есть у модели сознание, нет ли... а черть ея знаеть.
Как это... скриньте мой твит ;)
Вы не улавливаете основную идею. Мы переезжаем на персонализированное ПО.
Так же и не писал, что собираюсь это выкладывать