Так оно ж даже не компилируется. При том что CI там настроен, но последних 4 дня все проверки фейлятся. Даже при том, что последний (на данный момент) называется "resolve browser binary compilation errors", оно нифига не компилируется.
Ну в принципе современный DSD приблизительно так и работает. Только там - частота ШИМ - несколько МГц и фильтр на выходе, естественно. Но да, те давние процессоры и чипсеты с таким конечно же не справились бы.
Не могу представить как коррекция промтов тут поможет. Единственное что может реально сработать - это выставление температуры в 0, чтобы исключить любую случайную составляющую. Ну и привязка к одной конкретной модели навсегда. Ну и хочу напомнить что исполнение любой модели либо очень медленное (если делать это локально), либо дорого, если платить условному OpenAI. Это сейчас OpenAI работает в убыток, даже по подписке. Но вечно продолжаться так не может...
Что бы вы сделали с компилятором, который при каждом запуске генерирует разный код? При чем "разный", не в смысле оптимизаций, которые сохраняют инвариант, а "разный" в том смысле, что видимое поведение кода будет разным. Я бы такой компилятор выбросил в мусорку.
Никогда такого не было и вот опять. Зачем было придумывать весь этот блокчейн если даже его пользователи все равно порываются хранить деньги на каких-то счетах, которые они не контролируют?
Потому что "свобода слова" - это когда государство вас не будет преследовать за ваши слова. Но это не значит что корпрации (или частные лица) обязаны предоставлять вам площадку для выражения этого слова.
Ага. Напоминает проблему топологической сортировки в параметрических CAD. Грубо говоря, если добавить/удалить грань где-то в середине истории, CAD потом не всегда может понять к каким элементам применялись последующие операции, потому что множество вершин изменилось.
Тут будет что-то похожее. Цикл, в который добавили новое условие - это новый блок кода? Должен ли у него быть новый идентификатор? А если потом убрать из него кусок кода? Рано или поздно возникнет своеобразный корабль Тесея: в блоке ничего не осталось от оригинала, но идентификатор все тот же. А если назначить новые идентификатор - то как делать дифф между двумя деревьями где все идентификаторы разные?
Нейросеть создали для того, чтобы она выдавала эффективный результат
Эту которую? LLM умеют только одно: предсказывать следующий токен. На прикладном уровне это выглядит как генерация правдоподобных текстов. Иногда - настолько правдоподобных, что они даже имеют отношение к реальности. Но это - не более чем совпадение.
Вот, кстати, спорное утверждение. Пытаюсь писать на Rust, иногда возникают вопросы, но поиск никогда не приводит на SO. Чаще на официальную документацию, официальный учебник, пару раз - даже на их собственный issue tracker на гитхабе. Но ни разу не получал ссылки на stack overflow.
Не совсем ясно, насколько такой подход лучше уже существующего, когда мы передаем коннектору строку с плейсхолдерами типа % и значения, а он их сам экранирует и заменяет.
Не надо вводить людей в заблуждение. Все нормальные движки БД давно поддерживают параметры. Поэтому значения в параметризированный запрос не подставляются никогда. Опять же, парсеру запросов проще один раз распарсить, оптимизировать и закешировать `select * from users where name = $1` чем парсить тысячи разных запросов, которые отличаются только параметром. Я уж не говорю о том что это исключает SQL injection полностью и навсегда.
Ну предвычисление они скорее действительно делают. Другое дело, что это токены все равно занимают контекст. Грубо говоря, если сеть тренировали с размером контекста 48000 токенов, то это промт займет половину, как не крути. Предвидя следующий вопрос - нет технического ограничение на размер контекста во время inference, но обычно модели начинают дико галюнинировать когда контекст разрастается за пределы того размера, который использовали при обучении.
На Hugginface этих LLM дофига. Качаешь, запускаешь, делаешь что дуже угодно. Хочешь - обсуждай как бомбы делать, хочешь - виртуальным сексом занимайся, хочешь - пиши расистские стихи в стиле Вергилия, хочешь - просто локально код генерируй. Можно даже без видеокарты (правда будет медленно и печально).
Попробуйте помейнтейнить любой более-менее популярный проект и начнете выражаться не хуже. Народ любит тащить в мейнлайн кучу хери, которая решает какую-то их конкретную задачу и не смотрит на то какие проблемы это создает другим.
Так оно ж даже не компилируется. При том что CI там настроен, но последних 4 дня все проверки фейлятся. Даже при том, что последний (на данный момент) называется "resolve browser binary compilation errors", оно нифига не компилируется.
Ага, а еще нужно очень внимательно читать спецификации и думать про самые неожиданные корнер кейсы.
Ну в принципе современный DSD приблизительно так и работает. Только там - частота ШИМ - несколько МГц и фильтр на выходе, естественно. Но да, те давние процессоры и чипсеты с таким конечно же не справились бы.
Не могу представить как коррекция промтов тут поможет. Единственное что может реально сработать - это выставление температуры в 0, чтобы исключить любую случайную составляющую. Ну и привязка к одной конкретной модели навсегда. Ну и хочу напомнить что исполнение любой модели либо очень медленное (если делать это локально), либо дорого, если платить условному OpenAI. Это сейчас OpenAI работает в убыток, даже по подписке. Но вечно продолжаться так не может...
Что бы вы сделали с компилятором, который при каждом запуске генерирует разный код? При чем "разный", не в смысле оптимизаций, которые сохраняют инвариант, а "разный" в том смысле, что видимое поведение кода будет разным. Я бы такой компилятор выбросил в мусорку.
В среду - третий день недели. Все, короче, HL3 confirmed.
Угу. Вы спеку на XML откройте и удивитесь. Вот это, например, вполне себе валидный XML документ:
Никогда такого не было и вот опять. Зачем было придумывать весь этот блокчейн если даже его пользователи все равно порываются хранить деньги на каких-то счетах, которые они не контролируют?
Если бы ассемблер на каждый перезапуск генерировал бы разный машинный код, временами еще и неработающий - я бы с вами согласился, пожалуй.
Если я в Makefile вставлю промпт к чатжпт - какие шансы что сегодняшний и завтрашний билды будуть иметь хоть что-то общее?
Потому что "свобода слова" - это когда государство вас не будет преследовать за ваши слова. Но это не значит что корпрации (или частные лица) обязаны предоставлять вам площадку для выражения этого слова.
Ага. Напоминает проблему топологической сортировки в параметрических CAD. Грубо говоря, если добавить/удалить грань где-то в середине истории, CAD потом не всегда может понять к каким элементам применялись последующие операции, потому что множество вершин изменилось.
Тут будет что-то похожее. Цикл, в который добавили новое условие - это новый блок кода? Должен ли у него быть новый идентификатор? А если потом убрать из него кусок кода? Рано или поздно возникнет своеобразный корабль Тесея: в блоке ничего не осталось от оригинала, но идентификатор все тот же. А если назначить новые идентификатор - то как делать дифф между двумя деревьями где все идентификаторы разные?
Эту которую? LLM умеют только одно: предсказывать следующий токен. На прикладном уровне это выглядит как генерация правдоподобных текстов. Иногда - настолько правдоподобных, что они даже имеют отношение к реальности. Но это - не более чем совпадение.
Вот, кстати, спорное утверждение. Пытаюсь писать на Rust, иногда возникают вопросы, но поиск никогда не приводит на SO. Чаще на официальную документацию, официальный учебник, пару раз - даже на их собственный issue tracker на гитхабе. Но ни разу не получал ссылки на stack overflow.
Ну если вы параметризируете эти части кусками из user input, то у меня для вас плохие новости...
Я понимаю что статья не о том, но
Не надо вводить людей в заблуждение. Все нормальные движки БД давно поддерживают параметры. Поэтому значения в параметризированный запрос не подставляются никогда. Опять же, парсеру запросов проще один раз распарсить, оптимизировать и закешировать `select * from users where name = $1` чем парсить тысячи разных запросов, которые отличаются только параметром. Я уж не говорю о том что это исключает SQL injection полностью и навсегда.
r-строки уже давно есть, кстати. Наверное чуть ли не с первой версии.
Ну предвычисление они скорее действительно делают. Другое дело, что это токены все равно занимают контекст. Грубо говоря, если сеть тренировали с размером контекста 48000 токенов, то это промт займет половину, как не крути. Предвидя следующий вопрос - нет технического ограничение на размер контекста во время inference, но обычно модели начинают дико галюнинировать когда контекст разрастается за пределы того размера, который использовали при обучении.
На Hugginface этих LLM дофига. Качаешь, запускаешь, делаешь что дуже угодно. Хочешь - обсуждай как бомбы делать, хочешь - виртуальным сексом занимайся, хочешь - пиши расистские стихи в стиле Вергилия, хочешь - просто локально код генерируй. Можно даже без видеокарты (правда будет медленно и печально).
Попробуйте помейнтейнить любой более-менее популярный проект и начнете выражаться не хуже. Народ любит тащить в мейнлайн кучу хери, которая решает какую-то их конкретную задачу и не смотрит на то какие проблемы это создает другим.
Ну от инженера я ожидаю что он уточнит почему задача поставлена именно таким образом. И возможно - он предложит лучшее решение.
Кодер - да, должен делать как ему скажут. Правда, толку от кодеров в 21 веке...