Для меня главным преимуществом радио была неожиданность. То есть там в любой момент могли поставить какую-то песню, о существовании которой я не просто не знал, но даже и искать такое не планировал. И вот когда от радио я отказался (появился безлимитный интернет и все такое), то я столкнулся с тем, что больше не могу найти что-то интересное-новое. Потому что везде все пытаются мне совать а рекомендациях старое и/или похожее. А неожиданного там нет.
Когда вышла вин10 для вин8 внезапно перестали выпускать обновления драйвера видео от амд. Причем для вин 7 драйвер обновляли, а для 8 - нет. И вот ты хочешь поиграться - а игра проверяет версию драйвера и отказывается даже запускаться.
И гугловский, и яндексовский старый софт давно уже не работает. Гугловский поиск устанавливается, но не индексирует - и, соответственно, бесполезен. А яндексовский даже не устанавливается. При этом вменяемых альтернатив им до сих пор нет. Виндовый поиск по содержимому ищет, но плохо, да и предпросмотра со всеми найденными вхождениями там нет. Остальной софт либо не развивается с 2010го года, либо ищет только по названию файлов.
В базовых настройках софта есть параметр, отвечающий за штраф к повторению слов. Это радикально влияет на работу, так как вынуждает модель вместо одного слова брать какой-то другой синоним. Например, меня задолбала Mistral тем, что считает слова frame и form синонимами слова body. В итоге она постоянно втыкает эти два слова даже там, где это неправильно.
Что-то такое внутри всё же есть. Неоднократно сталкивался с тем, что ллм учитывает вещи из реального мира, даже если прямо ему говорить, что это делать не надо. Например, если генерировать историю и вылечить раненного героя магией - нейронка вам не поверит. Потому что она знает, ч о такую рану нельзя вылечить быстрее какого-то срока. И хоть ты тресни, но нейронка будет упорно считать героя раненым.
Райзены сами понимают, когда охлаждения недостаточно и снижают ток и/или частоты. Вы можете на топовый райзен поставить самый дешманский кулер на 60вт и он будет работать нормально, только медленнее. Да и то - если нагрузка будет кратковременной, то вы даже разницы не увидите в скорости/частотах.
Если модель без режима thinking, то начало ответа зависит от объема текста в исходном вопросе. Чем больше там токенов, тем дольше ждать. На тексте килобайт в 20-30 придётся ждать минут 3-5 прежде чем его прожует + время на загрузку модели а память (желательно грузить с ссд, иначе это займет вечность).
Если в модели режим thinking, то там добавляется время на генерацию раздумий - скорость генерации та же самая, но текста там обычно немало, так что минут 5-10 процесс займет. За ним, в принципе, даже можно наблюдать. Ну а потом оно начнет уже ответ генерировать.
Если надолго софт не оставлять и не менять исходный текст запроса слишком сильно, то повторные генерации ответов или продолжение диалога стартуют почти сразу (опять-таки, если туда портянки текстов не совать).
Я пробую через нейронки тексты на заданный сюжет генерировать. Там самое печальное то, что бОльшая часть моделей умеет только писать продолжение, а не перегенерировать заданный текст. То есть надо еще и правильную модель найти - перебором. Плюс они ещё и с цензурой обычно.
Вторая проблема в том, что качество результата сильно зависит от фазы Луны и погоды на Марсе. То есть, формально, есть температура и другие параметры. Но в реальности наибольший эффект дает параметр seed. Который на каждый ответ по-умолчанию случаен. Его, конечно можно вручную задавать - но тут опять же как лично у вас кубики лягут)
И получается, что при одной генерации у нас фигня какая-то, а при другой - шедевр. Причем сегодня у нас одни шедевры, а завтра кубики всегда исключительно фигню выкидывают.
Бонусом идет то, что стиль и качество текста зависит от исходного текста и уже сгенерированного. И если в текст прокрадется что-то не то, то весь последующий текст будет прям на глазах ухудшаться.
Я генерирую на английском. И вот если в текст попадает amidst, то буквально через десяток абзацев каждое предложение будет содержать это слово.
А в итоге весь реддит в вое писателей, которые пытаются хоть как-то прорваться сквозь повальную цензуру кучи тем. Причем про эти вещи модели в принципе отказываются разговаривать, даже если просишь их текст переформулировать. Даже если это кусок фанткнижки!
В аналогичной позе стоят и все любители текстовых игр - там тоже постоянно о неожиданную цензуру спотыкаются.
Я уж даже не говорю о том, что завтра вы в принципе не сможете узнать о существовании коктейля Молотова - потому это прям на старте будет резать ИИ в поиске. И не искать это вообще.
А так-то да, надо сделать модели безопасными (и у каждого свой список что надо цензурировать).
Но заводы - это все еще мегатонны массы. Возможно, что выйдет даже побольше массы, чем на корабль нужно.. Причем везти эту массу вам придется дальше - вместо относительно близкой земной орбиты. Т.е. те 2-4% выводимой массы еще уменьшатся...
Меня больше всего выбесил робот от OpenAI, который мало того, что напрочь игнорировал лимиты скорости запросов из robots.txt, так они еще и запретили доступ к своей же странице с документацией, куда эти роботы в запросах шлют. При этом сканировать русские сайты им это совершенно не помешало - тут, значит, запретов у них нет...
Угадайте, куда пошли вообще все боты этой компании в итоге?
И ведь она такая далеко не одна - и все эти работы ломятся на сервера так, будто там бесконечные мощности есть, готовые их обслуживать...
С длинными текстами проблема в том, что практически все бесплатные модели начинают глючить уже после 20 тыс токенов. Т.е. именно в режиме генерации текста по заданному сюжету.
Причем задать сразу весь сюжет тоже нельзя - там на выходе практически гарантированно будет не то, что хочется. А при разбивке сюжета на порции - на таком скромном объеме уже глюки...
И даже если отрезать начало - это порождает другую проблему, когда нейронка просто не в курсе что там было в вырезанном куске и не может это учесть при генерации. Краткий пересказ эту проблему тоже не сильно-то решает...
В общем, я бы сказал, что сейчас написать что-то длиннее рассказа или 4-5 глав текста нейронки просто не могут - им размеров контекста прям сильно не хватает.
И все эти вот нейронки где заявлено по 128к контекста и более - это не тот контекст, что нужен при генерации текстов. Они успешно отвечают на вопросы по таким длинным текстам - и это всё преимущество таких нейронок на данный момент.
8ка сильно глючила и могла сломаться просто на ровном месте - причем вообще с концами, невосстановимо. А вот в 8.1 это все отладили и исправили - с момента ее выхода я вообще забыл о том, что ОС может сломаться.
Я последнее время много играюсь с нейронками в попытках заставить их писать большой текст по сюжету. И в итоге очень заметны их внутренние проблемы.
Например, нейронки не понимают время. То есть они знают про его существование и учитывают, что какие-то вещи требуют определенного времени, но если давать в промте что-то не соответствующее привычной реальности - результат "ломается".
Например, если у нас типа фентези и герой получил рану - нейронка точно знает, что рану нельзя вылечить даже за день. И можно сколько угодно писать в промтах, что героя вылечили, что там магия - нейронка все равно будет упорно учитывать эту рану.
Вообще, я бы сказал, что там самая глобальная проблема в том, что нейросеть толком не отличает достоверную информацию от заведомо ложной. То есть это все как-то там учитывается, но, судя по всему, влияют просто различия объемов данных с корректной и ложной информацией при обучении. В итоге нейронка может на ровном месте выдать фигню, потому что где-то глубоко внутри для неё теория плоской земли такая же правда, как и про сферическую.
Это миф. Исследования показывают что вреда от просмотра в темноте - нет.
Во-вторых, у всех разные ситуации и мне, например, просто не нравится сидеть ночью аж с верхним светом (так как обычная настольная лампа не справляется).
Ну и главное - купите что-нибудь новомодное с 4к HDR и будет вам радость: например, динамически меняющийся уровень яркости подсветки поотдельным областям экрана при листании в браузере - это просто офигенно (нет). И там такого рода примочек еще много - для кино/игр оно может и хорошо, а вот в реальной работе на компе скорее мешает - и бесконечно переключать туда-сюда профили тоже надоедает.
В общем, повторюсь - запрос на темные темы вызван вполне объективными проблемами у людей, а не дикой любовью к черному цвету...
Это вы просто не видели, что там внутри кода сайтов творится - причем массово. Им банально страшно деньги давать!
Для меня главным преимуществом радио была неожиданность. То есть там в любой момент могли поставить какую-то песню, о существовании которой я не просто не знал, но даже и искать такое не планировал.
И вот когда от радио я отказался (появился безлимитный интернет и все такое), то я столкнулся с тем, что больше не могу найти что-то интересное-новое. Потому что везде все пытаются мне совать а рекомендациях старое и/или похожее. А неожиданного там нет.
Когда вышла вин10 для вин8 внезапно перестали выпускать обновления драйвера видео от амд. Причем для вин 7 драйвер обновляли, а для 8 - нет. И вот ты хочешь поиграться - а игра проверяет версию драйвера и отказывается даже запускаться.
И гугловский, и яндексовский старый софт давно уже не работает. Гугловский поиск устанавливается, но не индексирует - и, соответственно, бесполезен. А яндексовский даже не устанавливается.
При этом вменяемых альтернатив им до сих пор нет. Виндовый поиск по содержимому ищет, но плохо, да и предпросмотра со всеми найденными вхождениями там нет. Остальной софт либо не развивается с 2010го года, либо ищет только по названию файлов.
В базовых настройках софта есть параметр, отвечающий за штраф к повторению слов. Это радикально влияет на работу, так как вынуждает модель вместо одного слова брать какой-то другой синоним. Например, меня задолбала Mistral тем, что считает слова frame и form синонимами слова body. В итоге она постоянно втыкает эти два слова даже там, где это неправильно.
Что-то такое внутри всё же есть. Неоднократно сталкивался с тем, что ллм учитывает вещи из реального мира, даже если прямо ему говорить, что это делать не надо. Например, если генерировать историю и вылечить раненного героя магией - нейронка вам не поверит. Потому что она знает, ч о такую рану нельзя вылечить быстрее какого-то срока. И хоть ты тресни, но нейронка будет упорно считать героя раненым.
Да они и так уйдут - через ту же телеметрию хотя бы. Или неотключаемый onedrive. Или через офис360.
Райзены сами понимают, когда охлаждения недостаточно и снижают ток и/или частоты. Вы можете на топовый райзен поставить самый дешманский кулер на 60вт и он будет работать нормально, только медленнее. Да и то - если нагрузка будет кратковременной, то вы даже разницы не увидите в скорости/частотах.
Если модель без режима thinking, то начало ответа зависит от объема текста в исходном вопросе. Чем больше там токенов, тем дольше ждать. На тексте килобайт в 20-30 придётся ждать минут 3-5 прежде чем его прожует + время на загрузку модели а память (желательно грузить с ссд, иначе это займет вечность).
Если в модели режим thinking, то там добавляется время на генерацию раздумий - скорость генерации та же самая, но текста там обычно немало, так что минут 5-10 процесс займет. За ним, в принципе, даже можно наблюдать. Ну а потом оно начнет уже ответ генерировать.
Если надолго софт не оставлять и не менять исходный текст запроса слишком сильно, то повторные генерации ответов или продолжение диалога стартуют почти сразу (опять-таки, если туда портянки текстов не совать).
Я пробую через нейронки тексты на заданный сюжет генерировать. Там самое печальное то, что бОльшая часть моделей умеет только писать продолжение, а не перегенерировать заданный текст. То есть надо еще и правильную модель найти - перебором. Плюс они ещё и с цензурой обычно.
Вторая проблема в том, что качество результата сильно зависит от фазы Луны и погоды на Марсе. То есть, формально, есть температура и другие параметры. Но в реальности наибольший эффект дает параметр seed. Который на каждый ответ по-умолчанию случаен. Его, конечно можно вручную задавать - но тут опять же как лично у вас кубики лягут)
И получается, что при одной генерации у нас фигня какая-то, а при другой - шедевр. Причем сегодня у нас одни шедевры, а завтра кубики всегда исключительно фигню выкидывают.
Бонусом идет то, что стиль и качество текста зависит от исходного текста и уже сгенерированного. И если в текст прокрадется что-то не то, то весь последующий текст будет прям на глазах ухудшаться.
Я генерирую на английском. И вот если в текст попадает amidst, то буквально через десяток абзацев каждое предложение будет содержать это слово.
Я ограничен 32гб оперативки, поэтому больше чем 24b модели не использую. На Ryzen 7950x в среднем получается порядка 4х токенов в секунду.
Забавно, что если подключить видюху RX6650xt то получается в разы медленнее.
Наконец-то хоть что-то полезное в поиске добавили.
А в итоге весь реддит в вое писателей, которые пытаются хоть как-то прорваться сквозь повальную цензуру кучи тем. Причем про эти вещи модели в принципе отказываются разговаривать, даже если просишь их текст переформулировать. Даже если это кусок фанткнижки!
В аналогичной позе стоят и все любители текстовых игр - там тоже постоянно о неожиданную цензуру спотыкаются.
Я уж даже не говорю о том, что завтра вы в принципе не сможете узнать о существовании коктейля Молотова - потому это прям на старте будет резать ИИ в поиске. И не искать это вообще.
А так-то да, надо сделать модели безопасными (и у каждого свой список что надо цензурировать).
Но заводы - это все еще мегатонны массы. Возможно, что выйдет даже побольше массы, чем на корабль нужно..
Причем везти эту массу вам придется дальше - вместо относительно близкой земной орбиты. Т.е. те 2-4% выводимой массы еще уменьшатся...
С текущим кпд ракет с подъемом в 2-4% от изначальной массы ракеты они его строить смогут до второго пришествия... А там он уже и не понадобится.
Еще больше цензуры в нейронке! И она теперь ещё хитрее сделана, чтобы вы никак не смогли обойти ограничения! Так победим!
Меня больше всего выбесил робот от OpenAI, который мало того, что напрочь игнорировал лимиты скорости запросов из robots.txt, так они еще и запретили доступ к своей же странице с документацией, куда эти роботы в запросах шлют. При этом сканировать русские сайты им это совершенно не помешало - тут, значит, запретов у них нет...
Угадайте, куда пошли вообще все боты этой компании в итоге?
И ведь она такая далеко не одна - и все эти работы ломятся на сервера так, будто там бесконечные мощности есть, готовые их обслуживать...
С длинными текстами проблема в том, что практически все бесплатные модели начинают глючить уже после 20 тыс токенов. Т.е. именно в режиме генерации текста по заданному сюжету.
Причем задать сразу весь сюжет тоже нельзя - там на выходе практически гарантированно будет не то, что хочется. А при разбивке сюжета на порции - на таком скромном объеме уже глюки...
И даже если отрезать начало - это порождает другую проблему, когда нейронка просто не в курсе что там было в вырезанном куске и не может это учесть при генерации. Краткий пересказ эту проблему тоже не сильно-то решает...
В общем, я бы сказал, что сейчас написать что-то длиннее рассказа или 4-5 глав текста нейронки просто не могут - им размеров контекста прям сильно не хватает.
И все эти вот нейронки где заявлено по 128к контекста и более - это не тот контекст, что нужен при генерации текстов. Они успешно отвечают на вопросы по таким длинным текстам - и это всё преимущество таких нейронок на данный момент.
8ка сильно глючила и могла сломаться просто на ровном месте - причем вообще с концами, невосстановимо. А вот в 8.1 это все отладили и исправили - с момента ее выхода я вообще забыл о том, что ОС может сломаться.
Я последнее время много играюсь с нейронками в попытках заставить их писать большой текст по сюжету. И в итоге очень заметны их внутренние проблемы.
Например, нейронки не понимают время. То есть они знают про его существование и учитывают, что какие-то вещи требуют определенного времени, но если давать в промте что-то не соответствующее привычной реальности - результат "ломается".
Например, если у нас типа фентези и герой получил рану - нейронка точно знает, что рану нельзя вылечить даже за день. И можно сколько угодно писать в промтах, что героя вылечили, что там магия - нейронка все равно будет упорно учитывать эту рану.
Вообще, я бы сказал, что там самая глобальная проблема в том, что нейросеть толком не отличает достоверную информацию от заведомо ложной. То есть это все как-то там учитывается, но, судя по всему, влияют просто различия объемов данных с корректной и ложной информацией при обучении. В итоге нейронка может на ровном месте выдать фигню, потому что где-то глубоко внутри для неё теория плоской земли такая же правда, как и про сферическую.
Это миф. Исследования показывают что вреда от просмотра в темноте - нет.
Во-вторых, у всех разные ситуации и мне, например, просто не нравится сидеть ночью аж с верхним светом (так как обычная настольная лампа не справляется).
Ну и главное - купите что-нибудь новомодное с 4к HDR и будет вам радость: например, динамически меняющийся уровень яркости подсветки поотдельным областям экрана при листании в браузере - это просто офигенно (нет). И там такого рода примочек еще много - для кино/игр оно может и хорошо, а вот в реальной работе на компе скорее мешает - и бесконечно переключать туда-сюда профили тоже надоедает.
В общем, повторюсь - запрос на темные темы вызван вполне объективными проблемами у людей, а не дикой любовью к черному цвету...