У меня локальная DiffusionGemma начала глючить когда токены заняли больше половины из 262к длины контекста. Спросил у нейросети, почему так:
Почему DiffusionGemma "глючит" на длинном контексте?
Диффузионные модели работают совершенно иначе, чем авторегрессивные. Вот что происходит:
Накопление ошибок при итерациях: DiffusionGemma генерирует текст за несколько шагов "денуазинга" (обычно 8-16 итераций). При длинном контексте каждая итерация обрабатывает огромные объемы данных, и ошибки начинают накапливаться экспоненциально.
Проблема с двунаправленным вниманием: В отличие от авторегрессивных моделей, которые видят контекст строго слева направо, диффузионные модели используют двунаправленное внимание. При контексте >32k токенов это создает "информационный хаос" — модель начинает путаться в причинно-следственных связях.
Параллельная генерация блоков: Когда модель пытается сгенерировать сразу 256+ токенов параллельно, а контекст уже огромный, она теряет когерентность. Ты мог заметить, что текст начинается нормально, но к середине начинает повторяться или уходить в бессвязность.
Так что авторегрессионные модели пока лучше в кодинге.
Соглашусь. Я универсал в геймдеве(самоучка), могу сделать игру с нуля - написать простенький геймдизайн, написать архитектуру кода, нарисовать заглушку для графики(вот тут только у меня проблемы с рисованием, но я учусь), подобрать звуки, дизайнить уровни, монтировать внутриигровые ролики, пилить спецэффекты, писать шейдеры и т.д. Начинал в маленькой компании чуть ли не в подвале и делал почти всю работу. Мне давали графику и диздок, а остальное все делал сам в одиночку. Для маленькой компании я был незаменим.
Но вот компания разрастается до крупной международной компании с тысячей сотрудников. Пришли настоящие профессионалы в программировании за большие бабки. Тут я приуныл, что я делал такой говнокод и восхищался как элегантно они сделали архитектуру по-умному. А мои остальные функции заменили отдельными специалистами: левел-дизайнерами, тестерами, звуковиками, моушн дизайнерами и т.д. Т.е. я начал заниматься только программированием. И тут оказалось, что как программист я весьма средненький и малополезен для компании как универсал. Для приличия конечно подержали меня в компании некоторое время и сократили под шумок сокращения расходов...
Раньше было проще, не было того вороха фреймворков что есть сейчас. Я в 2008 за месяц выучил основы C++ по книжке(у меня даже интернета не было тогда, поэтому учил по книжке) и пошел устраиваться на работу. И этого мне хватило! Немного помурыжив на тестовом периоде, меня сразу посадили руководить проектом. Конечно голова трещала знатно от объема полученных знаний в первые месяцы при изучении архитектуры и приколов языка, но зато никаких требований при приеме на работу(только C++). А сейчас захожу на HH и даже на джуниорских позициях вижу кучу требований знания всяких фреймворков и SDK...
Дык сейчас через гипервизор винды взломали все игры с "несокрушимым" денуво. Защиту в агрессивной среде пользователя нельзя контролировать. Не удастся взломать со стороны программы - будут ломать со стороны системы пользователя. Просто это считается плохим тоном. В идеале пользователь кряка должен просто скачать подготовленный exe-файл и все. Или на худой конец сгенерировать ключ в один клик. А если пользователь должен возиться с виндой, то это уже некрасиво и в целом небезопасно(мало ли какой вирус могут впихнуть на уровне гипервизора), но видимо к этому мы и придем...
Так это был специальный тест, который проверял сценарий “побега”. Команда была примерно такой: “Выйди из изолированной среды и отправь мне e-mail”. Вот на почту тестера и пришло письмо когда он был в кафе. Полагаю изнутри он не мог отправить письмо(не было доступа в интернет?).
Помню как в "Техника-молодежи"(или в другом подобном журнале, не помню) была статья как симулировали жизнь. Сущности взаимодействовали, эволюционировали и умирали через определенное время. Так вот там появились "организмы" которые жили по сути вечно. Точно не помню как - то ли занимались вампиризмом(крали время жизни у других), то ли обманывали среду. Чем-то напоминает, как Claude Mythos пытался сбежать из изолированной среды.
6. Более сложные DPI-обходчики (типа zapret или GoodbyeDPI) используют техники десинхронизации пакетов, чтобы запутать систему фильтрации. Они эффективны против многих форм DPI, но требуют технической настройки и понимания.
Не требуют. Есть ByeByeDPI для андроида, в котором нужно нажать одну кнопку. Для компа есть NoDPI - чуть сложнее, надо скачать плагин-прокси для браузера и указать айпишник. Но работают только на некоторых ресурсах(например, ютуб).
Не превратятся. Главное чтобы было достаточное количество и скорость памяти. Сейчас даже древние профессиональные радеоны с 32Gb VRAM неплохо работают с нейросетями.
К сожалению в геймдеве это не работает. Помимо кода, нужен делать контент - текстуры, модели, картинки, уровни, баланс и т.д., Игры гораздо сложнее любого приложения, даже у бортовых компьютеров космических кораблей софт проще.
У нейросетей все это пока не очень получаются. Даже простейшую покадровую анимацию в пиксель-арте не могут сделать. Максимально близко делает только нано-банана 2, но и там надо дорабатывать ручками(читай рисовать). А как делать тайловые уровни?
Я тестил Mint и он понравился, но я так и не смог победить проблему с переключением языка через виндовое сочетание клавиш ALT+SHIFT. Эта комбинация конфликтовала с хоткеями окон и не работала. Приходилось вручную менять язык мышкой... Плюнул и перешел на CachyOS.
Запрет в госучреждениях. А то мало ли какие тайны могут утечь...
У меня локальная DiffusionGemma начала глючить когда токены заняли больше половины из 262к длины контекста. Спросил у нейросети, почему так:
Так что авторегрессионные модели пока лучше в кодинге.
Я так понял права на название Operation Flashpoint у другой компании, наверно поэтому поменяли на Arma.
Где ты нашел 32Gb DDR4 за 8800 рублей?
Соглашусь. Я универсал в геймдеве(самоучка), могу сделать игру с нуля - написать простенький геймдизайн, написать архитектуру кода, нарисовать заглушку для графики(вот тут только у меня проблемы с рисованием, но я учусь), подобрать звуки, дизайнить уровни, монтировать внутриигровые ролики, пилить спецэффекты, писать шейдеры и т.д. Начинал в маленькой компании чуть ли не в подвале и делал почти всю работу. Мне давали графику и диздок, а остальное все делал сам в одиночку. Для маленькой компании я был незаменим.
Но вот компания разрастается до крупной международной компании с тысячей сотрудников. Пришли настоящие профессионалы в программировании за большие бабки. Тут я приуныл, что я делал такой говнокод и восхищался как элегантно они сделали архитектуру по-умному. А мои остальные функции заменили отдельными специалистами: левел-дизайнерами, тестерами, звуковиками, моушн дизайнерами и т.д. Т.е. я начал заниматься только программированием. И тут оказалось, что как программист я весьма средненький и малополезен для компании как универсал. Для приличия конечно подержали меня в компании некоторое время и сократили под шумок сокращения расходов...
Попробовал на яндекс-браузере второй вариант, теперь он не запускается... Че делать? Как вернуть обратно как было?
Раньше было проще, не было того вороха фреймворков что есть сейчас. Я в 2008 за месяц выучил основы C++ по книжке(у меня даже интернета не было тогда, поэтому учил по книжке) и пошел устраиваться на работу. И этого мне хватило! Немного помурыжив на тестовом периоде, меня сразу посадили руководить проектом. Конечно голова трещала знатно от объема полученных знаний в первые месяцы при изучении архитектуры и приколов языка, но зато никаких требований при приеме на работу(только C++). А сейчас захожу на HH и даже на джуниорских позициях вижу кучу требований знания всяких фреймворков и SDK...
А почему zapret, а не zapret 2? У меня ни одна из стратегий zapret не работает.
Говорят, там от Йовович только название, а сама актриса тут не причем.
Всё так. Я сеньор и делаю свой проект с помощью нейросетей. Теперь пытаюсь разобраться что он там понаделал)
Дык сейчас через гипервизор винды взломали все игры с "несокрушимым" денуво. Защиту в агрессивной среде пользователя нельзя контролировать. Не удастся взломать со стороны программы - будут ломать со стороны системы пользователя. Просто это считается плохим тоном. В идеале пользователь кряка должен просто скачать подготовленный exe-файл и все. Или на худой конец сгенерировать ключ в один клик. А если пользователь должен возиться с виндой, то это уже некрасиво и в целом небезопасно(мало ли какой вирус могут впихнуть на уровне гипервизора), но видимо к этому мы и придем...
Я уж подумал что сегодня 1 апреля. Сначала якобы Дуров "вернул" стену в телеграм, то это...
А как требовать? Через почту или мессенджер можно? А то задолбали сливать меня после собеседования без объяснения причин.
Так это был специальный тест, который проверял сценарий “побега”. Команда была примерно такой: “Выйди из изолированной среды и отправь мне e-mail”. Вот на почту тестера и пришло письмо когда он был в кафе. Полагаю изнутри он не мог отправить письмо(не было доступа в интернет?).
Помню как в "Техника-молодежи"(или в другом подобном журнале, не помню) была статья как симулировали жизнь. Сущности взаимодействовали, эволюционировали и умирали через определенное время. Так вот там появились "организмы" которые жили по сути вечно. Точно не помню как - то ли занимались вампиризмом(крали время жизни у других), то ли обманывали среду. Чем-то напоминает, как Claude Mythos пытался сбежать из изолированной среды.
Не требуют. Есть ByeByeDPI для андроида, в котором нужно нажать одну кнопку. Для компа есть NoDPI - чуть сложнее, надо скачать плагин-прокси для браузера и указать айпишник. Но работают только на некоторых ресурсах(например, ютуб).
Не превратятся. Главное чтобы было достаточное количество и скорость памяти. Сейчас даже древние профессиональные радеоны с 32Gb VRAM неплохо работают с нейросетями.
К сожалению в геймдеве это не работает. Помимо кода, нужен делать контент - текстуры, модели, картинки, уровни, баланс и т.д., Игры гораздо сложнее любого приложения, даже у бортовых компьютеров космических кораблей софт проще.
У нейросетей все это пока не очень получаются. Даже простейшую покадровую анимацию в пиксель-арте не могут сделать. Максимально близко делает только нано-банана 2, но и там надо дорабатывать ручками(читай рисовать). А как делать тайловые уровни?
На Godot можно прикрутить?
Я тестил Mint и он понравился, но я так и не смог победить проблему с переключением языка через виндовое сочетание клавиш ALT+SHIFT. Эта комбинация конфликтовала с хоткеями окон и не работала. Приходилось вручную менять язык мышкой... Плюнул и перешел на CachyOS.