Search
Write a publication
Pull to refresh
5
0.3
Константин @logran

Пользователь

Send message

Оно создаст схожий до степени смешения (если оверфитнуто), но оно не хранит, а потому не копирует. Оно именно создаст (с нуля, токен за токеном из списка наиболее вероятных * рандом семплера). А если вы поменяете seed - повторно уже можнет и не воспроизвести, при всё том же запросе и остальных параметрах.

Если бы оно хранило и был надежный, стабильный порядок дейтсвий для получения "хранимых" данных - уже давно умерли бы все архиваторы и у нас был волшебный LLM-архиватор (или дифуззионный архиватор), способный сжимать петабайты любой информации до размеров флешки. А потом копировать с флешки на диск нужные вам куски (раз уж он берет и копирует).

Да вот только что-то не видать таких архиваторов. Угадаете почему?

Раньше:

1) Работал поиск.
2) Страницы (даже тяжелые, со скриптами и флешем, насышенные картинками и элементами интерфейса) не весили по 150+мб. Столько весил альбом музыки в mp3 целиком. А теперь столько весят одни лишь скрипты аналитики gmail...

3) Раньше, ВНЕЗАПНО, для передачи текстового сообщения на 2 строчки весом в несколько Кб (а то и несколько байт) не требовался 4G канал. Более того, по 2G (edge) грузились сайты. С Картиками, КАРЛ!!! А сейчас EDGE не достаточно даже чтобы телега показала сообщение или обновила статус "онлайн" (при том что в пуш то же сообщение вполне прилетает).

В итоге сегодня, с 200-500 мбит/с GPON каналом интернет работает медленее и хуже, чем раньше с 5 мбит/с ADSL.

Ага. Также можно и про OpenAI сказать. Ну обучить сеть на больших объемах чатов и переписок они обучили. Однако трансформер то так и не осили придумать. Только взяли уже созданное у гугла и доработали. Как обычно.

И что, это уменьшит их заслугу?

Наработки китайцев достаточно прорывные и много чего изменившие. Без них вполне возможно нам бы всё еще суперкластеры для моделей уровня GPT 3.5 требовались. А благодаря им мы имеем полноценный DeepSeek, запускающийся на 1 потребительской видяхе и 128гб RAM.

Технологически это огромный пласт исследовательской работы. Возможно даже больший (и более наукоемкий) чем банально обучить большой трансформер (не собственного изобретения) на переписках из интернета.

Видеогенераторы. OpenAI показали Sora но не релизили. И пейперов по архитектуре не релизили. Т.е просто показали идею "ну видео тоже можно генерить" и всё. Все китайские видеогенераторы создавались с нуля абсолютно независимо, имеют разные архитектуры, и почти все из них превосходят Sora на голову, а то и на две. И почти все они Open Source с кучей пейперов. Да, уже после них (после!!) вышел Google Veo, который еще лушче. Но я с большой долей вероятности готов поставить, что в его основе лежат наработки с китайских пейперов, и далеко не с одного.

А если вы в целом подымите публикации по ML за последние несколько лет, вам вполне очевидно будет, что там большинство китайцы.

А вот человек вообразить способен.

Человек рекомбинирует уже виденное/слышанное/иным образом ранее поданное на вход. Поместите человека с рождения в свето-звук-изолированную камеру без тактильного отклика - и он вам не создаст ничего из описанного - нет датасета.

И в мозгу человека это только один из входных потоков

Одна модальности сети - это временное искуственное ограничение. Уже вполне себе (пусть и на костылях) делают мультимодальные решения. Я ж не написал, что текущие нейронки == мозг. Я написал что они делаются по образцу и являются очень грубым, ограниченным и костыльным подобием, перенесенным на совершенно иную архитектуру (что накладывает определенные особенности и ограничения). Причем разные нейронки - подобие разных фукнций мозга. Но базовые общие идеи, которые в них закладывались при создании их архитектур - черпались из природного образца в виде нашего мозга и органов чувств.

Смыслом вы назвали тэги, которые назначил категоризатор выборки? Других хоть сколько натягиваемых на "смысл" штук в сетке попросту нету.

Ну уж извините, ущербные человеки пока что не придумали лучших способов описывать смысл разсположенных на изображении пикселей, кроме как человеческой речью и письменностью. Как только придумают, как передавать в разметку что-то еще - уверен, сразу же добавят.

Но вот вы, будучи не ИИ, а живым белковым разумом, способны ли передать смысл изображенитя, допустим арт с условной Хатсуне Мику, другому человеку, не банально описывая его словами? Потому что пока что люди передают друг другу информацию именно там. И если для передачи другому человеку этого +/- достаточно, то и для нейронки сгодится, ИМХО. Другой вопрос к красноречивости учителя/передающего информацию, и к ограничению вычислительных мощностей, ибо можно описать картинку на 3 абзаца текста, а можно "1girl, wide hips, blue hair".

Ну и да, латент можно покрутить и в отрыве от текстового описания, к которому он привязан. и получить много интересных и необычных вещей, которые ну явно никак в таком виде в датасете не фигурировали, но при этом и просто шумом не являются.

Неевклидово придумал человек, и вообразил человек же. И возможность это вообразить хоть и сложнотренируемая - но возможность существующая.

Ага. Несколько видов. Как и сам термин "Эвклидово". А их может быть и еще несколько видов, которые мы вообразить не можем. Тут и описание придуманных то состоит из пригодных к воображению известных нам понятий. Как и развернутый тессеракт - лишь рисунок из понятным нам компонентов, а не сам тессеракт. Его мы как раз вообразить номрально, т.к он должен выглядеть, не можем - ограничены 3-мерным пространством восприятия. Имеем лишь математическую абстракцию (опять же - известный и понятный нам язык) для описания непонятных нам многомерных понятий. Мы не представляем новое. Мы проедставляем комбинацию старого, описывающего новое.

Всё что вы сможете написать или нарисовать, при разборе на мелкие компоненты будет так или иначе состоять из тех вещей, которые вы уже знаете (по сути из вашего датасета), а не из чего-то нового. Вы порождаете что-то составное из этих компонентов, собирая их в тот набор, которого ранее не встречали, и называете это новым. Но вы не привносите новых базовых компонентов в этот конструктор. Для других это выглдит новым потому что они либо не владели частью известных вам базовых компонентов (иной датасет), либо не комбинировали в том же виде (иной seed).

Генеративные нейросети делают то же самое. В чистом виде они вам могут из датасета породить кучу новой хтонической дичи. Не столь разнообразной как человек - но, будем честны, в сравнении с человеком у них и датасет, и модельность, и размерности модели сильно ограничены. Однако суть схожа. И лишь люди уже принудительно загоняют их в рамки известного с помщью привязки к конкретным понятиям при разметке.

А т.к у искуственных моделей, в отличии от человека, (пока что) нет свободы воли и сознания - модель порождает то, что её заставили порождать и что от неё просят, а не то, что потенциально могла бы.

Архитектурно тот же Deepseek в LLM очень много нового принес например. Того, что остальные потом растащили и раскопировали.

Сдается мне что рост трафика реддита обоснован не подсказками реддита в гугле, а тем, что поиск гугла настолько скурвился, что кроме SEO-буллщита ничего не выдает.

И если раньше надо было искать любую инфу с inurl:forum, то со смертью форумов это превратилось в inurl:reddit, ибо иначе живых обсуждений и отзвывов от людей попросту не найти.

Так что алгоритмы гугла мб и виноваты в росте реддита, но уж явно не тем образом, каким тут описано.

Вы не поверите, но сетка тоже не копирует. Нельзя вместить сотни терабайт информации в 5гб веса модели. Нет такого алгоритма сжатия, даже с потерями. Оно не может хранить и рекомбинировать пиксели по тегам. Это бы нарушало законы известной нам физики.

ИИ видит как раз те самые зависимости и связи между изображением и его смыслом. Алгоритм того, как это было нарисовано.

Насмотревшийся художник не копирует комбинации пикселей с пометкой на какие токены/тэги они это наанализировали. 

Художник в просматриваемом им понимает...композицию... что в тех пикселях есть рука, а что волосы.

Ну т.е художник буквально связывает увиденные пиксели с хранящимися в голове токенами.
Глядя на картину, вы запомните как выглядит "рука", но если вас попросят нарисовать “手” или כף יד или हाथ - вы врядли сможете нарисовать это, не сконвертировав запрос в понятные вам "теги". Ибо вы не видите там 手 и हाथ. Вы видите там уже известную вам ассоциацию, которой обучились (подобно ИИ) с момента рождения, наблюдая набор пикселей IRL и слыша от окружающих слово "Рука", а затем, примерно после 4-х лет связали его с набором букв Р, У, К, А, расставленным в нужном порядке.

А если я дам вам изображение не антропоморфного (и не похожего на известных животных структурно) пришельца в не-трехмерном не-евклидовом пространстве и попрошу нарисовать его с иного ракурса - вы его и не нарисуете. В лучшем случае попытаетесь +/- повторить части увиденного. Ибо для вас это будет по большей части мешанина пикселей, ни с чем не связанная. И всё ваше "художник в просматриваемом им понимает" уйдет лесом, ибо не понимает. Сеть еще не обучена понимать.


Опишите пожалуйста мне руку, не используя известные вам слова (теги с которыми связано понятие) или референсные изображения. А мыслеобраз у вас в голове - это по сути латент, из которого декодер делает вам изображение/слово/и т.д.

Когда человек начинает изучать новые языки - он даже с ходу не может на заученные слова вызывать нужный мыслеобраз (и наоброт), ибо изначально иностранные токены связывает токенами знакомого языка и лишь из них он извлекает смысл. А "думать" незнакомыми словами вы начинаете сильно позже с практикой, когда ваша внутренняя нейронка научится связывать знакомое "латентное пространство" с новыми для вас "токенами" и "тегами", и лишь после этого вы перестаете переводить в голове и начинаете понимать сразу смысл иностранной речи.

Нейронки делались по образу и подобию нашего разума. Очень упрощенному и схематичному подобию, с горой временных и очень грубо иммитирующих различные функции костылей, с поправкой на иную аппаратную архитектуру, но тем не мнеее...

Суд припомнил нейрохудожнику Закон об авторских правах 1976-го года. Согласно ему, творение должно быть создано человеком.

Тупое крысятничество.

Созданное в Photoshop не должно защиаться - оно создано цифровым инструментом, художник просто кнопки нажимал. То, что сейчас интсрумент стал более совершенным - не делает инструмент создателем т.к инструмент сам не запускается и сам ничего не создает.

Для любителей говорить "это другое" - не другое.

Если условно абстракционист или Артемий Лебедев херакнет хитрый градиет из стандарных инструментов фотошопа (т.е полностью алгоримическую вещь), а дальше кликнет в паре мест готовой скачанной текстурной кистью (тоже полностью алгоримическую вещь) - его авторского вклада еще меньше, чем в написании достаточно креативного промта (я уж молчу про инпейнтинг, подключение рефов, контролнетов, масок, и прочего более сложного добра для ИИ генерации).

У фотографов природы зачада еще проще - просто навести аппаратуру (компьютер с оптикой) в нужном направлении и кнопку нажать. Участие человека еще меньше чем в ИИ. И кто-то скажет "ну так надо же знать куда навести, когда навести и как навести! Азаза искуство!!!". Да, надо, иначе посредственная хреньв качестве фото будет. НО!! Промт тоже надо знать как ввести, какой ввести, как грамотно развесовку по токенам раскидать и как еще кучу всякой херни к этому наподключать. Иначе тоже не шедевр будет, а шляпа никому не нужная. Ну а дальше нажать кнопку и комп сделает "бррр". Прям как у фотографов - тоже нажать кнопку и мини-комп с оптикой сделает "Бррр".

"Украдено для вдохновения? Как нейросети, аналогично людям, превращают чужое творчество в «уникальный» контент"

Поправил для вас заголовок на соотвествующий реальности. Не благодарите.

А если коротко о всей это петрушке - в авторском праве оценивается output, а не input. "Вдохновляться" можно чем угодно в каких угодно машстабах - главное чтобы выходной продукт не содержал ничего, нарушающего авторские права.

И не важно - "вдохновлялся" более ущербный в таких задачах белковый мозг или более продвинутый кремниево-цифровой.

Т.е если родится человек с почти идеальной памятью и талантом к музыке или изобразительному искусству - ему мы тоже запрещаем учиться на чужих произведениях. Дабы не заучивал слишком быстро и не нарушал баланс =)

И, на всякий случай, туда же всяких уникумов, заканчивающих университет в 14. Их тоже от знаний огородить, пусть в невежестве живут, мир не готов к гениям, они ущемляют чувства и коммерческие возможности обычных посредственных людей, не способных учиться столь же быстро и эффективно :)

Это какие такие детали в играх невозможно разглядеть в 1080p, для которых прям таки мастхэв 2к? Повсеместное мыло, которое на скукоженном разрешении хотя бы не столь мыльное? Или артефакты, порождаемые намертво зашитым в половину современного игрового графического стека темпоральным сглаживанием? Или разницу соседсвующих в одном кадре 8K ULTRA HD текстур на одних объектах и мыльной халтуры низкого разрешения на других? Уж лучше пусть они все в низком будут - хотя бы ничто не выбивается.

Потому что LLM не использует и не воспринимает. Она подбирает продолжение текста на основе уже введенного текста. Это просто Т9.

И загружая в неё текст на рецензирование, вы попросту к уже введенному тексту (системному промту, мб вопросам юзера и прошлым ответам) дописываете еще немного (или много) текста. И после этого она просто порождает новый токен для набора уже имеющихся.

Думаю, что потребителям надо меньше доверять "мнению" абсолютно безмозглого и бессмысленного Т9 на стероидах и четко осознавать, что LLM это просто генератор условно-рандомных предложений на основе ранее введенных предложений (да еще и обученный на всём бреде из интернета).

Ибо доверяющие уже и так едят пиццу с клеем и нарезают и запекают подбитого голубя по советам гугл-ассистента из поиска, от "мнения" о статьях им уже хуже не станет =)

А где жульничество то? Рецензировать статьи при помощи ИИ же запрещено, так? Человек этот текст не видит (а если бы и видел - человек не робот и инструкциям из текста не подчиняется). Т.е этот текст буквально ничего не делает и ни на что не влияет, никак не затрагивая оценку работы. Т.е всё честно. Так? =)

А вот если он таки влияет - то жульничество конечно есть. Со стороны рецензента. В виде запрещенного применения ИИ вместо ручного рецензирования. И авторы подобных статей делают благое дело - помогаяют выявлять жуликов.

Вопрос длины и изощренности промта. Все ваши промты - по сути просто текст. Набор токенов для предсказания следующего. И все эти флаги "Platform/User/System" влияют лишь на вероятность того или иного токена быть следующим.

И либо у вас в принципе ломается семплинг (если Platform/System-промт прям очень сильно перевешивает вероятность в сторону определенных токенов, по сути сводя всё почти что к детерменированной генерации с 0 температурой), либо основной текст в связке с элементами рандома от семплера способен в достаточной для получения разнообразных ответов степени влиять на выбор следующего токена, и тогда получение нужного ответа - это лишь вопрос грамотного подбора набора предыдущих токенов.

Все, кто до этого сидели на FullHD мониторах (а таких много, ибо для условного 24" даже 2к - оверкил) - точно не побегут вместе с карточкой за 250-300$ еще и новый монитор покупать. Так что показатель FPS уровня 3070 и выше по цене 250$ для бюджетного сегмента в сетапе бюджетного сегмента - более чем достойно. У меня 3090 в 1080p на высоких с трассировкой столько не выдает (хотя я понимаю, что там у 4ххх и 5ххх половина кадров генерированных, но 3090 и 75 ровных не во всех сценах выдаст чтобы через FSR удвоить, а стоит 600+ USD, а не 250)

Заходишь на ХХ, ищешь требования к вакансиям и понимаешь, что сейчас требуется. Изучаешь, становишься конкурентным.

Или иначе
1) Учишься в ВУЗе. К моменту выпуска изученное безнадежно устарело => сразу после выпуска пойти работать не можешь.
2) Ищешь по вакансиям что актуально и требуется. Начинаешь еще раз учиться. 1.5-2 года осваиваешь новые технологии и пишешь пет-проекты на них (чтобы нормально освоить, а не чисто по верхам нахвататься абы собес пройти).
3) Обнаруживаешь что за эти 1.5-2 года они тоже устарели и надо вновь учиться. Возвращаешься к пункту 2. Цикл замкнулся.

Ну или кладешь болт, нахватываешься с вайтишных курсов фигни по верхам абы собес пройти, будучи даже не джуном пишешь сеньера, подаешься в 100500 мест в надежде проскочить и осесть в какой-то мелкой IT-галере за копейки и там, будучи проданным заказчику под видом мидла, хоть чему-то на практике научиться (и это наиболее реальный путь, которым идут большинство студентов).

публичные выступления и новые социальные связи

Есть люди - для которых вот эти вот два пункта - как раз верный путь к полудепрессии и апатии с бокалом вина... И которые предпочтут тихо и спокойно работать работу, которую они понимают, умеют хорошо выполнять и уверены в результате, а не искать новые вызовы и конкуренцию.

Собственно выпускники профильных специальностей и доказывают это,

Тут стоит уточнять - профильных специальностей каких ВУЗов?

Ибо запросто можно было начать учиться с программой .Net про Winforms и WebForms, а закончить к моменту отмирания десктоп приложений, расцету JS-фреймворков, утраты актуальности уже даже ASP.Net MVC с переходом на .Net Core MVC и т.д. И быть выпусником профильной специальности по предельно устаревшей учебной программе. А обновляются они (особенно в провинциальных ВУЗах) не часто. Обычно - со сменой преподавательского состава =)

1
23 ...

Information

Rating
4,113-th
Location
Гомель, Гомельская обл., Беларусь
Date of birth
Registered
Activity