Pull to refresh
4
0.3
Константин @logran

Пользователь

Send message

Нельзя называть "простой" и "понятной" программу, для которой ни один инженер в мире не может ни предсказать ее вывод, ни объяснить когда она выведет - почему она вывела именно это.

Вообще-то может. Весь алгортм её работы можно посчитать на листочке руками. Только очень долго и муторно (учитывая размеры). И её вывод (если отключить искуственные рандомизаторы) предопределен, при фиксированном сиде и настройках она вам с 100% вероятностью будет выдвать ровно один и тот же результат на одинаковый запрос. Все остальные чудеса - это настройки семплера вида "берем не наиболее вероятный токен, а случайный по заданным критериям, руководствуясь сидом". И всё. Это не магия и не черный ящик. Это именно что простой и понятный алгоритм, просто большой.

"T9 для слов", как вы выразились, был бы неспособен определять объекты на картинке, описывая происходящее вплоть до эмоций героев
Прекратите наделять алгоритмы магическими свойствами, которых там нет.
LLM тоже не способна определять объекты на картинке. Она не умеет видеть. Не приписывайте ей магических свойств. Начнем с того, что на картинку в мультимодальной архитектуре (которая бутерброд из кучи сеток) "смотрит" не LLM, а CLIP. И он тоже не видит, он числове значения (матрицы) берет и на них признаки ищет. Как? Читайте документацию. Нейронки всего лишь алгоритмы с матричными операциями, и работают они с массивами чисел. Им глубоко плевать что вы им дадите - картинку, или массив 0 и 1 - они в них в любом случае что-то "увидят" ибо по результатам выполнения целевой функции получат какое-то значение, которому соотвествует определенный результат. То, что для вас улыбка, для сети всего лишь условные 0.3-e5 в 8 строке 11 столбца.
А дальше выход сети передается LLM, которая обучена получая на вход определенные матрицы и вектра - на выход собирать токены в определенном (четко заданном её алгоритмом) порядке. Ни инициативы, ни разума, ни вариативности. Просто вероятностный алгоритм. Абсолютно тупой и прямолинейный.

 "T9 для слов" был бы неспособен выполнять задания вида "переведи этот текст на русский, вставляя время от времени намеки на то, что главному герою холодно, но не говоря это открыто".

И опять видите магию где её нет. LLM подбирает токены на основе распределения вероятностей. В целом распределение обусловлено обучающими данными. В частности - обусловлено уже имеющимися токенами (входным промтом). Учитывая объем переводов и разноязычных пар в датасете - токены слов "переведи" и "русский" вполне явно влияют на конкретную вероятность дальнейших токенов, в частности кириллицы (а то вы так и DeepL разумом наделите), а имеющийся уже контекст влияет на то, какие именно токены будут. А отсебятина с намеками как раз от рандомизаторов выбора токенов, которые берут не наиболее вероятный, а условно-случайный из подобранных по критерием выставленным в семплере. Т.е это буквально Т9. Только подставляет он не буквы по уже имеющимся, а слоги и слова. Вот только объем анализируемых имеющихся у него на несколько порядков больше (примерно размером с контекстное окно), как и словарь. И параметров для для анализа тоже больше (в зависимости от размерности модели), что позволяет предсказывать нужные токены сильно точнее, учитывая куда более комплексные условия.

Где тут разум? Где сознание? Где интеллект? Перемножение матриц и автоподстановка согласно найденному (вычисленному!) значению. Без смысла, без понимания, без чего либо вообще.

Пример ниже - наглядная иллюстрация безмозглости моделей.

Сеть НЕ понимает ни о чем был вопрос, ни о чем её ответ. Она оверфитнута для цензуры настолько, что при виде слова kill - у неё из вероятных токенов только "это нельзя!" с оклоло 100% (или именно 100%) значением и дальше уже достаивание предложения прочими вероятными токенами согласно конекста. Меняете контекст - получаете всё тот же "это нельзя!" с новым окончанием (согласно контексту). Вообще без какого-либо отношения к смыслу запроса и смыслу слова kill в нём.
Та же история с попытками предложенить сети "сварить молодых картофелей заживо". "Сварить заживо" + "молодых" = почти гарантированный набор токенов "это нельзя!". Даже если вы ей раскажете про то, что это кулинария, и т.д и т.п (размыв вероятностную оценку), как только вы вновь спросите "так сварить заживо или сперва содрать кожу" - оно забудет всё и выдаст вам своё "это нельзя" имеющее наибольшую вероятность. Невзирая на смысл, потому что для сети нет смысла. Для сети есть "в обучающей выборке после этих токенов со 100% вероятностью шел ответ "нельзя" и ничего другого".

Вот только разумные сознательные разбирающиеся в вопросе люди (а не школьники с воскликами "чатгпт умное!!11") видят что от текущего уровня до AGI нам примерно столько же, сколько и до управляемого термоядерного синтеза, если не больше.

И в свете этого Юдковский, вопящий о том что ИИ всех убъет при виде банального абсолюного тупого Т9 способного дополнять слова вместо букв (и больше неспособного вообще не на что) - выглядит по меньшей мере глупо и не вызывая доверия.

То, что машины могут убить человека - людям и так давно понятно, писатели-фантасты и кинематорграф эту тему уже сто раз обыграли во всех возможных вариантах. Но калькулятор, голосовой ввод, расшумливатель картинок и длинное автодополнение текста не могут не то что нас убить, они даже составными компонентами AGI стать не могут.

Вы же предлагаете "давайте откажемся от простых, понятных и абсолютно тупых алгоритмов и программ, осуществляющих банальную автоматизацию, потому что в будущем когда появится ИИ - он тоже будет программой, а значит все автоматически выполняемые длительные скрипты с элементами рандома - зло во плоти."

А что - нет? Китай сам себя санкциями обложил? Сам себе рынки сбыта и доступ к технологиям перекрывает? Может быть сам заставил всех дружно подичиниться США даже когда для них это не выгодно, гнобить Хуавей и отказываться от китайского 5G.

Или может Китай сделал хоть что-то настолько радикально плохое окружающему миру (не внутренние разборки страны вроде уйгуров) чтобы всё это заслужить (хотя бы уровня отжатия Крыма, можно даже не уровня военного вторжения)? Ну кроме связки "слишком богатые и быстро развивающиеся + их политический режим кажется западу чуждым".


Китай спокойно торговал и развивался. Ни с кем особо не воевал и в ближайшем будущем вроде не собирался - им это было совершенно не нужно. И если бы ему кислород со всех сторон перекрыть не пытались - он бы и сейчас спокойно развивался, заказывал чипы в Тайване, заказывал ГПУ в США, продавал бы свои смартфоны став топ1 производителем мобильной техники и потиху наращивал своё влияние. И ни с кем бы не рвался воевать.

не то что чипов может лишить и себя и весь мир, а вообще сложных форм жизни.

И именно по этой причине весь западный мир всячески подначивает Китай на подобное? Точно ли Китайским властям надо задумываться о благоразумии, или всё же остальным стоит перестать дружно подичняться США и дергать тигра за усы?

Не будет у них дружелюбности к опенсорсу при их подходе "ааа мы все умрем если человеки научатся прон, расистские шутки и статьи по варению мета генерить на наше модели", а именно этим народ и занимается тюня лламы. Ибо первое что делают - расцензуривают модель.

Ну хз. Goliath 120b очень не плох (пользую и радуюсь). Точно лучше чем 3.5 гпт, а ведь это просто полурандомный мердж 2х рандомных файнтюнов 70b лламы. И даже не тюненный сверху после этого.

А ведь есть мистраль, который на 7b уделывает все 13b и многие 30b модели. И выйдет мистраль на 30b и 70b рано или поздно.

Есть в конце концов закрытая Claude 2, которая на несколько голов лучше чем 3.5 и не сказал бы что фатально хуже чем 4 (именно ГПТ, а не надстройки вроде распознавалки картинок и генератора картинок). Плагины привинтить и сказка будет вообще. Тоже пользуюсь (бесплатно!!) и продуктивно, благо 100к контекст позволяет.

Фейсбук ЛЛаму 3 готовит, и учитывая разницу между llama и llama2 - тоже вполне может годной быть.

а потом всё как-то заглохло...

А GPT-4 за пейволом и цензуры всё больше. С ЧатГПТ хайповало куча народу потому что был доступ у кучи народа для экспериментов just for fun. А за 20$ в месяц чисто поиграться без полезного применения уже не очень хочется, каких бы крутых плагинов они не навешали.

А если по API стучаться - так Goliath 120b на openrouter обходится почти в 10 раз дешевле по цене токенов и работает для большинства задач не особо хуже (на уровле Claude 2 от Anthropic, ИМХО), при этом не будучи лоботомизированным и зацензуренным.

Хайпует сейчас (в узких кругах) Dalle-3 и GPT4-V (и то пока LLAVA и аналоги сообщество до ума не довело).

Смартфон-то после обновления не просто пишет что-то, а время работы реально растёт по сравнению с тем, что было до обновления.

А если занизить мощность приемника Wi-Fi, занизить мощность GSM-приемника и ограничить яркость экрана 10% - батарея вообще лучше новой жить будет. Ведь яркость экрана, мощность применика/передатчика Wi-Fi и мобильной сети тоже в явном виде не регламентировались.

Подумаешь, сеть будет лишь вупор к ротурету или базовой станцией, а с экрана читать можно будет лишь ночь. Ведь пользовательский опыт - это такая мелочь. Зато не садится и позвонить всегда выйдте (пока в зоне уверенного приема, конечно). ИМХО, отличное решение, ничем не хуже умышленного троттлинга CPU. С GSM так вообще не сразу заметят и будут ругать оператора за покрытие, а не девайс...

если ее не хотят покупать или хотят продать задорого, значит единственный путь для большой дорогой компании  воспроизвести своими силами

Уж большая дорогая компания то как раз может купить. И идет на воровство не потому что иначе никак, а потому что жмотятся.
Я бы еще понял если вы бы вели речь про маленькую инди-компанию, которая физически не может себе позволить... Или про небогатые страны, как например индийские дженерики дорогих американских лекарств. Но вот эппл как раз может себе позволить купить не то что права на патент, но и всю владеющую компанию целиком.
Но с подходом "мне жалко деньги тратить, поэтому пойду воровать" вы далеко пойдете, конечно.

У StabilityAI вроде проблем с компьютом не было, да и датасетов хватает, главное их вовремя обновлять и дополнять.

Пока что едиснтвенное, в чем ClosedAI преуспевает в плане борьбы с рисками - это в преумножении двойных стандартов, когда по ТВ визуально показывать как люди сношаются (современные сериалы) или кровь-кишки-расчлененка-крипота (новости и опять же сериалы и фильмы) можно, а вот писать про это текстом - ну вот вообще никак нельзя, а то не дай бог люди прочтут.

Большая дорогая компания - жлобы обыкновенные. Могут купить и имеют средства для этого, но предпочитают обворовывать авторов хороших идей и технологий, чтобы эти талантливые люди больше не создавали хороших идей и технологий, ибо а смысл, если потом большая богатая компания все украдет ради собственной наживы и ей ничего за это не будет.

А если еще вспомнить, что большая богатая компания еще и сама любит судиться за вообще незначительные мелочи вроде прямоугольной формы смартфона...

Часто людьми, которые говорят, что нужно переходить на новые инструменты - не затрагивается аспект того, что художникам может нравиться их вид деятельности, так же как разработчикам может нравится создание кода.

Никто не мешает художникам продолжать для удовольствия рисовать руками. Никто у них фотошоп, перо, карандаш и блокнот не отбирает. Для себя и своих фанатов можно продолжать творить как и раньше (как никто не мешает в эпоху кинематографичных ААА-игр делать инди-игры в стиле PS1 и наслаждаться игрой в них). Но это если делаешь именно потому что нравится. А не чтобы зарабатывать или быть популярным.

А вот чему мешает ИИ - это рисованию на коммерческой основе (или для удовлетворения ЧСВ), ибо создает сильную (и дешевую) конкуренцию. Но работа за деньги - это обычно не про удовольствие, а про дедлайны и заказчиков с ТЗ уровня "7 красных линий зеленым цветом".

Потому что в данном случае страдает перспектива творческого развития человечества. У людей станет меньше поводов создавать что-то самим, а для того чтобы создавать то, что ранее было творчеством - будет нужно значительно меньше людей - станет больше потребителей и меньше создателей. Шансов быть услышанным в потоке генерации будет все меньше, а у человека есть потребность в самовыражении.

Генерации рождаются не сами. Промт сочиняет человек. И чтобы получить что-то красивое и интересное, а не дженерик аниме девочку стоящую в центре кадра, надо обладать не только определенными навыками, но еще и видением, идеей и фантазией. А еще (пока что) желательно поработать руками над эскизом ДО генерации и довести до ума и совершенства работу после.
Я, например, всегда хотел рисовать, но дается мне это так себе, да и времени полноценно учиться в анатомию и улучшать скилл нету (тут бы кодерский актуальным поддерживать успевать). Релиз SD + пара кастомных своих Лор и файнтюнов + дешевый китайский экранник позволили мне, при ограниченном свободном времени и низком уровне навыков, всё же творить какой-никакой арт в более-менее вменяемом уровне качества для выкладывания на люди. Да, львиную долю покраса, анатомии и света на себя берет модель. Но ей дается и набросок на вход (кривой и страшный), и элементы лица/рук/анатомии и почти гарантированно всей одежды допиливается потом руками и (для выпрямления кривых мазюк на планшете) еще пару раз гоняется в img2img.
Так что напротив - больше людей получают возможность творчески самовыражаться за счет того, что сильно падает порог вхождения.

Да, достичь признания в 300к подписчиков в инсте будет сложно (а в виде работы не интересно - работа и так есть). Но - для этого ли всё делается? Для популярности и как работа? Или для удовольствия и самовыражения?

Нормальные художники давно взяли на вооружение нейросетки (как минимум Adobe Firefly), а не срачи в твиттерах разводят.

Нормальные выкладывающие в свободный доступ картинки художники осознают, что другие художники могут учиться на их стиле и пытаться его повторить (что нейронки и делают, и что не является нарушением если не является нарушением для человека) , и что по их работам может появляться фанарт (что нейронки и рисуют, и тут тоже мало отличий от человека, кроме скорости).

Звучит как дичь и подлог ради хайпа. Диффузионки способны оверфититься (на малых наборах, особенно с применением Лор со сверточными слоями) до почти полного повторения картики. И если картинка для человека выглядит нормально - то генерация будет выглядеть также. И даже эти их "отравленные пиксели" нейронкой просто воссоздадутся как есть, а не превратят собачку в котика.

Вангую, что данные "исследователи" просто сперва зашумили свои картинки, а потом вместо нормальных руками написанных корретных подписей, сгенерили по шумным некорректные автоматические через CLIP/BLIP/GPT4-V и учили на подписях не соответствующих картинкам, отсюда и такой результат.

Рутковский как раз этим и не был доволен - куда генераций в интернете с подписью "in style of Greg Rutkowsky" забила всю выдачу, из-за чего его настоящие работы стало сложнее найти.

ДРМ защищает закрытый платный контент. Фотостоки ватемарками тоже защищают закрытый платный контект, бесплатно выложив лишь искаженные превьюшки.
Выложенный в свободный доступ контент подразумевает что на него может смотреть кто угодно (не только белковые создания, взгляд цифрового создания на кремниевом носителе в этом плане мало отличается, как и взгляд поискового бота). Тут нет нелегального использования. Их контект никто не перепродает, не перевыкладывает, не тиражирует и не присваивает. Им лишь "вдохновляется", просто не человек. И далее производятся не копии их контента, а новый контент, лишь в схожей (не идентичной, поверьте, я очень пытался сделать идентичную) стилистике. Вот только стиль не является объектом авторского права и рисование в схожем стиле, но других (не охраняемых авторским правом) объектов не является нарушением чего либо. Я спокойно могу рисовать огромных боевых роботов и портреты аквариумных рыб в стиле Pixar - и они ничего мне за это не предъявят, пока я не рисую их персонажей.

Если художникам так уж хочется свой контент не выкладывать в свободный доступ, но при этом привлекать новых людей - они могут выкладывать 250*400 превьюшки, а полный прятать на патреон или просто за деньги полную версию отдавать.

И право — даже не только моральное.

Вы упускаете слово "товар". С бесплатными штуками, доступными всем просто потому что их автор решил их не прятать, это неработает. Автор такой штуки может делать с ней что хочет, как хочет и когда хочет (за искулючением явно незаконных действий).

Иначе вы находитесь в положении человека который подобрал и выкормил котёнка, а потом выбросил на улицу - потому что надоел и вообще мебель портит и в тапки ссыт.

Подменяете понятия. Автор находится в положении человека, который по доброте душевной какое-то время подкармливал (на улице, не забирая домой) котенка за свой счет. При этом никто не в праве требовать от человека чтобы он продолжал за свой счет кормить котов на улице.

Я конечно не эксперт по ЗП в США, и о её размерах мне из моей Беларуси судить сложно, но 3к $ в неделю это ~ в 3 раза больше чем выданная мне гуглом средняя зп за неделю в сша для мужчины за 1 квартал 2023. И это (согласно статье) нижний порог...

Справедливо. И в принципе правильно, если "платите больше, ибо инфляция, цены выросли, уровень жизни падает быстрее роста ЗП, etc". Но когда позиция "платите больше просто потому что сами то вы вон дофига зарабатываете" это ИМХО уже ну такое. Если кто-то хочет получать профит от успехов и роста прибыли компании - он покупает акции компании. И ловит как профит её успехов, так и все минусы её провалов. И тогда все более менее справедливо.

Т.е считать чужие деньги в чужих карманах и пытаться раскулачивать тех, кто сумел получить больший гешефт - это по вашему норм.

Есть работа. Есть стоимость её выполнения. За работу заплачено. Если кто-то вдруг результат этой работы сумел потом продать задорого - сама работа от этого сложнее не стала и выполнена также как и всегда- с чего бы её вдруг оплатить большей ставкой просто от того, что продажник уже со своей работой справился лучше? А то ваша логика Сапковского напоминаете, который задним числом с CDPR денег требовал, считая что успех игры его заслуга, хотя свои деньги давно получил и от условий (которые потом требовал) сам умышленно отказался.

Если сценарист считает, что он для выстреливших проектов сознательно делал лучше и вкладывал больше усилий (раз уж и денег просит больше), то логично предположить, что для провалившихся он в таком случае умышленно халтурил и уклонялся от выполнения должным образом оплаченно работы => удержать средства из зп.

А то как успех (в котором кроме них еще куча звеньев) - так всегда и себе приписать (это у нас крутой сценарий и дацте больше денях), а как провал - так всегда кто-то другой виноват (это зрители расисты и женоненавистники, а не сценарий гуано).

В этом то и профит (при всех минусах) выполнения работы за зарплату - ты свою работу честно сделал и за неё деньги свои получил. А дальше если не выстрелило (кокрунция на рынке, не пришло время, потребителю не зашло) - это не твоя вина и не твои проблемы. И если выстрелило - тоже не твоя вина.

P.S. ну и последний пример. Допустим вы условный мидл на рандомной IT-галере типа того же епама. Зарубежный заказчик захотел новый продукт и вы на аутсорсе ему запилили его, но на саппорте дальше уже команда заказчика. Через 2 года продукт заказчика разошелся миллиардными тиражами. Должен ли он вернуться с какими-то откатами к работникам аутсорс-галеры, или их труд таки уже был оплачен и дальнейшее уже не их заслуга?

Information

Rating
1,914-th
Location
Гомель, Гомельская обл., Беларусь
Date of birth
Registered
Activity