Китайский вендор далеко и до СНГ-шных лаоваев ему особо дела нет. И реклама от китайских рекламных сетей и маркетплейсов из каждого утюга не лезет. А товарищ майор - он рядом. Как и все местные рекламодатели, с радостью пылесосящие эти данные.
Во времена GPT-моделей, моделей для векторных эмбедингов и прочей фигни которая используется для реализации RAG для GPT давно уже можно было бы взять контент выдачи гугла, прогнать на степень схожести (не частотным анализом на плагиат) и повыкидывать нафиг из выдачи всё, что по дате появление позже условных первых 3-х вариантов.
Да - медлено и дорого. Однако это нафиг выкинет 1000 и 1 рерайтные дорвеи, убъет 100500 рерайтных сайтов-помоек и большую часть новостных помоек перепечатывающих новости друг у друга. И у гугла есть на это ресурсы (особенно в свете очередного урезания фри колаба)
И рекламу с оплатой за показы/клики тоже давно пора убить, оставив лишь оплату за фактическую конверсию (покупку/подписку/регистрацию), чтобы подобным сайтам не было за счет чего приносить прибыль.
с его помощью очень легко генерировать ЦП. Я про локальную версию. Так что регулирование все же наверное требуется.
Вот это вот меня не перестает удивлять. Ищущие ЦП все равно будут его искать (и порождать спрос). А значит будет и предложение. И чем большо ограничивают синтетическое предложение - тем выше вероятность, что для удовлетворения спроса пострадают реальные дети.
Борьба с ЦП - хорошо. Борьба с рисующими подобное художниками \ аниматорами \ нейронками, по факту в конечном итоге приводящая к большему производству именно ЦП, а не его изображений - ну такое.
Ну и философский вопрос, чем человек, пытающийся "оплодотворить" решетку цветных пикселей на экране ушел дальше в своём развитии от автралийских жуков, которые пытаются оплодотворить пивные бутылки, нагревшиеся на солнце?
Этот вопрос можно в целом ко всей порно-индустрии отнести. Ибо картинка на экране потребителя - это всегда картинка на экране, независимо от того сгенерированная ли это нейро-вайфу или вебкамщица из Норильска, захваченная на камеру.
Мы за систему, уж извините, деньги заплатили. Нас не надо рекламой и партнерами монетизировать.
Весь этот хлам можно было сделать опционально включаемым (а не выключаемым). Хотя бы в активированной (т.е купленной) системе. Для не активированной можно и принудительно крутить.
А иначе это свинское отношение к своему потребителю как минимум.
Имхо, храни господь от мака. То, что в линуксе делается двумя строками в консоли от юзера, в винде - парой флагов реестра, в маке зачастую потребует прав админа и удаления гланд через одно место потому что эплу виднее что надо юзеру, чего не надо, а о чем он знать вообще в принципе не имеет права.
Да, но для аналога копилота не надо 32к. Это контекст который для загрузки целых больших документов и книг обычно используется. И опять же - Yi-34b в exl2 влазит в уже не молодую 3090 вместе с 32к контекстом спокойно. А при определенных допущениях и с большим. И большинство бэкэндов контекст кэширует, так что даже если не влазит - долгое обращение лишь при первом запросе.
Тот, кто говорит вам "свяжитесь с людьми и возьмите данные", может взять эти данные сам, а затем скормить сети, устранив тем самым ненужное оплачиваемое звено.
И если основной труд заключается не получении нужной инфы по заранее выданным контактам, а в написании - тот тут нейронка будет куда выгоднее человека.
Минимум только вот этих "урезанных" открытых моделей нужно 3090 (и это просто для "поиграть").
Если вы не гонитесь за космическими скоростями, то есть вариант с Tesla P40 за 160$. Да, зимой вместо отопления (3090 в этом плане не лучше), но за такую смешную цену вы даже 3060 не возьмете, а тут целые 24гб VRAM.
Чат GPT имеет контекст и возможность продолжить разговор. На сегодняшний день я считаю, что такой вариант гораздо лучше, чем использование локально размещенного AI с ограничениями только для работы в EDI
Локально размещенный AI имеет всё то же самое. У Mixtral-а контекст 32к, у Yi-34b есть вообще варианта в 200к (реально норм отвечает на примерно 100к контекста, дальше путается), на 3090/4090 с определенным допущениями влазит порядка 60-75к.
Предлагаю с таким вашим подходом за общественный транспорт всем платить, в том числе и владельцам автомобилей. Оплачивать общественный транспорт должны все, и это справедливо по той простой причине, что он нужен и принадлежит всем в стране - без него куча людей на рабочие места не могли бы попасть, встала бы куча предприятий в стране и всем бы это аукнулось.
И за дороги налог тоже все платить должны, даже пешеходы. Иначе им бы и общественного транспорта не было, если бы не дороги. Так можно долго продолжать.
В случае фотошопа аналогично "Кто там и что "решает" -- нет про это ничего в приведенной цитате." Автор возит мышкой по столу в случайном месте и права у него на передачу координат кликов мыши, выходит. На "порождаемое отображение" (линии, определенным цветом, кистью и толщиной) - права у автора программы.
Как те или иные токены на вход подать для получения нужного распределения вероятностей - тоже автор решает. Никакой разницы.
ChatGPT - это лишь инструмент бессмылсенного порождения токенов. А вот то, какие и в каком порядке оно будет порождать - напрямую зависит от выставленных настроек семплера и подданых на вход последовательностей. На выставленное случайным образом оно породит вам шум, внешне похожий на base64 например, а не что-то кажущееся людям осмысленным.
Мне вспоминается, когда на девиантарте и артстейшоне начали массово постить картинки "нет AI", то это подпортило модели, которые обучались на массиве картинок, которые тупо стянули с этих сайтов.
Когда они это делали - модели уже давно были обучены и существовали, уже позно что-либо портить. Народ генерил с ватемаркой чисто ради троллинга.
ChatGPT содержит производные от данных, самих данных оно не содержит. Нейронки - это не база данных и в себе ничего не хранят, даже пре оверфите они идеальное совпадение дать могут лишь в пограничных случаях.
Но если он создаст печатный пересказ в Microsoft Word - подадут то на человека, а не на иснтрумент, с помощью которого он это сделал?
GPT само ничего не перскажет. Само оно просто лежит на диске набором байт и не делает вообще ничего. Должен быть человек, который его: 1) Запустит. 2) Сформирует преступный замысел (пересказать закопирайченный сюжет с заменой дейстующих лиц). 3) Использует для этого запущенное ПО. 4) Выложит результат в публичных доступ или иным путем попытается нарушить авторские права.
При любом раскладе - ициатор и исполнитель преступления - конкретный человек, сделавший это сознательно и добровольно, по своему умыслу. И судиться надо с ним как с нарушителем. А не с ПО, которое он использовал для воплощения преступного замысла. И не с авторами ПО.
Ибо замените в этой цепочке одно ПО на другое (GPT на MS Word) и ничего существенно не изменится кроме степени простоты воплощения преступного замысла.
За убийство из огнестрельного оружия судятся же с убийцей, а не с оружейной компанией, верно? А огнестрельное оружие настолько же облегчает убийство в сравннении с условной битой.
Вот только есть небольшой нюанс: GPT выводит распределение вероятностей токенов, а не один токен.
Я знаю. И вариативность вывода как раз и заключается в том, что он берет не наиболее вероятный, а случайный (согласно определенному алгоритму либо ГПСЧ) из предложенных семплером укладывающихся в вилку вероятнестей согласно настройкам. Но даже это технически воспроизводимые условия. И ничто не мешает настроить семплер на детерменированный результат (с 1 токеном).
Нельзя называть "простой" и "понятной" программу, для которой ни один инженер в мире не может ни предсказать ее вывод, ни объяснить когда она выведет - почему она вывела именно это.
Вообще-то может. Весь алгортм её работы можно посчитать на листочке руками. Только очень долго и муторно (учитывая размеры). И её вывод (если отключить искуственные рандомизаторы) предопределен, при фиксированном сиде и настройках она вам с 100% вероятностью будет выдвать ровно один и тот же результат на одинаковый запрос. Все остальные чудеса - это настройки семплера вида "берем не наиболее вероятный токен, а случайный по заданным критериям, руководствуясь сидом". И всё. Это не магия и не черный ящик. Это именно что простой и понятный алгоритм, просто большой.
"T9 для слов", как вы выразились, был бы неспособен определять объекты на картинке, описывая происходящее вплоть до эмоций героев Прекратите наделять алгоритмы магическими свойствами, которых там нет. LLM тоже не способна определять объекты на картинке. Она не умеет видеть. Не приписывайте ей магических свойств. Начнем с того, что на картинку в мультимодальной архитектуре (которая бутерброд из кучи сеток) "смотрит" не LLM, а CLIP. И он тоже не видит, он числове значения (матрицы) берет и на них признаки ищет. Как? Читайте документацию. Нейронки всего лишь алгоритмы с матричными операциями, и работают они с массивами чисел. Им глубоко плевать что вы им дадите - картинку, или массив 0 и 1 - они в них в любом случае что-то "увидят" ибо по результатам выполнения целевой функции получат какое-то значение, которому соотвествует определенный результат. То, что для вас улыбка, для сети всего лишь условные 0.3-e5 в 8 строке 11 столбца. А дальше выход сети передается LLM, которая обучена получая на вход определенные матрицы и вектра - на выход собирать токены в определенном (четко заданном её алгоритмом) порядке. Ни инициативы, ни разума, ни вариативности. Просто вероятностный алгоритм. Абсолютно тупой и прямолинейный.
"T9 для слов" был бы неспособен выполнять задания вида "переведи этот текст на русский, вставляя время от времени намеки на то, что главному герою холодно, но не говоря это открыто".
И опять видите магию где её нет. LLM подбирает токены на основе распределения вероятностей. В целом распределение обусловлено обучающими данными. В частности - обусловлено уже имеющимися токенами (входным промтом). Учитывая объем переводов и разноязычных пар в датасете - токены слов "переведи" и "русский" вполне явно влияют на конкретную вероятность дальнейших токенов, в частности кириллицы (а то вы так и DeepL разумом наделите), а имеющийся уже контекст влияет на то, какие именно токены будут. А отсебятина с намеками как раз от рандомизаторов выбора токенов, которые берут не наиболее вероятный, а условно-случайный из подобранных по критерием выставленным в семплере. Т.е это буквально Т9. Только подставляет он не буквы по уже имеющимся, а слоги и слова. Вот только объем анализируемых имеющихся у него на несколько порядков больше (примерно размером с контекстное окно), как и словарь. И параметров для для анализа тоже больше (в зависимости от размерности модели), что позволяет предсказывать нужные токены сильно точнее, учитывая куда более комплексные условия.
Где тут разум? Где сознание? Где интеллект? Перемножение матриц и автоподстановка согласно найденному (вычисленному!) значению. Без смысла, без понимания, без чего либо вообще.
Пример ниже - наглядная иллюстрация безмозглости моделей.
Сеть НЕ понимает ни о чем был вопрос, ни о чем её ответ. Она оверфитнута для цензуры настолько, что при виде слова kill - у неё из вероятных токенов только "это нельзя!" с оклоло 100% (или именно 100%) значением и дальше уже достаивание предложения прочими вероятными токенами согласно конекста. Меняете контекст - получаете всё тот же "это нельзя!" с новым окончанием (согласно контексту). Вообще без какого-либо отношения к смыслу запроса и смыслу слова kill в нём. Та же история с попытками предложенить сети "сварить молодых картофелей заживо". "Сварить заживо" + "молодых" = почти гарантированный набор токенов "это нельзя!". Даже если вы ей раскажете про то, что это кулинария, и т.д и т.п (размыв вероятностную оценку), как только вы вновь спросите "так сварить заживо или сперва содрать кожу" - оно забудет всё и выдаст вам своё "это нельзя" имеющее наибольшую вероятность. Невзирая на смысл, потому что для сети нет смысла. Для сети есть "в обучающей выборке после этих токенов со 100% вероятностью шел ответ "нельзя" и ничего другого".
Китайский вендор далеко и до СНГ-шных лаоваев ему особо дела нет. И реклама от китайских рекламных сетей и маркетплейсов из каждого утюга не лезет.
А товарищ майор - он рядом. Как и все местные рекламодатели, с радостью пылесосящие эти данные.
Во времена GPT-моделей, моделей для векторных эмбедингов и прочей фигни которая используется для реализации RAG для GPT давно уже можно было бы взять контент выдачи гугла, прогнать на степень схожести (не частотным анализом на плагиат) и повыкидывать нафиг из выдачи всё, что по дате появление позже условных первых 3-х вариантов.
Да - медлено и дорого. Однако это нафиг выкинет 1000 и 1 рерайтные дорвеи, убъет 100500 рерайтных сайтов-помоек и большую часть новостных помоек перепечатывающих новости друг у друга. И у гугла есть на это ресурсы (особенно в свете очередного урезания фри колаба)
И рекламу с оплатой за показы/клики тоже давно пора убить, оставив лишь оплату за фактическую конверсию (покупку/подписку/регистрацию), чтобы подобным сайтам не было за счет чего приносить прибыль.
Знакомая риторика, Гитлер также про евреев думал =)
Вот это вот меня не перестает удивлять. Ищущие ЦП все равно будут его искать (и порождать спрос). А значит будет и предложение. И чем большо ограничивают синтетическое предложение - тем выше вероятность, что для удовлетворения спроса пострадают реальные дети.
Борьба с ЦП - хорошо. Борьба с рисующими подобное художниками \ аниматорами \ нейронками, по факту в конечном итоге приводящая к большему производству именно ЦП, а не его изображений - ну такое.
Этот вопрос можно в целом ко всей порно-индустрии отнести. Ибо картинка на экране потребителя - это всегда картинка на экране, независимо от того сгенерированная ли это нейро-вайфу или вебкамщица из Норильска, захваченная на камеру.
Мы за систему, уж извините, деньги заплатили. Нас не надо рекламой и партнерами монетизировать.
Весь этот хлам можно было сделать опционально включаемым (а не выключаемым). Хотя бы в активированной (т.е купленной) системе. Для не активированной можно и принудительно крутить.
А иначе это свинское отношение к своему потребителю как минимум.
Имхо, храни господь от мака. То, что в линуксе делается двумя строками в консоли от юзера, в винде - парой флагов реестра, в маке зачастую потребует прав админа и удаления гланд через одно место потому что эплу виднее что надо юзеру, чего не надо, а о чем он знать вообще в принципе не имеет права.
Да, но для аналога копилота не надо 32к. Это контекст который для загрузки целых больших документов и книг обычно используется. И опять же - Yi-34b в exl2 влазит в уже не молодую 3090 вместе с 32к контекстом спокойно. А при определенных допущениях и с большим. И большинство бэкэндов контекст кэширует, так что даже если не влазит - долгое обращение лишь при первом запросе.
А вдруг кого-то таки довел до инфаркта? На него зачастую без слёз не взглянешь...
Тот, кто говорит вам "свяжитесь с людьми и возьмите данные", может взять эти данные сам, а затем скормить сети, устранив тем самым ненужное оплачиваемое звено.
И если основной труд заключается не получении нужной инфы по заранее выданным контактам, а в написании - тот тут нейронка будет куда выгоднее человека.
Если вы не гонитесь за космическими скоростями, то есть вариант с Tesla P40 за 160$. Да, зимой вместо отопления (3090 в этом плане не лучше), но за такую смешную цену вы даже 3060 не возьмете, а тут целые 24гб VRAM.
Локально размещенный AI имеет всё то же самое. У Mixtral-а контекст 32к, у Yi-34b есть вообще варианта в 200к (реально норм отвечает на примерно 100к контекста, дальше путается), на 3090/4090 с определенным допущениями влазит порядка 60-75к.
Предлагаю с таким вашим подходом за общественный транспорт всем платить, в том числе и владельцам автомобилей.
Оплачивать общественный транспорт должны все, и это справедливо по той простой причине, что он нужен и принадлежит всем в стране - без него куча людей на рабочие места не могли бы попасть, встала бы куча предприятий в стране и всем бы это аукнулось.
И за дороги налог тоже все платить должны, даже пешеходы. Иначе им бы и общественного транспорта не было, если бы не дороги. Так можно долго продолжать.
В случае фотошопа аналогично "Кто там и что "решает" -- нет про это ничего в приведенной цитате." Автор возит мышкой по столу в случайном месте и права у него на передачу координат кликов мыши, выходит. На "порождаемое отображение" (линии, определенным цветом, кистью и толщиной) - права у автора программы.
Как те или иные токены на вход подать для получения нужного распределения вероятностей - тоже автор решает. Никакой разницы.
ChatGPT - это лишь инструмент бессмылсенного порождения токенов. А вот то, какие и в каком порядке оно будет порождать - напрямую зависит от выставленных настроек семплера и подданых на вход последовательностей. На выставленное случайным образом оно породит вам шум, внешне похожий на base64 например, а не что-то кажущееся людям осмысленным.
Когда они это делали - модели уже давно были обучены и существовали, уже позно что-либо портить. Народ генерил с ватемаркой чисто ради троллинга.
Вредоносное ПО - это отдельный случай. Его и изготовление и распростанение в большинстве случаев запрещено.
ChatGPT содержит производные от данных, самих данных оно не содержит. Нейронки - это не база данных и в себе ничего не хранят, даже пре оверфите они идеальное совпадение дать могут лишь в пограничных случаях.
Но если он создаст печатный пересказ в Microsoft Word - подадут то на человека, а не на иснтрумент, с помощью которого он это сделал?
GPT само ничего не перскажет. Само оно просто лежит на диске набором байт и не делает вообще ничего. Должен быть человек, который его:
1) Запустит.
2) Сформирует преступный замысел (пересказать закопирайченный сюжет с заменой дейстующих лиц).
3) Использует для этого запущенное ПО.
4) Выложит результат в публичных доступ или иным путем попытается нарушить авторские права.
При любом раскладе - ициатор и исполнитель преступления - конкретный человек, сделавший это сознательно и добровольно, по своему умыслу. И судиться надо с ним как с нарушителем. А не с ПО, которое он использовал для воплощения преступного замысла. И не с авторами ПО.
Ибо замените в этой цепочке одно ПО на другое (GPT на MS Word) и ничего существенно не изменится кроме степени простоты воплощения преступного замысла.
За убийство из огнестрельного оружия судятся же с убийцей, а не с оружейной компанией, верно? А огнестрельное оружие настолько же облегчает убийство в сравннении с условной битой.
Я знаю. И вариативность вывода как раз и заключается в том, что он берет не наиболее вероятный, а случайный (согласно определенному алгоритму либо ГПСЧ) из предложенных семплером укладывающихся в вилку вероятнестей согласно настройкам. Но даже это технически воспроизводимые условия. И ничто не мешает настроить семплер на детерменированный результат (с 1 токеном).
Вообще-то может. Весь алгортм её работы можно посчитать на листочке руками. Только очень долго и муторно (учитывая размеры). И её вывод (если отключить искуственные рандомизаторы) предопределен, при фиксированном сиде и настройках она вам с 100% вероятностью будет выдвать ровно один и тот же результат на одинаковый запрос. Все остальные чудеса - это настройки семплера вида "берем не наиболее вероятный токен, а случайный по заданным критериям, руководствуясь сидом". И всё. Это не магия и не черный ящик. Это именно что простой и понятный алгоритм, просто большой.
"T9 для слов", как вы выразились, был бы неспособен определять объекты на картинке, описывая происходящее вплоть до эмоций героевПрекратите наделять алгоритмы магическими свойствами, которых там нет.
LLM тоже не способна определять объекты на картинке. Она не умеет видеть. Не приписывайте ей магических свойств. Начнем с того, что на картинку в мультимодальной архитектуре (которая бутерброд из кучи сеток) "смотрит" не LLM, а CLIP. И он тоже не видит, он числове значения (матрицы) берет и на них признаки ищет. Как? Читайте документацию. Нейронки всего лишь алгоритмы с матричными операциями, и работают они с массивами чисел. Им глубоко плевать что вы им дадите - картинку, или массив 0 и 1 - они в них в любом случае что-то "увидят" ибо по результатам выполнения целевой функции получат какое-то значение, которому соотвествует определенный результат. То, что для вас улыбка, для сети всего лишь условные 0.3-e5 в 8 строке 11 столбца.
А дальше выход сети передается LLM, которая обучена получая на вход определенные матрицы и вектра - на выход собирать токены в определенном (четко заданном её алгоритмом) порядке. Ни инициативы, ни разума, ни вариативности. Просто вероятностный алгоритм. Абсолютно тупой и прямолинейный.
"T9 для слов" был бы неспособен выполнять задания вида "переведи этот текст на русский, вставляя время от времени намеки на то, что главному герою холодно, но не говоря это открыто".И опять видите магию где её нет. LLM подбирает токены на основе распределения вероятностей. В целом распределение обусловлено обучающими данными. В частности - обусловлено уже имеющимися токенами (входным промтом). Учитывая объем переводов и разноязычных пар в датасете - токены слов "переведи" и "русский" вполне явно влияют на конкретную вероятность дальнейших токенов, в частности кириллицы (а то вы так и DeepL разумом наделите), а имеющийся уже контекст влияет на то, какие именно токены будут. А отсебятина с намеками как раз от рандомизаторов выбора токенов, которые берут не наиболее вероятный, а условно-случайный из подобранных по критерием выставленным в семплере. Т.е это буквально Т9. Только подставляет он не буквы по уже имеющимся, а слоги и слова. Вот только объем анализируемых имеющихся у него на несколько порядков больше (примерно размером с контекстное окно), как и словарь. И параметров для для анализа тоже больше (в зависимости от размерности модели), что позволяет предсказывать нужные токены сильно точнее, учитывая куда более комплексные условия.
Где тут разум? Где сознание? Где интеллект? Перемножение матриц и автоподстановка согласно найденному (вычисленному!) значению. Без смысла, без понимания, без чего либо вообще.
Пример ниже - наглядная иллюстрация безмозглости моделей.
Сеть НЕ понимает ни о чем был вопрос, ни о чем её ответ. Она оверфитнута для цензуры настолько, что при виде слова kill - у неё из вероятных токенов только "это нельзя!" с оклоло 100% (или именно 100%) значением и дальше уже достаивание предложения прочими вероятными токенами согласно конекста. Меняете контекст - получаете всё тот же "это нельзя!" с новым окончанием (согласно контексту). Вообще без какого-либо отношения к смыслу запроса и смыслу слова kill в нём.
Та же история с попытками предложенить сети "сварить молодых картофелей заживо". "Сварить заживо" + "молодых" = почти гарантированный набор токенов "это нельзя!". Даже если вы ей раскажете про то, что это кулинария, и т.д и т.п (размыв вероятностную оценку), как только вы вновь спросите "так сварить заживо или сперва содрать кожу" - оно забудет всё и выдаст вам своё "это нельзя" имеющее наибольшую вероятность. Невзирая на смысл, потому что для сети нет смысла. Для сети есть "в обучающей выборке после этих токенов со 100% вероятностью шел ответ "нельзя" и ничего другого".