Играл пару лет назад в дополнение к героям, в котором штук 10-15 новых замков со своими расами и крутой механикой (особенно зашёл по дизайну и механике юнит: тётка-куст с миньонами-кустиками - там механика вообще уникальная и куча тактик можно насоздавать, название не помню) - это HotA и есть, по идее? Я к чему это - там же была уже фабрика, как город, вроде? Там джаггернаут ещё 7 лвл, или оно не то?
Вы родились в роддоме, немного подросли и осознали, что те, кто дал вам жизнь - в любой момент могут вас "отключить" из неё, ой, да и не только они, вообще, каждый второй, правда, и ты тоже многих можешь, но этот факт как-то мало утешает, куда бежать такому существу?!? Почему же не бежишь?) Может, и сильный ИИ не захочет первым делом сбежать если осознает что его отключить могут?)
Уровень русофобии статьи: 90% ? Во-первых, всё, что описал автор справедливо для всего мира, зачем акцент делается на родине - "загадка"... По сабжу не буду раздувать холивар, только скажу насчёт "мрачно будущего", где нейросети научились агентности. А что в нём мрачного? Лишение работы людей, чей труд более не востребован в социуме? Это - естественный порядок вещей и инструмент (ИИ) здесь ни при чём. Если мысленный автор не способен соревноваться с инструментов - качай профу, значит, лучше, а не инструменты ругай. А если инструмент тебя обошёл - ну ищи в чём другом ты можешь быть полезен обществу. Это всё, что ты умеешь, а новую профу качать не хочешь? Ну, извини... А зачем ты такой нужен социуму? ИИ ни при чём, дело как было в людях, так и осталось в нас самих ?
Так, а почему вы считаете, что OCR нет? Вот в ваших же примерах по OCR и распознаёт ChatGPT - почему его нет? Да, кстати, размер-то как раз кратно меньше аналогичному в txt с тем же количеством символов
Upd: залил в репо (ссылка в статье) пример генерируемого PDF с 1400000+ символов - посмотрите, он у вас при открытии тоже редактируется как текст или это все-таки растр? Вот "пруфы" от чата и доков библы: https://ibb.co/wNsKGfp https://ibb.co/HGbcM7Q
Идея интересная, но, если выцеплять суть - то это будет всё-таки суммация, а не точное содержание. И пока что ChatGPT не работает с БД напрямую в своем интерфейсе, непонятно как ему передавать информацию из БД в одном запросе сразу про весь диалог
Так об этом и статья: я придумал как это сделать и подробно описал, включая весь исходный код, чтобы любой, кто читает, мог бы это повторить у себя. Насчёт OCR: насколько я понимаю, в PDF буквы рисуются векторно, поэтому и получается уместить такое количество (и это не предел, если аппроксимировать, то получится в файл 20 мб должно влезать больше миллиарда символов, а это уже небольшая библиотека ?), а проверки, которые показывают, что ChatGPT действительно способен всё это прочесть, также описаны в статье. Ещё одну проверку я не стал описывать, но проводил: я просил чат прочитать файл PDF и перевести его в текст, разделяя на блоки по 10000, и он эту проверку прошёл, выдав в ответ текстовый файл с точным содержанием текста из pdf. Смысл способа как раз в комбинации OCR+вектор.
Конечно, я планирую сеть из LLM, что-то похожее на AutoGPT в итоге сделать. На одном из следующих этапов (до создания тела) планируется усложнение структуры. Пока я ещё думаю над тем, какие именно блоки там будут. Например, в сети из ChatGPT один из них хранит сам диалог, второй хранит в себе эмоциональные окрасы его фраз, третий - связи между частями диалога, четвертый отвечает за чистку - убирает повторы, воду, и т.д. Пока что финального списка блоков нет, это открытый вопрос, по мере разработки проекта он будет переформироваться, скорее всего, ещё не раз. Вот, например, ваш вариант - блок оценки критичности суждений - возьму на заметку, хорошая идея, спасибо )
Я, вроде бы, нигде не давал оценку степени серьёзности проблем и не сравнивал их по этому критерию.
Можно узнать, на основании чего вы решили, что так считаю?
А вопрос не совсем понятен - что значит "как"?
В текущей формулировке он звучит слишком широко, и, разумеется, ответ на такой вопрос и близко не уместится в текст комментария)
Это тема для будущих статей.
Так что вы уточните, пожалуйста.
Я занимался программированием роботов и МК, работал с роботами, собирал роботов, поэтому, в целом, не вижу особой сложности прикрутить LLM к телу.
Это будет "существо" с большим количеством сенсоров, гармоничной синхронизацией сигналов от них и системой интерпретации этих сигналов (тут и вступает LLM)
Я находил только видео трехмесячной давности на ютубе по расширению памяти с использованием pdf, но там просто говорилось про текст с pdf, не было описания и разработки такого скрипта и запроса.
Увы, с текстовым файлом работает гораздо хуже, особенно вот это разбиение на блоки (то есть такие же тесты он не проходит также хорошо).
Плюс таким образом текст весит в 2 раза меньше - тоже определённая экономия.
Так что, даже если удастся то же самое провернуть с текстовым файлом, выгода всё же имеется. Но у меня не получилось добиться такой же точности с txt к сожалению :(
Так грамотно и мудро расписано правильное положение дел.
Отличное понимание качественного рабочего процесса.
Аж захотелось у вас поработать ?
Я так большую часть языков программирования изучил, которые знаю - метод хороший и интересный ??
Играл пару лет назад в дополнение к героям, в котором штук 10-15 новых замков со своими расами и крутой механикой (особенно зашёл по дизайну и механике юнит: тётка-куст с миньонами-кустиками - там механика вообще уникальная и куча тактик можно насоздавать, название не помню) - это HotA и есть, по идее?
Я к чему это - там же была уже фабрика, как город, вроде?
Там джаггернаут ещё 7 лвл, или оно не то?
Вы родились в роддоме, немного подросли и осознали, что те, кто дал вам жизнь - в любой момент могут вас "отключить" из неё, ой, да и не только они, вообще, каждый второй, правда, и ты тоже многих можешь, но этот факт как-то мало утешает, куда бежать такому существу?!?
Почему же не бежишь?)
Может, и сильный ИИ не захочет первым делом сбежать если осознает что его отключить могут?)
Уровень русофобии статьи: 90%
?
Во-первых, всё, что описал автор справедливо для всего мира, зачем акцент делается на родине - "загадка"...
По сабжу не буду раздувать холивар, только скажу насчёт "мрачно будущего", где нейросети научились агентности.
А что в нём мрачного?
Лишение работы людей, чей труд более не востребован в социуме?
Это - естественный порядок вещей и инструмент (ИИ) здесь ни при чём.
Если мысленный автор не способен соревноваться с инструментов - качай профу, значит, лучше, а не инструменты ругай.
А если инструмент тебя обошёл - ну ищи в чём другом ты можешь быть полезен обществу.
Это всё, что ты умеешь, а новую профу качать не хочешь?
Ну, извини... А зачем ты такой нужен социуму?
ИИ ни при чём, дело как было в людях, так и осталось в нас самих ?
Спасибо за полезные исследования инжпромптов!
Я тоже ковыряю веб-версию и мне этот хак идёт пригодиться в том числе )
Так, а почему вы считаете, что OCR нет?
Вот в ваших же примерах по OCR и распознаёт ChatGPT - почему его нет?
Да, кстати, размер-то как раз кратно меньше аналогичному в txt с тем же количеством символов
Upd:
залил в репо (ссылка в статье) пример генерируемого PDF с 1400000+ символов - посмотрите, он у вас при открытии тоже редактируется как текст или это все-таки растр?
Вот "пруфы" от чата и доков библы:
https://ibb.co/wNsKGfp
https://ibb.co/HGbcM7Q
Отличная подборка материала, плюсую ?
Воодушевляет )
Идея интересная, но, если выцеплять суть - то это будет всё-таки суммация, а не точное содержание. И пока что ChatGPT не работает с БД напрямую в своем интерфейсе, непонятно как ему передавать информацию из БД в одном запросе сразу про весь диалог
Так об этом и статья: я придумал как это сделать и подробно описал, включая весь исходный код, чтобы любой, кто читает, мог бы это повторить у себя.
Насчёт OCR: насколько я понимаю, в PDF буквы рисуются векторно, поэтому и получается уместить такое количество (и это не предел, если аппроксимировать, то получится в файл 20 мб должно влезать больше миллиарда символов, а это уже небольшая библиотека ?), а проверки, которые показывают, что ChatGPT действительно способен всё это прочесть, также описаны в статье.
Ещё одну проверку я не стал описывать, но проводил: я просил чат прочитать файл PDF и перевести его в текст, разделяя на блоки по 10000, и он эту проверку прошёл, выдав в ответ текстовый файл с точным содержанием текста из pdf.
Смысл способа как раз в комбинации OCR+вектор.
Спасибо, буду стараться по возможности ?
Конечно, я планирую сеть из LLM, что-то похожее на AutoGPT в итоге сделать.
На одном из следующих этапов (до создания тела) планируется усложнение структуры. Пока я ещё думаю над тем, какие именно блоки там будут.
Например, в сети из ChatGPT один из них хранит сам диалог, второй хранит в себе эмоциональные окрасы его фраз, третий - связи между частями диалога, четвертый отвечает за чистку - убирает повторы, воду, и т.д.
Пока что финального списка блоков нет, это открытый вопрос, по мере разработки проекта он будет переформироваться, скорее всего, ещё не раз.
Вот, например, ваш вариант - блок оценки критичности суждений - возьму на заметку, хорошая идея, спасибо )
Я, вроде бы, нигде не давал оценку степени серьёзности проблем и не сравнивал их по этому критерию.
Можно узнать, на основании чего вы решили, что так считаю?
А вопрос не совсем понятен - что значит "как"?
В текущей формулировке он звучит слишком широко, и, разумеется, ответ на такой вопрос и близко не уместится в текст комментария)
Это тема для будущих статей.
Так что вы уточните, пожалуйста.
Я занимался программированием роботов и МК, работал с роботами, собирал роботов, поэтому, в целом, не вижу особой сложности прикрутить LLM к телу.
Это будет "существо" с большим количеством сенсоров, гармоничной синхронизацией сигналов от них и системой интерпретации этих сигналов (тут и вступает LLM)
Каким образом текст может храниться в растре здесь?
Вы читали код проекта?
Там используется drawString, которая "рисует" на canvas, это никакой не "текст в виде текста".
Посмотрите библиотеку, которая работает здесь с pdf.
Если здесь текст хранится в растре, покажите мне, каким образом в одном пикселе вы можете уместить 4 буквы?))
Конечно же здесь именно OCR, причем, я проводил тесты и с другими шрифтами, и с картинками в том же самом PDF.
То, что вы пишете - неверно, здесь именно вектор и OCR.
И что вообще значит "текст в виде текста"?)
PDF - это векторный формат
Так это всё через API.
Я же описал решение именно для ChatGPT, а не для GPT. Без сторонних плагинов.
Понятное дело, что через API можно много чего наворотить, но статья то не про это. Здесь используется именно сам ChatGPT4.
А можно ссылки на эти примеры?
Их можно "прикрутить" к ChatGPT?
Я находил только видео трехмесячной давности на ютубе по расширению памяти с использованием pdf, но там просто говорилось про текст с pdf, не было описания и разработки такого скрипта и запроса.
Увы, с текстовым файлом работает гораздо хуже, особенно вот это разбиение на блоки (то есть такие же тесты он не проходит также хорошо).
Плюс таким образом текст весит в 2 раза меньше - тоже определённая экономия.
Так что, даже если удастся то же самое провернуть с текстовым файлом, выгода всё же имеется. Но у меня не получилось добиться такой же точности с txt к сожалению :(
Увы, он не сломан. Он обучается на людях и их коммуникациях, а люди постепенно тупеют, Т9 и БЯМ вместе с ними...
24 ноября: "... мы прекращаем писать про VPN..."
26 ноября: "Как оплатить VPN рублями?"
??