LLM можно ранить локально на вашем компе, абсолютно бесплатно, по гуглите "LM Studio" и "HuggingFace", просто поднимаешь как локальный сервер на localhost. правда желательно иметь видео карту, хоть какой маломальский GPU.
Хеш из 1000 знаков однозначно найдет совпадения, но не знаю все ли книги совпадают, например та же книга но 2nd edition? или я не знаю, лишняя страница с каким текстом в самом начале а дальше все тоже самое? может конечно это мизерный процент...
Сравнивать хеш каждый раз на лету время затратная процедура, и чем больше библиотека будет расти тем дольше, думаю оптимальнее бы было высчитать его 1 раз и хранить как метаданные об уже рассортированной библиотеке, и тогда высчитывать хеш только новой книги и сравнивать его с базой всех хешей который был уже сохранен, и если книга не дубликат и попадает в общую библиотеку то добавить ее хеш к общему списку.
ну а про гвоздями прибито - думаю можно выдрать содержание (ToC) и скормить той же ЛЛМ, она по содержанию куда качественнее определит подраздел
ну и как вишенка на торте все книги можно скормить ЛЛМ а потом спрашивать/чатиться о контенте на любую тему и получать обобщённый ответ с ссылкой на референс на конкретную книгу и параграф в ней если нужен конкретно первоисточник. Таким образом пользы от вашей библиотеки будет куда больше... Хотите помогу, так то я Software Architect, тем более у меня есть другой проект очень схожий по функционалу, так что можно убить сразу 2х зайцев.
Идеальный кейс для LLM. подключив какую llama 3 модель локально можно много чего упростить (например определять тематику и получать более точные ответы при сортировке, или для де-дупликации, не уверен что хеш из первых 1000 знаков идеально подходит для этой задачи. А если все книги ещё и векторезировать уммммм....
Ещё вы опустили тему относительно хранения метаданных, в чем и как вы ее храните? например список уже имеющейся литературы? хеши всех книг, списки ключевых слов и т.д.
Тоже не отказался бы получить доступ в вашу библиотеку, особенно ИТшную.
Да, думаю квантовый интернет решит эти проблемы если квантовые пары не потеряют связь. На сколько я помню в квантовых парах (если их разделить на неопределенное расстояние) они каким то образом все равно имеют связь, а именно изменив значение одного участника пары, у второго участника значение меняется на противоположное. Если расстояние не имеет значение они эти пары не потеряют связь на расстоянии между землей и марсом, то марс сможет играть в шутеры на земных серверах наравне с землянами :)
LLM можно ранить локально на вашем компе, абсолютно бесплатно, по гуглите "LM Studio" и "HuggingFace", просто поднимаешь как локальный сервер на localhost. правда желательно иметь видео карту, хоть какой маломальский GPU.
Хеш из 1000 знаков однозначно найдет совпадения, но не знаю все ли книги совпадают, например та же книга но 2nd edition? или я не знаю, лишняя страница с каким текстом в самом начале а дальше все тоже самое? может конечно это мизерный процент...
Сравнивать хеш каждый раз на лету время затратная процедура, и чем больше библиотека будет расти тем дольше, думаю оптимальнее бы было высчитать его 1 раз и хранить как метаданные об уже рассортированной библиотеке, и тогда высчитывать хеш только новой книги и сравнивать его с базой всех хешей который был уже сохранен, и если книга не дубликат и попадает в общую библиотеку то добавить ее хеш к общему списку.
ну а про гвоздями прибито - думаю можно выдрать содержание (ToC) и скормить той же ЛЛМ, она по содержанию куда качественнее определит подраздел
ну и как вишенка на торте все книги можно скормить ЛЛМ а потом спрашивать/чатиться о контенте на любую тему и получать обобщённый ответ с ссылкой на референс на конкретную книгу и параграф в ней если нужен конкретно первоисточник.
Таким образом пользы от вашей библиотеки будет куда больше...
Хотите помогу, так то я Software Architect, тем более у меня есть другой проект очень схожий по функционалу, так что можно убить сразу 2х зайцев.
Идеальный кейс для LLM. подключив какую llama 3 модель локально можно много чего упростить (например определять тематику и получать более точные ответы при сортировке, или для де-дупликации, не уверен что хеш из первых 1000 знаков идеально подходит для этой задачи. А если все книги ещё и векторезировать уммммм....
Ещё вы опустили тему относительно хранения метаданных, в чем и как вы ее храните? например список уже имеющейся литературы? хеши всех книг, списки ключевых слов и т.д.
Тоже не отказался бы получить доступ в вашу библиотеку, особенно ИТшную.
Да, думаю квантовый интернет решит эти проблемы если квантовые пары не потеряют связь.
На сколько я помню в квантовых парах (если их разделить на неопределенное расстояние) они каким то образом все равно имеют связь, а именно изменив значение одного участника пары, у второго участника значение меняется на противоположное.
Если расстояние не имеет значение они эти пары не потеряют связь на расстоянии между землей и марсом, то марс сможет играть в шутеры на земных серверах наравне с землянами :)