[V] просто токенизируется, тут не происходит нормировки его веса.
Всмысле чем отличается? Мы заставляем модель не забывать абстрактные признаки и получаем лучше результат. Если датасет для до обучения большой буст от его использования будет меньше, но все равно будет
Да, гугл уверял что гугл асистент даже не подает напряжение на микрофон пока вы не скажете команду Okey Google. Не знаю почему все так сильно параноят по собственной безопастности???
Есть два ключевых момента: * В сети есть ембединги для русских слов - необязательно * Сеть обучалась на текстах на русском - обязательно
При этом наличие хороших эмбедингов не является прям на 100% необходимым. Если их не будет, модель будет кодировать слова "посимвольно" (или 1-2 буквы) и все равно что то поймет
Например GPT-3 плохо кодирует русские слова, но в принципе может на нем. Claude-2 можно тут (бесплатно, без VPN). В принципе она может говорить на русском, хотя разрабы в нее это не закладывали.
Я дообучал openllama - это модель не обученая на инструкциях на русском инструктивном датасете. Вышло окей - так что ответ на 2ой - можно. В первом вопросе есть ошибка (см прошлое предложение), 3ий я не понял(
https://c44ecc36f6eba07498.gradio.live/ - вот. Были некоторые траблы с обработкой некоторых запросов одновременно, поэтому временно убрал из публичного доступа. Советую не трогать температуру, а так же установить Beams=5 для получения наилучших ответов. Если не знаете что спросить у модели, вот есть список хороших текстовых вопросов.
Наверное что следует дописать, что вместе с собой компания забирает и большую часть проекторов, ведь они без их серверов - просто кубики. НИКОГДА НЕ ПОКУПАЙТЕ ПРОПРИЕТАРНОГО ЖЕЛЕЗА У СТАРТАПОВ - они закроются одним дном а вы останитесь с горой кремнегого хлама.
Я арендую сервер на plooza за 179 рублей/мес в финляндии. Это 1.8 доллара. За эти деньги я получаю: * Удаленный менеджер паролей с синхронизацией * Синхронизатор и бэкапер всех своих заметок, баз данных по моим проектам итп * VPN * Хость для своих телеграм ботов * Место для суперрезервного бэкапа нетяжелых файлов (сохранения в играх и.т.п.) * Удаленный Linux на котором можно получить опыт администрирования серверов и работы с терминалом. Имхо это все стоит 1.8 доллара в месяц, ведь арендуя свой сервер вы получаете целый сервер, а не только какой то из пунктов по отдельности)
Рад что вам понравилось)
Эта же штука не используют все нейроные ускорители, встроенные в процессоры, а грузит все на CPU
Все круто, но можно хоть слово про то что это вообще такое?
[V] просто токенизируется, тут не происходит нормировки его веса.
Всмысле чем отличается? Мы заставляем модель не забывать абстрактные признаки и получаем лучше результат. Если датасет для до обучения большой буст от его использования будет меньше, но все равно будет
Да, гугл уверял что гугл асистент даже не подает напряжение на микрофон пока вы не скажете команду Okey Google. Не знаю почему все так сильно параноят по собственной безопастности???
А для такой крышечки своя крышка не нужна??
Есть два ключевых момента:
* В сети есть ембединги для русских слов - необязательно
* Сеть обучалась на текстах на русском - обязательно
При этом наличие хороших эмбедингов не является прям на 100% необходимым. Если их не будет, модель будет кодировать слова "посимвольно" (или 1-2 буквы) и все равно что то поймет
Например GPT-3 плохо кодирует русские слова, но в принципе может на нем.
Claude-2 можно тут (бесплатно, без VPN). В принципе она может говорить на русском, хотя разрабы в нее это не закладывали.
Я дообучал openllama - это модель не обученая на инструкциях на русском инструктивном датасете. Вышло окей - так что ответ на 2ой - можно. В первом вопросе есть ошибка (см прошлое предложение), 3ий я не понял(
Предлагаю провести всероссийский конкурс среди взрослых на лучшие сочинения по темам:
«Как уроки по паркуру и сантехнике изменили мою жизнь»
В коментариях новая ссылка
В коментариях новая ссылка
https://c44ecc36f6eba07498.gradio.live/ - вот. Были некоторые траблы с обработкой некоторых запросов одновременно, поэтому временно убрал из публичного доступа. Советую не трогать температуру, а так же установить Beams=5 для получения наилучших ответов. Если не знаете что спросить у модели, вот есть список хороших текстовых вопросов.
Наверное что следует дописать, что вместе с собой компания забирает и большую часть проекторов, ведь они без их серверов - просто кубики.
НИКОГДА НЕ ПОКУПАЙТЕ ПРОПРИЕТАРНОГО ЖЕЛЕЗА У СТАРТАПОВ - они закроются одним дном а вы останитесь с горой кремнегого хлама.
Просто оставлю реализацию lifetime-менеджмента дримберда тут
Да, к сожалению сейчас крупные провайдеры почты весь self host кидают в спам.
Я арендую сервер на plooza за 179 рублей/мес в финляндии. Это 1.8 доллара. За эти деньги я получаю:
* Удаленный менеджер паролей с синхронизацией
* Синхронизатор и бэкапер всех своих заметок, баз данных по моим проектам итп
* VPN
* Хость для своих телеграм ботов
* Место для суперрезервного бэкапа нетяжелых файлов (сохранения в играх и.т.п.)
* Удаленный Linux на котором можно получить опыт администрирования серверов и работы с терминалом.
Имхо это все стоит 1.8 доллара в месяц, ведь арендуя свой сервер вы получаете целый сервер, а не только какой то из пунктов по отдельности)
Для любителей табать совтую присмотреться к расширению Vimium - имбовая вещь!
Неиронично стажировался за скидку в кафешке через дорогу.....
Я когда сам пытался разобраться тож постоянно натыкался на статьи про это
Проблема именно в квантовании или в LoRA?