Как стать автором
Обновить
55
0
Tatiana Shavrina @Rybolos

NLP, data scientist

Отправить сообщение

Ну, по крайней мере люди, носители языка эти задачки решают очень хорошо - их вполне реально решить на 100%

Некоторые датасеты на machine reading и правда как будто из ЕГЭ взяты по формату.

Вот это подарок под новый год!!! Спасибо!

Скажите, какие параметры выставить для оптимальной генерации? Какие рекомендуете?

Ура, спасибо за работу!

А пробовали уже few-shot, zero-shot замерить на ней?

Хороший вопрос!

Дедубликацию мы применили, чтобы дополнительно очистить выборку для каждого автора. Затем искусственно добавили в неё больше Пепперштейна, чтобы сётка во время обучения увидела его больше раз, чем всего остального.

Вау! Впечатляющая работа! А будет в open source? И.. почему температура такая маленькая?

В целом, согласна по поводу нейронок, мы ещё не исследовали все, что они могут решать, даже в текущем сетапе.

Нейросеть в лице сбера получила свой гонорар, как по авторскому договору, только чуть переделанному))

А там есть и персонажи, и сюжет!

Это полноценные рассказы) В этом и фишка.

Конечно, это ещё не роман на 100 страниц, но на 5-10 страниц полноценный текст.

ПО, конечно, пока специализированное. Когда начнёт одна модель решать все задачи, и учиться новым - это уже по определению будет сильный ИИ.

Ожидания от моделей все время повышаются, но сама возможность решить такую новую задачу - имхо уже очень важный показатель.

Попробуйте в колабе, действительно, там инференс занимает порядке 12 Gb

вроде все на месте

Почему?.. Когда мы брали го назад данные, все было на месте. Сейчас зашла на сайт - их больше всех: http://web-corpora.net/wsgi3/minorlangs/download

в строке "татарский" архив 40мб, башкирский - 96мб.

Там есть отдельные подкорпуса языков, вот тут на странице есть вкладка "скачать" : http://web-corpora.net/wsgi3/minorlangs/

Пробую зеро-шот перевод, получился красивый черри-пик

Пока да, думаем ее еще получше потестить. 13В моноязычная ruGPT-3 тоже в клауде живет. на 1 Tesla V100 влезает только инференс, дообучение - 4 Tesla V100 минимум

Я думаю, что можно, почему нет) Потестим ее тогда на mlsum

Информация

В рейтинге
Не участвует
Работает в
Зарегистрирована
Активность