LongFormer используется в оригинальной статье, т.к у него attention за O(seq_len*window_len), что быстрее чем дефолтный seq_len^2 у BERT. Можно попробовать и другие эффективные attention'ы, надо тестить
конкретно эта команда увеличит clock на 100, но да, есть такой метод, но он довольно костыльный как я понял суть такая: сделать power limit, и затем разогнать частоты. Мне он не понравился, решил просто лимит понижать
В корпусе 3 вентилятора на вдув, 1 на выдув. Поменял термопрокладки на Fehonda, термопасту на Thermal Grizzly Kryonaut Extreme Стало лучше, но все равно слишком много тепла выделяется, решил понижать мощность
Надо) По умолчанию он вот такое выдает (гистограмма по weights_)
>the model can decide to not use all the components by setting some component weights_ to values very close to zero. The number of effective components is therefore smaller than n_components.
Но даже если n_components поставить большим (256 например) там все равно все веса около нуля и не сильно друг от друга отличаются. А твикать гиперпараметры тут еще сложнее, так как непонятно как они будут влиять на модель (я в Variational Bayesian methods не сильно разбираюсь)
Я думаю это просто эксперимент по извлечению полезной информации из интернета) Конечно фильтрация датасетов будет быстрее и если конечная цель это просто намайнить побольше картинок, то это правильная стратегия. Я скорее пытался на примере Reddit, показать онлайн сбор информации - не статической. Возможно не очень хорошо описал свою мотивацию в начале статьи. Но да, инструмент для фильтрации датасетов был бы тоже очень полезен, подумаю над этим!
Не знал, что в Wikimedia столько изображений, спасибо! В дальнейшем я планирую написать классического поискового робота, который просто переходит по ссылкам на сайтах и Wikimedia тут сильно пригодится, так как это классический сайт, где веб-страницы сильно связаны между собой. Но я думаю такой робот будет сложнее чем просто использовать Reddit API. Еще один плюс Reddit в том, что это поток свежего контента, т.е всегда знаешь endpoint с самыми новыми данными
Судя по его стримам, у него нереально быстрая скорость усваивания новой информации + богатый бекграунд. Рекомендую к просмотру его стримы, живой пример 10x Engineer
Практической пользы нет :D Правовые вопросы скорее всего никогда не решатся, я делал эту штуку just for fun, интересно было поработать с изображениями и ai/ml. Я когда начинал его делать опирался на такой тип имиджборд, как booru, хотел свой движок сделать, а сайт это просто как демонстрация работы. Пока проект заброшен, я сейчас допиливаю свой движок для поиска и постараюсь до какого-то рабочего состояния проект довести.
На своих данных нет, тк все равно хотели отказаться от айдишников, но авторы статьи тестили https://arxiv.org/pdf/2305.13731.pdf (7 страница)
LongFormer используется в оригинальной статье, т.к у него attention за O(seq_len*window_len), что быстрее чем дефолтный seq_len^2 у BERT. Можно попробовать и другие эффективные attention'ы, надо тестить
так эти "AI-тренера" это же просто другое название для толоки/mechanical turk, не?
>Правильно понимаю, что у вас карты не выбрасывают воздух наружу?
Выбрасывают, но окружение все равно нагревается
>Это делать надо делать просто при каждой загрузке?
ага, или можно какой-нибудь сервис сделать для systemd, чтобы он при загрузке запускался
конкретно эта команда увеличит clock на 100, но да, есть такой метод, но он довольно костыльный
как я понял суть такая: сделать power limit, и затем разогнать частоты.
Мне он не понравился, решил просто лимит понижать
Спасибо за тесты!
А когда fp16 amp тестили, там tf32 было выключено?
В корпусе 3 вентилятора на вдув, 1 на выдув.
Поменял термопрокладки на Fehonda, термопасту на Thermal Grizzly Kryonaut Extreme
Стало лучше, но все равно слишком много тепла выделяется, решил понижать мощность
http://130.193.57.192/hh/ by @mocmep
А потом очки, которые фильтруют реальность
Падает от нагрузки, там список сабреддитов и их текущий статус
Вот тут можно будет посмотреть в лайв режиме, что будет 12 июня происходить
https://reddark.untone.uk/
Надо) По умолчанию он вот такое выдает (гистограмма по weights_)
>the model can decide to not use all the components by setting some component
weights_to values very close to zero. The number of effective components is therefore smaller than n_components.Но даже если n_components поставить большим (256 например) там все равно все веса около нуля и не сильно друг от друга отличаются. А твикать гиперпараметры тут еще сложнее, так как непонятно как они будут влиять на модель (я в Variational Bayesian methods не сильно разбираюсь)
Я думаю это просто эксперимент по извлечению полезной информации из интернета) Конечно фильтрация датасетов будет быстрее и если конечная цель это просто намайнить побольше картинок, то это правильная стратегия. Я скорее пытался на примере Reddit, показать онлайн сбор информации - не статической. Возможно не очень хорошо описал свою мотивацию в начале статьи. Но да, инструмент для фильтрации датасетов был бы тоже очень полезен, подумаю над этим!
Не знал, что в Wikimedia столько изображений, спасибо! В дальнейшем я планирую написать классического поискового робота, который просто переходит по ссылкам на сайтах и Wikimedia тут сильно пригодится, так как это классический сайт, где веб-страницы сильно связаны между собой. Но я думаю такой робот будет сложнее чем просто использовать Reddit API. Еще один плюс Reddit в том, что это поток свежего контента, т.е всегда знаешь endpoint с самыми новыми данными
Судя по его стримам, у него нереально быстрая скорость усваивания новой информации + богатый бекграунд. Рекомендую к просмотру его стримы, живой пример 10x Engineer
Практической пользы нет :D Правовые вопросы скорее всего никогда не решатся, я делал эту штуку just for fun, интересно было поработать с изображениями и ai/ml. Я когда начинал его делать опирался на такой тип имиджборд, как booru, хотел свой движок сделать, а сайт это просто как демонстрация работы. Пока проект заброшен, я сейчас допиливаю свой движок для поиска и постараюсь до какого-то рабочего состояния проект довести.
Спасибо за статью! Что думаете про BEiT?
>memegen.com
Скорее всего имеется в виду вот это https://www.buzzfeednews.com/article/reyhan/inside-googles-internal-meme-generator