Чуть раскрою про статьи по соревнованиям и как быстро раскачать индекс хирша.
Идея массово публиковать статьи по итогам соревнований изначально выглядела дико.
Когда в 2017 я предложиил ее в ODS, коллектив ответил с непониманием. Аргумент выглядел так: "Да кто в здравом уме куда-то такую статью примет? Нет новизны, просто грамотно из кусочков собрано решение, которое на данном датасете хорошо себя показало."
Все оказалось не так. Статьи по итогам соренований охотно принимают на всевозможные конференции.
На основную конференцию CVPR или NeurIPS мы не подавали, но не потому что туда сложнее попасть (возможно так и есть, тут надо проверять), а потому что на основную дедлайн за пол года, а на workshop в разы короче.
Происходило все спонтнанно - закончилось соревнование, пока не забыли, давайте долбанем текст. Что у нас через месяц проходит? Не было задачи сделать две сильные претендующие на Best Paper Award статьи в год, была задача сделать 10, но так, чтобы приняли, причем минимальными усилиями, паралелльно full time работе, спорту и личной жизни.
В таком формате есть две роли: тот кто генерирует контент и тот кто пишет текст. Я публиковал по своим наработкам, то есть с меня решение задачи, код и картинки, а текстом обычно занимались Саша Калинин и / или Саша Швец.
Таня идею подхватила и качественно замасштабировала. Она, в основном, работала по второй роли то есть оформляла тексты кому-то, у кого были уже сильные решения, но не хотелось ничего писать и бодаться с редакторами в журналах.
Так что если вы умеете писать академические тексты и хочется много статей и жирный Хирш - можете вхолодную писать всем победителям соревнований на Kaggle и других площадках и строчить по 2+ статьи в месяц (24 за год) во всевозможных журналах. Схема отработанная и сейчас воспринимается гораздо теплее, чем раньше.
Про цитирования
Идея - а давайте я напишу сильный текст, все сами его обнаружат и начнут цитировать очень плохая.
Аналогия: юный стартапер скажет - а давайте я создам приложение, продажами заниматься не буду и все само полетит по экспоненте.
Чтобы были цитирования, нужен маркетинг. И это верно для любой дисциплины, что ML, что физика, что история Занзибара.
Надо постараться завести себе правило:
По каждой статье:
Блог пост на русском (хабр).
Блог пост на английском (medium, substack, своя площадка, и так далее)
Записать видео на Youtube где человеческим языком, расскавается что за задача, почему это важно и как она решалась. (Это надо на английском)
Если хочется, чтобы совсем хорошо полетело - можно за недорого нанять китайского студента, который все это переведет на китайский и опубликует там.
Не обязательно все делать самому, можно кому-то делегировать - соавтору, студенту, кому-то на Upwork.
Еще можно пошерестить Stackoverflow, quora и прочие площадки где могут задавать вопрос на который ваша статья является ответом и там отвечать.
Да, если статья качественная и прорывная в какой-то момент она сама вирусно потелит, но чтобы это произошло надо подняться над уровнем шума и для этого все эти дополнительные движения и нужны.
Но делать это надо. Сам я, естественно, так не делал.
Когда был в академии я не знал, что так можно, а в индустрии когда понял, что без макретинга, хотя бы рудиментарного, все идет плохо, мне и цитирования были уже не нужны, а статьи рождались из того материала, что уже был, между делом.
Но! Если бы я снова вернулся в академию, где цитирования - это метрика, по которой меряется твой успех, по-любому, так бы и делал.
Не, и правда не работает. Через час дома буду поправлю. Хостинг на Heroku неустойчивый какой-то.
Вообще я пытался на AWS Lambda задеплоить, но прямоты рук не хватило. Тупо названия Secret Token у телеграмма и Lambda по разному называются, а прослойку написать, которая подменяет одно на другое прямоты рук не хватило.
Вы ищете изображения на PinTerest и смотрите на них глазами и когда что-то зацепило сохраняете, или же сохраняете все подряд, а фильтрация проходит уже потом?
[1] А чем сайт неудобен, что позволяет TelegramBot?
Еще, я когда Extension делал, как раз был мысль позволять людям по картинкам на Pinterest искать картинки на Ternaus.
[2] 1 цент за запрос я с потолка взял. Просто хочется отделить платных пользователей от бесплатных через PayWall. Как говорят старшие товарищи - feedback и хотелки от тех, кто платит в 10000 раз ценнее, чем от тех, кто нет. 14000 в день по центу и правда много. Как насчет $30 в месяц и лимит 20,000 запросов в день? Это больше похоже на правду?
Конечно можно. Запрос на сайт + распарсить вывод и вот тебе список URL. Более того, в телеграмме можно не больше 10 картинок, а на сайте возвращаются 50.
Тут, наверное, так. Эту дырку можно закрыть, но прямо сейчас больших проблем с того, что запросы идут не через API, а через парсинг сайта я не вижу. Да, я с этого не получаю ни денег, ни маркетинга, но не конец мира. Пока пропускной способности хватает с запасом.
Еще у меня есть мысль, что "на поиграться" человеку должно хватить и 100 бесплатных.
Самому было бы очень интересно пообщаться с кем-то, кому понадобится больше, ибо это уже какой-то конкретный use case.
Что сайт, что API, что бот - все в моем исполнении, поэтому бота тоже можно бесплатным.
Как я в тексте отметил, с каждого запроса хочется что-то получать. Либо деньги, либо маркетинг.
Можно, конечно, в телеграмме возвращать не просто картинки, а картинки с водяными знаками с названием сайта и сделать все бесплатным, но, такое ощущение, что это не в ту сторону.
Хочется чтобы кому надо мог эти картинки куда надо вставлять, не заморачиваясь выводом знаков и лого с картинок.
1 цент за запрос - это с одной стороны не много, а с другой в бесконечность раз больше, чем бесплатно.
Опять же, кому хочется совсем бесплатно, то можно на сайте.
Вспоминая, как на соревнованиях по машинному обучению агрегировали предсказания моделей думаю, что может что-то как-то полетететь.
Тут можно арифметическое среднее, max, геометрическое среднее.
И, ради любопытства, это можно все проверять.
У самого меня сейчас митивации на это не хватит, но надеюсь, что кто-то в академии озадачится (идея то на поверхности) и какую-то аналитику на эту тему наведет.
Тут все спотыкается о то что "похожесть" определена плохо.
Это может быть:
Женщина
Наличие королевских регалий
Тип и форма этих регалий.
Форма лица.
Фон
еще что-то.
Ну и да, под поиск по лицам сеть не заточена, так что если делать похожесть по лицам - это надо сверху добавлять Face Detector + Face Recognition, до чего руки, конечно, дойдут очень нескоро.
Было проведено исследование рынка. Внятных идей, какой продукт построить не появилось.
К каким-то Open Source проектам хорошо прикручиваются entetprise фукнционал, или облачная обертка.
Но специфика библиотеки в том, что она:
Нужна исключительно разработчикам.
Делать из нее API и запускать в облаке не вариант, слишком медленно, так что ставится она локально там где идет тренировка.
Делать инструменты для автоматического поиска удобных аугментационных пайплайнов - никто не знает как это делать технически. Сейчас все решается на уровне алхимии.
Общее мое вречатление, что интрументы для разработчиков - это плохая бизнес модель. Гораздо лучше для коллаборации разработчиков, а еще лучше взаимодействия различных типов работников. Так вот наша библиотека не там, где хотелось бы для построения комерческого продукта.
Конечно, удачный продукт, который решает большую - это хорошо, а при правильном исполнении еще и денежно.
Но за неимением лучшего делается эксперимент с пожертвованиями. Я не знаю успешных историй в этом направлении, но это не означает, что нельзя попытаться и разобраться в вопросе.
Ну и это не вопрос выживания. Что-то в свободное время мы улучшаем, так что прогресс идет. Также идет органический рост. Да не экспоненциальный, а всего-лишь линейный, но идет.
А вы можете рассказать как использовали нашу библиотеку в своих проектах?
Да, был не прав, не знал про твой вклад в эти статьи.
Про статьи
Чуть раскрою про статьи по соревнованиям и как быстро раскачать индекс хирша.
Идея массово публиковать статьи по итогам соревнований изначально выглядела дико.
Когда в 2017 я предложиил ее в ODS, коллектив ответил с непониманием. Аргумент выглядел так: "Да кто в здравом уме куда-то такую статью примет? Нет новизны, просто грамотно из кусочков собрано решение, которое на данном датасете хорошо себя показало."
Все оказалось не так. Статьи по итогам соренований охотно принимают на всевозможные конференции.
На основную конференцию CVPR или NeurIPS мы не подавали, но не потому что туда сложнее попасть (возможно так и есть, тут надо проверять), а потому что на основную дедлайн за пол года, а на workshop в разы короче.
Происходило все спонтнанно - закончилось соревнование, пока не забыли, давайте долбанем текст. Что у нас через месяц проходит? Не было задачи сделать две сильные претендующие на Best Paper Award статьи в год, была задача сделать 10, но так, чтобы приняли, причем минимальными усилиями, паралелльно full time работе, спорту и личной жизни.
В таком формате есть две роли: тот кто генерирует контент и тот кто пишет текст. Я публиковал по своим наработкам, то есть с меня решение задачи, код и картинки, а текстом обычно занимались Саша Калинин и / или Саша Швец.
Таня идею подхватила и качественно замасштабировала. Она, в основном, работала по второй роли то есть оформляла тексты кому-то, у кого были уже сильные решения, но не хотелось ничего писать и бодаться с редакторами в журналах.
Так что если вы умеете писать академические тексты и хочется много статей и жирный Хирш - можете вхолодную писать всем победителям соревнований на Kaggle и других площадках и строчить по 2+ статьи в месяц (24 за год) во всевозможных журналах. Схема отработанная и сейчас воспринимается гораздо теплее, чем раньше.
Про цитирования
Идея - а давайте я напишу сильный текст, все сами его обнаружат и начнут цитировать очень плохая.
Аналогия: юный стартапер скажет - а давайте я создам приложение, продажами заниматься не буду и все само полетит по экспоненте.
Чтобы были цитирования, нужен маркетинг. И это верно для любой дисциплины, что ML, что физика, что история Занзибара.
Надо постараться завести себе правило:
По каждой статье:
Блог пост на русском (хабр).
Блог пост на английском (medium, substack, своя площадка, и так далее)
Записать видео на Youtube где человеческим языком, расскавается что за задача, почему это важно и как она решалась. (Это надо на английском)
Если хочется, чтобы совсем хорошо полетело - можно за недорого нанять китайского студента, который все это переведет на китайский и опубликует там.
Не обязательно все делать самому, можно кому-то делегировать - соавтору, студенту, кому-то на Upwork.
Еще можно пошерестить Stackoverflow, quora и прочие площадки где могут задавать вопрос на который ваша статья является ответом и там отвечать.
Да, если статья качественная и прорывная в какой-то момент она сама вирусно потелит, но чтобы это произошло надо подняться над уровнем шума и для этого все эти дополнительные движения и нужны.
Но делать это надо. Сам я, естественно, так не делал.
Когда был в академии я не знал, что так можно, а в индустрии когда понял, что без макретинга, хотя бы рудиментарного, все идет плохо, мне и цитирования были уже не нужны, а статьи рождались из того материала, что уже был, между делом.
Но! Если бы я снова вернулся в академию, где цитирования - это метрика, по которой меряется твой успех, по-любому, так бы и делал.
Идея добавить поддержку других языков не такая и плохая.
Сделаю.
Тут две проблемы:
Модель, которая извлекает эмбединги, из текста не поддерживает русский.
В базе данных картинки связянные с Россией, да и вообще восточной Европой представлены плохо.
Обе проблемы решаемые, но не очень приоритетные.
Хотя я записываю, что люди текстами ищут, на зимних, возможно нагенерирую картинок в базу данных по этим запросам.
Хотя, чаще всего идут запросы на обнаженных девушек и их части тела, а их генерировать сложнее.
Если руки дойдут, то выложу всего бота на GitHub.
Там не очень сложно. Интеграция через Stripe на попоплнение.
MongoDb для подсчета запросов.
И немного логики в самом боте, чтобы проверять число доступных запросов и увеличивать счетчик.
Stripe имеет ограниченное хождение в мире - это минус, но раз и так никто не платит - пусть будет пока только Stripe.
Проверил, все работает.
/text TEXT_QUERY
или просто загрузить картинку.
Но пару багов я и правда нашел. :)
Математика чуть другая.
$30 - в месяц. Это $1 в день.
То есть просмотр 10k+ картинок в день для получения тех самых 10 в день, то есть 300 в месяц.
Работает, можно тыкать.
Но все делается через сайт или используется какая-то обертка в виде бота или тулзы какой?
Не, и правда не работает. Через час дома буду поправлю. Хостинг на Heroku неустойчивый какой-то.
Вообще я пытался на AWS Lambda задеплоить, но прямоты рук не хватило. Тупо названия Secret Token у телеграмма и Lambda по разному называются, а прослойку написать, которая подменяет одно на другое прямоты рук не хватило.
А тогда другой вопрос.
А как это выглядит?
Вы ищете изображения на PinTerest и смотрите на них глазами и когда что-то зацепило сохраняете, или же сохраняете все подряд, а фильтрация проходит уже потом?
Сразу много вопросов :)
[1] А чем сайт неудобен, что позволяет TelegramBot?
Еще, я когда Extension делал, как раз был мысль позволять людям по картинкам на Pinterest искать картинки на Ternaus.
[2] 1 цент за запрос я с потолка взял. Просто хочется отделить платных пользователей от бесплатных через PayWall. Как говорят старшие товарищи - feedback и хотелки от тех, кто платит в 10000 раз ценнее, чем от тех, кто нет. 14000 в день по центу и правда много. Как насчет $30 в месяц и лимит 20,000 запросов в день? Это больше похоже на правду?
Конечно можно. Запрос на сайт + распарсить вывод и вот тебе список URL. Более того, в телеграмме можно не больше 10 картинок, а на сайте возвращаются 50.
Тут, наверное, так. Эту дырку можно закрыть, но прямо сейчас больших проблем с того, что запросы идут не через API, а через парсинг сайта я не вижу. Да, я с этого не получаю ни денег, ни маркетинга, но не конец мира. Пока пропускной способности хватает с запасом.
Еще у меня есть мысль, что "на поиграться" человеку должно хватить и 100 бесплатных.
Самому было бы очень интересно пообщаться с кем-то, кому понадобится больше, ибо это уже какой-то конкретный use case.
Что сайт, что API, что бот - все в моем исполнении, поэтому бота тоже можно бесплатным.
Как я в тексте отметил, с каждого запроса хочется что-то получать. Либо деньги, либо маркетинг.
Можно, конечно, в телеграмме возвращать не просто картинки, а картинки с водяными знаками с названием сайта и сделать все бесплатным, но, такое ощущение, что это не в ту сторону.
Хочется чтобы кому надо мог эти картинки куда надо вставлять, не заморачиваясь выводом знаков и лого с картинок.
1 цент за запрос - это с одной стороны не много, а с другой в бесконечность раз больше, чем бесплатно.
Опять же, кому хочется совсем бесплатно, то можно на сайте.
Вспоминая, как на соревнованиях по машинному обучению агрегировали предсказания моделей думаю, что может что-то как-то полетететь.
Тут можно арифметическое среднее, max, геометрическое среднее.
И, ради любопытства, это можно все проверять.
У самого меня сейчас митивации на это не хватит, но надеюсь, что кто-то в академии озадачится (идея то на поверхности) и какую-то аналитику на эту тему наведет.
Тут все спотыкается о то что "похожесть" определена плохо.
Это может быть:
Женщина
Наличие королевских регалий
Тип и форма этих регалий.
Форма лица.
Фон
еще что-то.
Ну и да, под поиск по лицам сеть не заточена, так что если делать похожесть по лицам - это надо сверху добавлять Face Detector + Face Recognition, до чего руки, конечно, дойдут очень нескоро.
Спасибо!
Было проведено исследование рынка. Внятных идей, какой продукт построить не появилось.
К каким-то Open Source проектам хорошо прикручиваются entetprise фукнционал, или облачная обертка.
Но специфика библиотеки в том, что она:
Нужна исключительно разработчикам.
Делать из нее API и запускать в облаке не вариант, слишком медленно, так что ставится она локально там где идет тренировка.
Делать инструменты для автоматического поиска удобных аугментационных пайплайнов - никто не знает как это делать технически. Сейчас все решается на уровне алхимии.
Общее мое вречатление, что интрументы для разработчиков - это плохая бизнес модель. Гораздо лучше для коллаборации разработчиков, а еще лучше взаимодействия различных типов работников. Так вот наша библиотека не там, где хотелось бы для построения комерческого продукта.
Конечно, удачный продукт, который решает большую - это хорошо, а при правильном исполнении еще и денежно.
Но за неимением лучшего делается эксперимент с пожертвованиями. Я не знаю успешных историй в этом направлении, но это не означает, что нельзя попытаться и разобраться в вопросе.
Ну и это не вопрос выживания. Что-то в свободное время мы улучшаем, так что прогресс идет. Также идет органический рост. Да не экспоненциальный, а всего-лишь линейный, но идет.
А вы можете рассказать как использовали нашу библиотеку в своих проектах?
Если есть идеи что именно можно построить поверх библиотеки, так чтобы в этом была коммерческая ценность, я весь внимание.
С таким подходом две Open Source библиотеки получат доп финансирование и два человека плюсик в карму :)