Побольше бы картинок объяснялок примеров, например почему софт макс, зачем негативное семплирование, как оно работает, что за елементвайс сессионвайс и тд
Я как раз про это и писал научную статью, так что надеюсь руки дойдут, ну из планов пока lgcn на днях выйдет и потом третья часть про pinnerformer, pinsage. Из интересных я читал про sheaf gnn, надеюсь им найдут применение в рексисе, а какие диффузии на графах вы знаете, которые я бы мог тоже включить в третью четвертую часть?
не я имею ввиду собрать различные задачи например для RAG, пособирать промты всякие и тест кейсы для этого и провести исследование на (хотя бы 100+ примерах) для русского, английского языка, … Для задач на понимание научных статей, блогов, новостей и тд. И посмотреть какие вообще эмбеды где лучше делают репрезентации.
Думаю что вполне может потянуть на небольшую научную статью
А вот такой вопрос почему решили LongFormer использовать? Она как-то помогает representation сделать или что-то типо нормировать эмбеддинги в пространстве? Или это просто что бы сократить количество токенов?
Балдежный чистый гайд по оптуне. Имхо самый классный из всех пакетов что я вообще юзал. Разве что ray конкурирует хоть как то.
Жаль что не подсветили всякие приколы с wnb mlflow и тп. Не рассказали еще почему то про прунеры и то как они стакаются с оптимизаторами, мне кажется это вообще главная фишка оптуны. Ну и не хватило что саму оптуну, типо как оптимизирует то, там же прикол какой то с баессовской градиентной оптимизацией в N мерном пространстве параметров или че то такое
А если серьезно с точки зрения мл разраба: у меня был опыт команды с продуктом и проджектом и команда без них. И вот команда без как будто анархия и самоуправление, а когда у вас есть те же usm cjm design doc у тебя как будто третий глаз открывается на то чем вообще ты занимаешься
Я бы не сказал, что это какие то неочевидные примеры
GPT — generative pretrain transformer
Transformer ~ трансформация, превращение. Да и в целом все трансформеры работают по логике преобразования из X в Y.
И соответственно получили свою популярность в переводе текстов на разные языки -> нет проблем перевести из одного ЯП в другой ЯП при условии что модель обучена и имеет представление этих языков, то сможет и генерализацией понять косвенные зависимости между разные языками. (Ссылаюсь на посты и видосы Игоря Котенкова)
Тоже щас столкнулся что для небольших проектов как будто не хочется airflow поднимать. Он большой, тяжелый, его сложно настраивать. Искал альтернативы пока на dagster наткнулся. Вроде еще у ClearML оркестратор есть и какая то библа еще от netflix, но последний реально немного своеобразный.
А вот на работе, где большие проекты, типо удобно поднял один airflow он ходит по машинкам для масштабирования (sshoperator) и тыкается там
Я работаю уже как 1.7 года в Karpov Courses над Симулятором МЛ. У нас есть трек пет-проектов откуда я часть идей и рассказал в своих процессах.
У нас там какое-то количество новичков действительно сталкиваются со сложностями, но это знаешь как система выживания. Либо ты, либо он тебя. Для таких случаев я, наверное, не очень хорошо подсветил, но есть команда и менторы, которые будут помогать тебе преодолевать сложности, поднимать тебе дофамин, мотивацию к проекту.
Поэтому ты действительно прав, действительно у многих в начале теряется мотивация. Наверное за все время работы это пока моя сама большая головная боль, но от этого и интересно
Я думаю что невозможно все время думать о работе. И у большинства айтишников проблемы с выгоранием тк они на энерции думают о работе, потом невозможно за секунду после 8-9 часов переключиться на отдых.
Ну и не всегда и не у всех получается сразу выбрать, знаешь, правильный путь, ту работу, которая им действительно будет нравиться. Может не повезти с командой, компанией, начальником. Во время написания статьи я надеялся, что многим новичкам это поможет разобраться во время обучения чего они действительно хотят.
Побольше бы картинок объяснялок примеров, например почему софт макс, зачем негативное семплирование, как оно работает, что за елементвайс сессионвайс и тд
Я как раз про это и писал научную статью, так что надеюсь руки дойдут, ну из планов пока lgcn на днях выйдет и потом третья часть про pinnerformer, pinsage. Из интересных я читал про sheaf gnn, надеюсь им найдут применение в рексисе, а какие диффузии на графах вы знаете, которые я бы мог тоже включить в третью четвертую часть?
не я имею ввиду собрать различные задачи например для RAG, пособирать промты всякие и тест кейсы для этого и провести исследование на (хотя бы 100+ примерах) для русского, английского языка, … Для задач на понимание научных статей, блогов, новостей и тд. И посмотреть какие вообще эмбеды где лучше делают репрезентации.
Думаю что вполне может потянуть на небольшую научную статью
Было бы интересно собрать какие нибудь большие тесткейсы и на них статистику посмотреть эмбеддингов!
потому что кажется что на небольших кейсах есть предвзятость и сдвиги
А вот такой вопрос почему решили LongFormer использовать? Она как-то помогает representation сделать или что-то типо нормировать эмбеддинги в пространстве? Или это просто что бы сократить количество токенов?
Балдежный чистый гайд по оптуне. Имхо самый классный из всех пакетов что я вообще юзал. Разве что ray конкурирует хоть как то.
Жаль что не подсветили всякие приколы с wnb mlflow и тп. Не рассказали еще почему то про прунеры и то как они стакаются с оптимизаторами, мне кажется это вообще главная фишка оптуны. Ну и не хватило что саму оптуну, типо как оптимизирует то, там же прикол какой то с баессовской градиентной оптимизацией в N мерном пространстве параметров или че то такое
Я не продакт, но МЛ со знаниями продакта
Ощущаю себя вот так если честно
А если серьезно с точки зрения мл разраба: у меня был опыт команды с продуктом и проджектом и команда без них. И вот команда без как будто анархия и самоуправление, а когда у вас есть те же usm cjm design doc у тебя как будто третий глаз открывается на то чем вообще ты занимаешься
Я бы не сказал, что это какие то неочевидные примеры
GPT — generative pretrain transformer
Transformer ~ трансформация, превращение. Да и в целом все трансформеры работают по логике преобразования из X в Y.
И соответственно получили свою популярность в переводе текстов на разные языки -> нет проблем перевести из одного ЯП в другой ЯП при условии что модель обучена и имеет представление этих языков, то сможет и генерализацией понять косвенные зависимости между разные языками. (Ссылаюсь на посты и видосы Игоря Котенкова)
Хорошо бы ссылочку оставить что бы потыкаться ?
Тоже щас столкнулся что для небольших проектов как будто не хочется airflow поднимать. Он большой, тяжелый, его сложно настраивать. Искал альтернативы пока на dagster наткнулся. Вроде еще у ClearML оркестратор есть и какая то библа еще от netflix, но последний реально немного своеобразный.
А вот на работе, где большие проекты, типо удобно поднял один airflow он ходит по машинкам для масштабирования (sshoperator) и тыкается там
Спасибо за твой обширный комментарий!)
Я работаю уже как 1.7 года в Karpov Courses над Симулятором МЛ. У нас есть трек пет-проектов откуда я часть идей и рассказал в своих процессах.
У нас там какое-то количество новичков действительно сталкиваются со сложностями, но это знаешь как система выживания. Либо ты, либо он тебя. Для таких случаев я, наверное, не очень хорошо подсветил, но есть команда и менторы, которые будут помогать тебе преодолевать сложности, поднимать тебе дофамин, мотивацию к проекту.
Поэтому ты действительно прав, действительно у многих в начале теряется мотивация. Наверное за все время работы это пока моя сама большая головная боль, но от этого и интересно
Спасибо вам за фитбек, собаководством ведь люди тоже занимаются и достаточно успешно)
Тебе спасибо! Всегда приятно получать фитбек
Тоже верю что графы + ллм взорвут дальше в вопросах персонализации. (Учитывая, что LLM уже генерализируют по MDL).
спойлер:
Тебе спасибо! Рад, что понравилось <З
Я думаю что невозможно все время думать о работе. И у большинства айтишников проблемы с выгоранием тк они на энерции думают о работе, потом невозможно за секунду после 8-9 часов переключиться на отдых.
Ну и не всегда и не у всех получается сразу выбрать, знаешь, правильный путь, ту работу, которая им действительно будет нравиться. Может не повезти с командой, компанией, начальником. Во время написания статьи я надеялся, что многим новичкам это поможет разобраться во время обучения чего они действительно хотят.
Тебе спасибо!)
пора разбираться в графовых сетках короче!
Красивая картиночка