Как пример: FlashAttention у NVIDIA поддерживается с архитектуры Ampere и выше.
Соответственно, видеокарты на более ранних архитектурах резко становятся устаревшими, если необходимо использовать фичу FlashAttention, а это львиная доля всех LLM-ок и вообще всех тех моделей, которые под капотом используют вариацию архитектуры Transformer.
Поэтому конечно, для определенных кейсов та же RX 7900 XT может быть уже и не применима, НО это касается и GPU-шек от AMD, и GPU-шек от NVIDIA, и вообще любых других.
Помимо Triton можно еще вспомнить и Nsight Systems/Compute/Graphics и относительно недавно появившийся Nsight Deep Learning Designer.
Очень много нужно догонять.
Но в любом случае, хорошо, что кто-то пытается это делать.
Не круто это, когда на рынке есть один монополист (хотя понятно конечно, что конкуренция так или иначе приводит к монополии/олигополии).
Что касается клиентов, то тут можно глянуть Advancing AI 2024 Replay (https://www.youtube.com/watch?v=QWBebQ12JD0), где опытом внедрения AMD-шного софта делятся ребята из довольно крупных компаний.
Кажется, что про упомянутую вами книжку я краем уха слышал.
Тем не менее, добавил себе в избранное, постараюсь до нее добраться. Описание книги интригующее))
По поводу того, насколько велики шансы: количественная оценка — задачка нетривиальная))
С моей точки зрения шансы эти есть и зависят все-таки в большей степени от усилий конкретного человека.
Есть масса обучающих материалов в открытом доступе, бесплатных и вполне качественных.
Здесь проблема может быть в том, чтобы выстроить эти материалы в непротиворечивую учебную программу. Тут вам могут помочь и разнообразные платформы, предоставляющие учебные курсы/профессии/специализации, и статьи типа этой, и различные видео на ютюбчике. Посмотрите программы обучения, посравнивайте их и вы легко поймете для себя, на что вам нужно обратить больше внимания))
Я бы возразил вам в том, что порог невероятно высокий. В статье я лишь хотел сказать, что путь важнее точки назначения и по дороге можно найти массу всего полезного и интересного)) Порог же скорее непонятно какой высокий.
Тут просто сразу несколько факторов влияют на этот самый порог:
Чем на постоянке занимаетесь;
Было ли в прошлом релевантное образование;
Какими мотивационными/временными/финансовыми ресурсами вы располагаете;
Вы написали, что занимаетесь системным администрированием ПО SAP. Это уже отлично, т.к. масса чисто инженерных навыков будет для вас не в новинку. Написали, что осваиваете математику почти с нуля. Здесь будет, я думаю, очень уместно сказать, что к сфере Data Science и Machine Learning имеют отношение сразу несколько специализаций, таких как:
Дата-аналитик;
Дата-инженер;
Инженер по машинному/глубокому обучению;
Инженер по продуктивизации моделей машинного/глубокого обучения;
Список можно продолжить, но для цели иллюстрации мысли, думаю, достаточно.
Смысл в том, что в каждом из этих направлений свои требования к математической подкованности кандидата и и значит можно вполне начать с того направления, где этих требований меньше!))
На тему отличий и общих черт этих направлений есть хорошее видео 4-х летней давности, которое особо не потеряло актуальности.
Рядышком есть тоже интересное видео по типичным ошибкам и ожиданиям от кандидата, можно глянуть.
Я вот вышел из сферы автоматизации тестирования и потихоньку себе ползу и ползу, периодически сверяясь с планочкой и со своими мыслями по поводу того, надо ли вообще ползти до следующей планочки.
Для правильного прикладывания математики к реальности здесь нет вообще очень много чего, поскольку "правильное прикладывание математики к реальности" - довольно широкая тема.
Тема данной статьи была немного более узкой и конкретной.
Если у вас есть ссылки на бесплатные и толковые курсы/статьи/книги/лекции/прочие материалы на обозначенные вами темы, поделитесь ими пожалуйста, я с удовольствием с ними ознакомлюсь!)))
Information
Rating
158-th
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Здравствуйте!
Прикольные статьи, поизучаю.
Мельком пробежался. Действительно, много на что уже отвечают статьи, но хочется еще своими ручками проверить))
О, вот это интересно!
Если заделитесь кодом (вдруг есть где-то на GitHub), будет огонь!))
Да, согласен.
Тут еще, кмк, нужно на фичи смотреть.
Как пример: FlashAttention у NVIDIA поддерживается с архитектуры Ampere и выше.
Соответственно, видеокарты на более ранних архитектурах резко становятся устаревшими, если необходимо использовать фичу FlashAttention, а это львиная доля всех LLM-ок и вообще всех тех моделей, которые под капотом используют вариацию архитектуры Transformer.
Поэтому конечно, для определенных кейсов та же RX 7900 XT может быть уже и не применима, НО это касается и GPU-шек от AMD, и GPU-шек от NVIDIA, и вообще любых других.
Да это я покаламбурил немного))
Коммунальный бинарник, кстати, вполне годится))
На самом деле AMD примерно так же и делает))
Но об этом во второй части =)
Это правда, по части софта AMD пока что во многом должен догонять.
NVIDIA начали развиваться в сторону ML на несколько лет раньше, отсюда и преимущество.
Об этом кстати говорится и в статье, упомянутой выше в комменте (https://chipsandcheese.com/p/testing-amds-giant-mi300x).
Помимо Triton можно еще вспомнить и Nsight Systems/Compute/Graphics и относительно недавно появившийся Nsight Deep Learning Designer.
Очень много нужно догонять.
Но в любом случае, хорошо, что кто-то пытается это делать.
Не круто это, когда на рынке есть один монополист (хотя понятно конечно, что конкуренция так или иначе приводит к монополии/олигополии).
Что касается клиентов, то тут можно глянуть Advancing AI 2024 Replay (https://www.youtube.com/watch?v=QWBebQ12JD0), где опытом внедрения AMD-шного софта делятся ребята из довольно крупных компаний.
Так что поживем, увидим, что будет происходить))
Да, я видел данную работу.
Все будет!))
Я просто планировал плавненько подойти к ROCm, а перед этим сделать несколько шагов назад и проговорить несколько моментов касательно терминологии.
Всему свое время =)
Вот тут (https://chipsandcheese.com/p/testing-amds-giant-mi300x) можно посмотреть тесты по MI300X.
Выглядит, конечно, впечатляюще, но хотелось бы воспроизвести))
Улыбнули оба закона/принципа =)) Почитал, посмеялся))
Кажется, что про упомянутую вами книжку я краем уха слышал.
Тем не менее, добавил себе в избранное, постараюсь до нее добраться. Описание книги интригующее))
По поводу того, насколько велики шансы: количественная оценка — задачка нетривиальная))
С моей точки зрения шансы эти есть и зависят все-таки в большей степени от усилий конкретного человека.
Есть масса обучающих материалов в открытом доступе, бесплатных и вполне качественных.
Здесь проблема может быть в том, чтобы выстроить эти материалы в непротиворечивую учебную программу. Тут вам могут помочь и разнообразные платформы, предоставляющие учебные курсы/профессии/специализации, и статьи типа этой, и различные видео на ютюбчике. Посмотрите программы обучения, посравнивайте их и вы легко поймете для себя, на что вам нужно обратить больше внимания))
Я бы возразил вам в том, что порог невероятно высокий. В статье я лишь хотел сказать, что путь важнее точки назначения и по дороге можно найти массу всего полезного и интересного)) Порог же скорее непонятно какой высокий.
Тут просто сразу несколько факторов влияют на этот самый порог:
Вы написали, что занимаетесь системным администрированием ПО SAP. Это уже отлично, т.к. масса чисто инженерных навыков будет для вас не в новинку. Написали, что осваиваете математику почти с нуля. Здесь будет, я думаю, очень уместно сказать, что к сфере Data Science и Machine Learning имеют отношение сразу несколько специализаций, таких как:
Смысл в том, что в каждом из этих направлений свои требования к математической подкованности кандидата и и значит можно вполне начать с того направления, где этих требований меньше!))
На тему отличий и общих черт этих направлений есть хорошее видео 4-х летней давности, которое особо не потеряло актуальности.
Рядышком есть тоже интересное видео по типичным ошибкам и ожиданиям от кандидата, можно глянуть.
Я вот вышел из сферы автоматизации тестирования и потихоньку себе ползу и ползу, периодически сверяясь с планочкой и со своими мыслями по поводу того, надо ли вообще ползти до следующей планочки.
Короче, дерзайте, пробуйте!
Огонь ссылки!
Спасибо, что поделились!
Спасибо, поправил))
Иззбазиба!))
Пожалуйста!))
Ну да, тоже норм вариант))
На ютюбчике у IBM тоже есть небольшая подборка по AI Essentials.
Можно начать с нее, а потом пойти на их специализацию на Coursera.
"Одна из работ" - какая именно?)) Поделитесь пожалуйста или хотя бы скажите название работы, чтобы можно было ее найти и почитать.
Тема действительно довольно интересная и я пока что не сталкивался с ней в курсах, имеющихся в свободном доступе.
Можно, конечно, посмотреть лекцию типа вот такой, но круто было бы почитать первоисточник.
На самом деле там задача-то не очень сложная))
Просто правда нужно было пропустить ее и идти дальше))
Если бы я так сделал, то сэкономил бы себе много времени, сил и нервов))
Доброго времени суток!
Для правильного прикладывания математики к реальности здесь нет вообще очень много чего, поскольку "правильное прикладывание математики к реальности" - довольно широкая тема.
Тема данной статьи была немного более узкой и конкретной.
Если у вас есть ссылки на бесплатные и толковые курсы/статьи/книги/лекции/прочие материалы на обозначенные вами темы, поделитесь ими пожалуйста, я с удовольствием с ними ознакомлюсь!)))