Comments 14
почему инфраструктура стала главным барьером развития отрасли?
Вы ошибаетесь, инфры сейчас уже достаточно.
Главная проблема развития отрасли в массовой некомпетентности тех кто приходит в мир ML. Подавляющее большинство ML специалистов имеет опыт не больше 2х лет, т. е. они еще не набрались опыта и по факту в лучшем случае мидлы.
Отсюда куча незрелых решений, от использования облачных фронтир моделей там где это не оправдано, до попыток внедрения полуфабрикатов с открытыми весами с переменным качеством и замены системного подхода в архитектуре на вайбкодинг.
Большинство, включая вас, не в курсе, что в конкретных задачах локальная небольшая ~30B доработанная модель показывает себя также, а иногда и лучше фронтир модели, да да, лучше того же Opus 5. И это реальные тесты по конкретным задачам, а не тесты по синтетическим бенчмаркам, на которые эти фронтир модели обдего назначения специально затачиваются.
Всю эту некомпетентность сверху маскирует куча инфоцыган от мира консалтинга, вчерашние маркетологи создавшие в чатгпт метрики и методики успешнго внедрения ML в бизнес.
Это все детские болезни молодой, быстро развивающейся отрасли. Т. е. это нормально, к сожалению.
Появятся ли в ближайшие 5 лет дата-центры с GPU в РФ?
Вылезайте из криокамеры.
Большинство, включая вас, не в курсе, что в конкретных задачах локальная небольшая ~30B доработанная модель показывает себя также, а иногда и лучше фронтир модели, да да, лучше того же Opus 5.
Может быть стоимость дообучения модели(включая сбор изначального датасета) при узкой же заточенности оной(читай - хорошо будет работать в малом диапазоне случаев), по сравнению с более умными моделями не в пользу файнтюнов?
Согласен, четырьмя годами раннее обучали Берты и fasttext - на выходе был сопоставимый результат с текущими тяжеловесными моделями, которые используют x20 от ресурсов. Когда выйдет индустрия из такого пике где всегда требуется больше золота на реализацию маленькой фичи - никто не знает. Но все упорно хотят внедрить ИИ т.к. это советуют все современные консультанты...
Когда выйдет индустрия из такого пике где всегда требуется больше золота на реализацию маленькой фичи - никто не знает
Вы правы, бизнесу нужно хорошенько попрыгать на граблях и потратить большие бюджеты на бесмысленный консалтинг. Тогда наступит небольшой период разочарования (откат), который сменится нормальным прагматичным подходом, в котором вайбкодеров предлагающих создать ML систему для предприятия на базе подписки от Антропиков просто не будут пускать на порог.
Но сколько времени займет получение этой прививки пока непонятно.
Какая криокамера ? Автор - студент-продаван-воздуха с опытом работы 3 дня =)
В подавляющем большинстве главный вопрос - что делать с датасетами. Качественная модель даже с малым объёмом весов, обученная на специально для этого сделанных токенах гораздо лучше чем... в свободное время развлекающиеся студенты с role-answer или пишущие курсовик (со всего мира) и выкладывающие всё это в Хаггингфейс. То есть по сути качество определится именно этим, включая синтезирование необходимых хороших данных. Сама структура модели +- уже устоялась, без качественно нового там делать уже особо нечего. Сейчас скорее всего вектор сместится именно к датасетам нежели к самим моделям а далее уже централизованный претренинг или файн тюнинг чтобы уж совсем не путалась в мелочах. Из практического примера - тупиковая работа со специальными функциями без привлечения RAG с компьютерной алгеброй. В узкоспециализированных областях там просто физически некому этим заниматься - максимум отсканированный учебник из 60-х и задачник-решебник приведённый в необходимый json. Так что думается сингулярность скорее именно в этом.
что делать с датасетами
Как что делать? Делать! Делать датасеты, небольшие, но качественные, т. к. для адаптации не нужен огромный корпус как для полноценного дообучения.
В узкоспециализированных областях там просто физически некому этим заниматься
Пока некому, т. к. направление новое. Потом появится какой-нибудь Imago Studio, в который засыпал данные, ответил на вопросы, и он сам сделал адаптацию модели. Первые такие попытки сейчас делает Unsloth Studio, но о нем мало кто знает.
Ох он пытается объять необъятное. У того же Хаггигфейса есть уже на этот счёт гит который берёт сразу же json/csv, только цифры подставляй. Скорее всего даже нужна не студия с очередным цветастым текстовым редактором (для графики понятно - там только вручную) а нечто такое как эксцель с кнопками и полями которые легко заполнять копипастом или для конкретных данных с плагинами а-ля формулы LaTeX или даже схемы KiCAD. Вообщем тут нет универсального решения, но какой-то генератор для последующих разметок вполне может быть, хоть Web хоть Qt. То есть удобство работы со специализированными данными. Вручную костылять csv/json ой не... в 21м веке со скобками и пунктуацией уже пора что-то сделать посерьёзнее.
Очень неудачное сравнение ситуации с черной дырой. Какой-то ещё непонятный первый график без названий осей. Я долго не мог понять, где в ситуации с ИИ горизонт событий (а у вас их вообще два), пока не прочитал всё объяснение. Гораздо лучше сравнить это с ямой или провалом (на грунте).
Почему модели для медиков и Норникеля сложнее фронтирных? Какие у вас критерии сложности? Я очень в этом сомневаюсь. Они, скорее, узкоспециализирлванные, но не более сложные.
Про собственно развитие. Вы почему-то не упоминаете самый главный фактор экономики - откуда окончательные деньги. А они в случае США от всего мира, который пользуется их моделями по подписке, или от огромного рынка Китая, в котором за миллиард населения. Именно этот огромный рынок даёт огромные доходы и в гос казну, которая тоже отстегивает AI-компаниям. У России нет ни того, ни другого.
Ваши рассуждения напоминают мне такие же абстрактные рассуждения о развитии нашего авто или самолетостроения. Ну нет у нас рынка сбыта для такого развития, неоткуда взяться деньгам, или товары (авто, самолёты, ИИ) будут сильно дороже мирового рынка. Ситуация с полностью своим ИИ выглядит похоже.
Другое дело, если тянуть с миру по нитке, где-то немного переобучать, где-то дообучать. Ну и нишевые узкие продукты, конечно.
Кстати, Яндекс уже выкатил свою Алису для бизнеса. Но… ситуация чем-то напоминает голосовые звонки в Телеге или Воцапе. Вы бы предпочли, чтобы вас слушал майор из заокеана или мйор из тутошних? Многие предпочитают… ну вы поняли.
Кстати, понравилось, как деликатно вы полную зависимость от железа (GPU, TPU) назвали значительной. Ну а кто скажет, что полная - это не значительная?)
Мне одному кажется что аналогия с черной дырой тут слегка натянута аки глобус на сову?
Черная дыра искусственного интеллекта: почему инфраструктура стала главным барьером развития отрасли?