Черная дыра искусственного интеллекта: почему инфраструктура стала главным барьером развития отрасли?

[ToxaBes]

почему инфраструктура стала главным барьером развития отрасли?

Вы ошибаетесь, инфры сейчас уже достаточно.

Главная проблема развития отрасли в массовой некомпетентности тех кто приходит в мир ML. Подавляющее большинство ML специалистов имеет опыт не больше 2х лет, т. е. они еще не набрались опыта и по факту в лучшем случае мидлы.

Отсюда куча незрелых решений, от использования облачных фронтир моделей там где это не оправдано, до попыток внедрения полуфабрикатов с открытыми весами с переменным качеством и замены системного подхода в архитектуре на вайбкодинг.

Большинство, включая вас, не в курсе, что в конкретных задачах локальная небольшая ~30B доработанная модель показывает себя также, а иногда и лучше фронтир модели, да да, лучше того же Opus 5. И это реальные тесты по конкретным задачам, а не тесты по синтетическим бенчмаркам, на которые эти фронтир модели обдего назначения специально затачиваются.

Всю эту некомпетентность сверху маскирует куча инфоцыган от мира консалтинга, вчерашние маркетологи создавшие в чатгпт метрики и методики успешнго внедрения ML в бизнес.

Это все детские болезни молодой, быстро развивающейся отрасли. Т. е. это нормально, к сожалению.

Появятся ли в ближайшие 5 лет дата-центры с GPU в РФ?

Вылезайте из криокамеры.

[press_a_key]

Большинство, включая вас, не в курсе, что в конкретных задачах локальная небольшая ~30B доработанная модель показывает себя также, а иногда и лучше фронтир модели, да да, лучше того же Opus 5.

Может быть стоимость дообучения модели(включая сбор изначального датасета) при узкой же заточенности оной(читай - хорошо будет работать в малом диапазоне случаев), по сравнению с более умными моделями не в пользу файнтюнов?

[ToxaBes]

В среднем 1 неделя сбора датасета + до 2х дней Lora-адаптация, полное переобучение не нужно. Сделать это может любой ML инженер (если он специалист).

Выгоду можете посчитать сами.

[Aleksandr_Lar]

до 2х дней Lora-адаптация

Иногда, кстати, проблема может быть решена даже простым RAG

[ToxaBes]

Да, вы абсолютно правы. Зависит от задач, часто RAG хватает.

[iwram]

Согласен, четырьмя годами раннее обучали Берты и fasttext - на выходе был сопоставимый результат с текущими тяжеловесными моделями, которые используют x20 от ресурсов. Когда выйдет индустрия из такого пике где всегда требуется больше золота на реализацию маленькой фичи - никто не знает. Но все упорно хотят внедрить ИИ т.к. это советуют все современные консультанты...

[ToxaBes]

Когда выйдет индустрия из такого пике где всегда требуется больше золота на реализацию маленькой фичи - никто не знает

Вы правы, бизнесу нужно хорошенько попрыгать на граблях и потратить большие бюджеты на бесмысленный консалтинг. Тогда наступит небольшой период разочарования (откат), который сменится нормальным прагматичным подходом, в котором вайбкодеров предлагающих создать ML систему для предприятия на базе подписки от Антропиков просто не будут пускать на порог.

Но сколько времени займет получение этой прививки пока непонятно.

[Siemargl]

Какая криокамера ? Автор - студент-продаван-воздуха с опытом работы 3 дня =)

[dyadyaSerezha]

Очень неудачное сравнение ситуации с черной дырой. Какой-то ещё непонятный первый график без названий осей. Я долго не мог понять, где в ситуации с ИИ горизонт событий (а у вас их вообще два), пока не прочитал всё объяснение. Гораздо лучше сравнить это с ямой или провалом (на грунте).

Почему модели для медиков и Норникеля сложнее фронтирных? Какие у вас критерии сложности? Я очень в этом сомневаюсь. Они, скорее, узкоспециализирлванные, но не более сложные.

Про собственно развитие. Вы почему-то не упоминаете самый главный фактор экономики - откуда окончательные деньги. А они в случае США от всего мира, который пользуется их моделями по подписке, или от огромного рынка Китая, в котором за миллиард населения. Именно этот огромный рынок даёт огромные доходы и в гос казну, которая тоже отстегивает AI-компаниям. У России нет ни того, ни другого.

Ваши рассуждения напоминают мне такие же абстрактные рассуждения о развитии нашего авто или самолетостроения. Ну нет у нас рынка сбыта для такого развития, неоткуда взяться деньгам, или товары (авто, самолёты, ИИ) будут сильно дороже мирового рынка. Ситуация с полностью своим ИИ выглядит похоже.

Другое дело, если тянуть с миру по нитке, где-то немного переобучать, где-то дообучать. Ну и нишевые узкие продукты, конечно.

Кстати, Яндекс уже выкатил свою Алису для бизнеса. Но… ситуация чем-то напоминает голосовые звонки в Телеге или Воцапе. Вы бы предпочли, чтобы вас слушал майор из заокеана или мйор из тутошних? Многие предпочитают… ну вы поняли.

Кстати, понравилось, как деликатно вы полную зависимость от железа (GPU, TPU) назвали значительной. Ну а кто скажет, что полная - это не значительная?)

[Edwward]

Мне одному кажется что аналогия с черной дырой тут слегка натянута аки глобус на сову?