Комментарии 69
Я тоже смотрел то интервью и мне наоборот понравилось. Он вполне трезво смотрел на вещи и скорее смотрит на будущее в позитивном ключе.
Да, начинающих разработчиков скорее всего не нужно будет, я уже сейчас вижу этот тренд – в моей компании уже нет джунов и даже не нанимают их. Это значит лишь то, что порог входа будет выше, потому что Синьору уже не нужен поддаван, который будет рутину делать, у него будет AI-ассистент.
Многие профессии уже уходят. Копирайтеры для проверки и улучшения текстов, переводчики. Там в интервью говорят, что юристы будут не нужны. Здесь тоже соглашусь – возможно они будут нужны для сложных кейсов. Мне недавно составили какой-то мудреный договор на аренду квартиры и GhatGPT прекрасно проверил его на подводные камни, хотя раньше в подобных ситуациях этой работой бы занимался компетентный человек
Я в целом с ним согласна в этом, многое уходит. Но его оптимизм скорее относится к бизнесменам и его личной рабочей жизни. Не понравились тейки "Люди потеряют смыслы" — это скорее какая-то поза богатого человека, который говорит за других, а не за себя. В общем, и с вами согласна, и всё равно осадочек. Но ИИ — круто, тут у нас общее место. :)
Джун хотя бы сможет сформулировать задачу ассистету, чтобы тот выдал решение. Проверить решение, скорректировать, снова проверить и выдать уже сеньору готовое задание.
Смысл джуна в том, чтобы рутиной не занимался сеньор, а создавать и сортировать дич от нейронки это будет рутина X2.
Ничего не поменяется, я думаю, нанимать будут ещё больше джунов, только дешевле.
потому что Синьору уже не нужен поддаван
ага, а помещику будут не нужны крепостные!
Интересно как Синьору будет глумиться над AI-ассистентами? И откуда возьмутся Синьоры если нет начинающих разработчиков?
миллионы тут зарабатывает именно Оскар Хартманн, а не я, окей.
Окей, возможно, он именно поэтому и зарабатывает миллионы, что выступает на Ютубе, а вы его зачем-то слушаете.
Разгонять панику — это очень некрасивая и глупая манипуляция. И ещё понятно, когда это делают джуны из-за страха. Но какой профит в этом, кроме хайпа и позы, для Оскара Хартманна?
Неужели.... ХАЙП? Да не может же быть, чтобы такой топовый товарищ, добившийся Успешного Успеха, захотел манипулировать словами, чтобы получить больше просмотров и внимания?
...хотя постойте, а зачем вообще миллиардер дает интервью на Ютуб? Ему с его миллиардами заняться нечем?
Ссылок не даю, чтобы в рекламе не обвинили,
Спасибо, продолжайте в том же духе.
Никогда такого не было (манипуляции на ютубе) и вот опять)))
...хотя постойте, а зачем вообще миллиардер дает интервью на Ютуб? Ему с его миллиардами заняться нечем?
Намекаете, что не такой уж он (о боже) миллиардер?)
Это был "миллиардеро-содержащий" продукт 😁
Возможно это миллиардер из породы Сергея Мавроди или Тревора Милтона (создателя компании Nicola). Есть талантливые люди, которые прекрасно привлекают к себе чужие деньги. Правда не всегда хотят и могут вернуть.
На самом деле уже на этапе просмотра его лендинга меня посетили странные мысли. Всё-таки начинать описание своей экспертизы с "охотника за единорогами" - идея для человека, который однозначно любит риск)
Когда вы выложили скрин лендинга, если честно, я сразу подумал: "ШО, ОПЯТЬ?"
начинать описание своей экспертизы с "охотника за единорогами" - идея для человека, который однозначно любит риск
Это там на сайте такие трудности перевода на русский. Оригинал начинается с Serial entrepreneur, и только на третьей позиции там Unicorn creator & hunter.
Намекаете, что не такой уж он (о боже) миллиардер?)
Намекаю, что если у человека много ресурсов в реальной жизни, возможно, ему не очень хочется давать какое-то интервью, в котором, он, по-видимому, не рассуждает о своих личных мыслях, а рассказывает что-то в контексте хайпа.
Такое имхо скорее нужно, если человеку по каким-то причинам нужно поддерживать видимость и значимость своей персоны.
Человеческая жизнь не состоит из одной работы, и если мы потеряем ряд профессий — естественным образом обретём другие.
в этом месте вопрос: какие? будут ли они, эти самые профессии?
PS: в этом вопросе я опираюсь не столько на это интервью, а на то, что многие ИИ-разработчики пишут и говорят о будущем.
Вот, например, наш Сергей Марков (разраб ИИ в Сбере) написал книгу об ИИ.
Так вот, он там пишет, что уже с современным уровнем развития ИИ (то есть если останется только экстенсивное развитие вида "больше внедрений", а качественного уже не будет) через несколько лет не останется ни одной профессии, которую не сможет заменить ИИ.
Допустим, что для реальной замены человека на ИИ потребуется ещё десять лет.
Но вот что дальше?
какие "другие профессии" мы будем искать в таком случае?
и именно здесь возникает тот самый вопрос смыслов, о котором идёт речь в интервью.
Если продолжать тему со смыслами, то развитие и внедрение ИИ может пойти по двум путям: условно-плохому (ИИ используется для контроля итп) и условно-хорошему.
Если говорить об условно-хорошем варианте (ИИ используется для того, чтобы улучшить жизнь абсолютно всех людей), то это такая картина: в мир приходят роботы (или условная магия), которые выполняют всю работу, вообще всю, что требуется. Сильный ИИ для этого даже не нужен - достаточно слабого ИИ.
Так вот в условно-хорошем случае потерявшие работу люди теряют и необходимость работать. Плохо, что ли? - Хорошо!
И именно это место выглядит страшно!
Именно в этот момент и приходит та самая утрата смыслов:
Если человеку не требуется работать, станет ли он учиться (даже при доступности образования)? Не начнётся ли неостановимый процесс тотальной деградации человека?
Если человеку не требуется работать, преодолевать, стрессовать, достигать, то будет ли он счастлив?
В этом контексте очень сильное впечатление производит эксперимент, который некогда провели на мышах, поместив их "в рай".
Помните "Эксперимент Вселенная-25"? Напомню, (почти) все мышки умерли и эксперимент пришлось прекратить.
Звучит как: "если крестьяне не будут трудиться на полях - что они будут делать?"
Как обычно, те, кому больше нечем заняться кроме изнурительной работы - пить, торчать, безобразия нарушать, пока господин полицейский дубинкой не настучит.
И таких среди людей большинство.
ну да, пить и торчать, разумеется. в игры играть (которые роботы напишут).
но дальше-то что?
родился сейчас ребёнок - родители пытаются дать ему образование: для чего? Потому что это требуется в жизни. А если это перестало требоваться?
Как будет выглядеть второе поколение от этой стартовой точки, а за ним третье, четвёртое, пятое?
вы будто фантастику не читали.
сформируется класс "пить, торчать" и класс, где будут учить детей наукам, потому что эту всю роботическую красоту все равно надо понимать и уметь чинить. ну и в целом надо понимать мир, в котором живёшь. (см. историю давно и сильно богатых семей. У них хватает ресурсов на беззаботную жизнь, однако они не регрессируют, как-то справляются с взращиванием нетупых потомков и продолжают быть давно и сильно богатыми)
или морально разложимся и вымрем как вид.
или преисполнимся благости и вознесёмся.
все варианты уже описаны, о судьбе человечества можно не париться.
в отличие от ИИ-технологий, где работы ещё непократый чай.
и класс, где будут учить детей наукам, потому что эту всю роботическую красоту все равно надо понимать и уметь чинить
Вы будто не слышите. Не нужно её чинить - профессия починщика тоже будет заменена.
ну и в целом надо понимать мир, в котором живёшь
"надо" в этом случае понятие НЕнеобходимое. И это "надо" некоторое время может сохраняться по инерции, да разве что у людей религиозных (вводящих "надо" в разряд догм - не больше)
но даже религии склонны к саморазрушению со временем
см. историю давно и сильно богатых семей. У них хватает ресурсов на беззаботную жизнь, однако они не регрессируют
во-первых, регрессируют
во-вторых, Вы затронули интересную тему. Знаете ли Вы что, для того, чтобы не регрессировать, семьи потомственных богатых "любят" обучать своих детей в спецшколах, порядки в которых похожи на армейские, а ресурсы ребёнка в момент взросления жёстко ограничены?
или морально разложимся и вымрем как вид.
или преисполнимся благости и вознесёмся.
все варианты уже описаны, о судьбе человечества можно не париться.
Как же не париться, если даже Вы описали здесь два (два!) противоположных результата? и способа "как сделать так, чтобы вместо двух был один" не предложили.
Решение лежит на поверхности - кардинальная реформа образования, единственный способ заставить народонаселение что то делать хотя бы приблизительно в нужном направлении - это зомбировать обучить его еще в маленьком возрасте, благо технологии уже оттачиваются годами, правда с целями, далекими от этих.
К сожалению перейти от текущего процесса не случайного саморазрушения (моя теория заговора - это намеренно, но как побочный процесс а не как самоцель) личности не понятен, ибо тем кто могут это не нужно и даже вредно, а тем кому нужно - не хватит власти, ну а на 'кровавые революции' надежды мало, они практически в принципе уже не возможны.
Бытие определяет сознание.
Бытие, в котором "есть всё и даром", кмк, равно бытию в котором ничего нет.
Вы можете себе представить неделю безделья? Легко, у любого получится.
А месяц? А год? А жизнь?
Причём это безделье обоснованное: чтоб ты ни делал, а робот сделает быстрее и лучше и дешевле. То есть сам процесс деланья теряет смысл.
это тот самый кризис смыслов, о котором говорят в интервью
у Лема был роман, про "этикосферу": когда всё что угодно можно получить просто по желанию.
Дело в том, что для многих даже месяц без непрерывной борьбы за выживание - непозволительная роскошь, и они даже представить себе не могут чем можно заняться.
А многие окажутся и не способны - вот где проблема. Что-то конечно придумают - но лучше бы не придумывали...
Был мультфильм про великого Нехочуху
Работать ради работы любит не так уж много людей, и при возможности бездельничать всю жизнь легко этим займутся. Причем бездельничанием не в своём понимании, а вероятно в Вашем. Примем за базу отсутствие необходимости работать за еду и жильё, и увидим, что сохраняется необходимость в:
1) виртуальные миры; компьютерные игры могут занять абсолютно всё свободное время человека, проигравшего ИИ в реальной жизни, но желающего чем-то заниматься. В играх по прежнему сохранится конкуренция между людьми. Возможности виртуала потенциально безграничны. Минус - сокращение популяции человека вследствие отсутствия размножения в среде данных индивидов; но в чьих-то глазах это же может быть плюсом. Опять же, это не алкоголизм и не наркомания.
2) творчество; то, что может сделать искусственный идиот, сложно назвать именно творчеством, это достаточно плоские и плохо отражающие жизнь поделки с привкусом пластмассы. Настоящая творческая личность всегда будет лучше, чем ИИ, начиная от фотографии и заканчивая живописью. Да, маляры уйдут в прошлое - но в маляры идут из-за необходимости заработать на жизнь, а не из-за потребности в работе.
3) блоггинг в том либо ином виде, создание контента в самых различных отраслях для потребления оного теми, у кого есть ББД (а у Вас в "дано" указана целая жизнь безделья). Этих потребителей будет в таком случае в разы - в десятки раз - больше, чем сейчас, когда на работе приходится работать, а не смотреть ютубы и тик-токи.
В общем, получится в результате огромная прослойка элоев. Те же, кому будет интересно управление и наука, всё равно останутся - это будет обеспечено базовым обязательным образованием и отбором в результате оного перспективных необходимых кадров.
Объясните мне пожалуйста, как именно заменят людей которые делают хорошие промышленные интерфейсы (или не промышленные)? Специалистов по UX то вообще днем с огнем можно найти, учебников/документации минимум. А тут бац и заменят их. Да я быстрей поверю в возвращение скевоморфного дизайна при помощи ИИ. При том что все перешли на "плоские классные дизайны" только потому что большая часть "дизайнеров" не потянула.
все перешли на "плоские классные дизайны" только потому что большая часть "дизайнеров" не потянула [...] скевоморфного дизайна
Плоские стандартизированные дизайны потому что мышление стало более абстрактным и выросли требования по скорости восприятия информации.
Человек привык к интерфейсу и ему не нужны больше для понимания зацепки в виде реалистичных изображений
Ничего похожего, при простом сравнении старый дизайн того же айфона выигрывает и по скорости навигации и по восприятию и по индивидуальности, потом смотрите на новый - будете неприятно удивлены. Поверьте, найти дизайнера который старательно учился или от природы знает как пользоваться объемом - уже сравнимо с поиском единорога, а уж умеющий в скевоморфизм - это чтото вроде аликорна.
Собирать полноценное A/B мне лениво, но вот картинка на которой можете найти часики и настройки.
Зачем вы привели этот шлак справа?
Возьмите современный смартфон, лучше андроид
Я тут один, для кого что справа, что слева - разница только "в этаких завитках"? )
Примерно как один дизайнер долго доказывал, что вот на такой картинке шрифт красивый, а на такой - некрасивый, а мне казалось что они у него просто одинаковые...
ну сейчас chatgpt умеет написать 50-100 строк кода без ошибок.
чтобы он мог написать 5000 - нужно чуток подождать и с этого момента не нужны будут эти самые специалисты по UX, поскольку UX можно свести к текстовому/голосовому общению.
текстовому/голосовому общению.
Угу, так и вижу как с линий пропадают экстренные красные кнопки останова, пульты управления разнесенные так, чтобы все конечности приходилось из станка вынимать и в случае чего, работник, захлебываясь кровью, голосом "управлял". Этой сказке про голосовое общение уже лет 30 как минимум.
Я несколько лет назад создал интерфейс для бухгалтера, который увеличивал скорость на порядки по сравнению с 1с и сделал я это вдумчиво наблюдая за процессами, я пока этот навык даже передать толком не могу, а представить какой должен быть промт и подавно.
По той же причине в автомобилях обратно возвращают физические кнопки
физические кнопки возвращают после первой же поездки горе-дизайнера на автомобиле по не очень ровной дороге, с хорошим трафиком.
Потому что он наконец понимает: играть в NfS сидя в "игровом" кресле за игровым монитором - не то же самое, что нажимать кнопку закрытия внешнего забора воздуха, оказавшись в облаке копоти от грузовика посреди перекрестка на "мигающий красный".
в случае чего, работник, захлебываясь кровью
Вы забыли? работников с кровью не будет
Даже 50-100 строк без ошибок он умеет написать ИНОГДА.
не-не-не
уже сейчас он делает ошибки куда реже человека
другой вопрос, что ему требуется точное ТЗ и вот эти «ошибки» о которых Вы говорите — в основном сводятся к неверному промпту
Нуда, вот только разработчик, а не кодер, как раз работает над тем чтобы сделать хорошо, без четкого тз. Тут уж простите, людей требующих с заказчика строгое тз ценой содержания огромной команды я максимум кодерами могу назвать. Вот им, да, хреновенько будет.
Пессимистичная точка зрения и страх перед новым были всегда — так устроен человек. Проще обвинить кого-то извне (ИИ, капиталистов, роботов), чем признать, что времена меняются и адаптация требует усилий.
То, что мы наблюдаем сейчас, очень напоминает полемику времён индустриализации: «станки отнимут у нас работу», «мы останемся без хлеба», «человека заменит машина». Всё это уже было.
Да, часть профессий исчезнет. Да, часть людей, не сумевших адаптироваться, выпадут из системы. Но будут и те, кто выживет, кто переобучится, кто найдёт своё новое место в мире.
Разговоры о том, что ИИ полностью заменит все профессии в ближайшее время — преувеличение. Не потому, что ИИ слаб, а потому что человек не готов принять ИИ как равного или чуждого себе субъекта. Кроме того, физический труд до сих пор остаётся сравнительно дешёвым и часто незаменимым на уровне логистики, быта, микроэкономики. А значит, ближайшие 300–400 лет полной замены человека ИИ не произойдёт.
И как минимум одна профессия точно никуда не денется: оператор ИИ — как посредник между человеком и машиной. Именно он будет отвечать за качество диалога между двумя средами мышления.
Не потому, что ИИ слаб, а потому что человек не готов принять ИИ как равного или чуждого себе субъекта.
давайте ещё раз: чтобы заменить все профессии субъектность программировать не нужно
Кроме того, физический труд до сих пор остаётся сравнительно дешёвым и часто незаменимым на уровне логистики, быта, микроэкономики. А значит, ближайшие 300–400 лет полной замены человека ИИ не произойдёт.
заменить водителя оказалось сложнее, чем художника - это да, но это сильно временно. Но дело прежде всего в том, что значительные трудности стояли в русле законодательства. Беспилотные такси повсюду не ездят не потому, что они невозможны или их нет, а потому что изменения в законодательстве идут крайне медленно. Но изменения идут и рано или поздно завершатся.
На наш с вами век хватит — мы не доживём до момента, когда все рабочие профессии будут заменены ИИ.
Главная проблема сейчас — это создание субъектного ИИ. Только субъектный ИИ способен принимать решения в условиях неопределённости, как это делает человек. А человек, при всех своих слабостях, остаётся предсказуемым, управляемым субъектом, ограниченным законом, моралью и инстинктом выживания.
Да, автоматизируемые рабочие профессии будут постепенно вытесняться — это логично. Но внедрение ИИ как автономной бизнес-единицы в данный момент времени возможно лишь в компаниях с годовой прибылью от $1 000 000 и выше. Только такие компании могут позволить себе необлачный ИИ, с соответствующей инфраструктурой, безопасностью и сопровождением.
На наш с вами век хватит
здесь соглашусь, однако что с нашими детьми? думать о проблемах, с которыми они встретятся, нам не возбраняется же.
Главная проблема сейчас — это создание субъектного ИИ
создание субъектного ИИ - это условно говоря задача в разделе "удовлетворение научного любопытства"
И, кстати, субъектный ИИ будет обладать массой недостатков по сравнению с несубъектным ИИ и смысл этих недостатков лежит именно в субъектности. Но это некоторый офтопик к тому, о чём мы говорим.
а вот если вернуться к обсуждаемой проблеме, то: для того, чтобы ИИ заменил все профессии на планете субъектность не требуется. Мало того (это моё мнение, но, кажется, оно довольно логично, см. статью) оно вредно.
Но внедрение ИИ как автономной бизнес-единицы в данный момент времени возможно лишь в компаниях с годовой прибылью от $1 000 000 и выше.
да, но лишь отчасти
вот в 2008 году у нас было 2500 таксопарков в Москве, а теперь у нас один агрегатор.
или вот у нас в том же 2008 году был "Утконос" - единственная служба доставки, которая работала в условно-ручном режиме, требовалась запись за неделю вперёд, а теперь вон дроны приезжают (а в других странах даже прилетают). Дроны, кстати, ИИ управляются.
То есть если Вам кажется что "вот этот конкретный бизнес - мелкий", то это до тех пор пока он не включен в какой-то агрегатор.
Ну и рано или поздно кто-то сделает условно-универсального дрона, работающего по словесным командам (и в этом месте ему снова субъектность будет не нужна или даже вредна)
Современные "беспилотные такси" - это как механический робот-наездник верхом на живой лошади: наверняка где-то в 18 веке что-то такое представлялось.
Тут надо переосмыслить и изменить саму структуру городского пространства и его транспортных систем.
Никто же не лазит (в норме) внутри лифтовой шахты, мешая лифту работать? И напротив, никакой многоногий "подьемник" не карабкается по лестницам, мешая людям?
А беспилотные автомобили почему-то должны ездить по улицам, где не только обычные авто с водителями, но еще и всякие пешеходы-велосипедисты-бегуны попадаются.
это было бы справедливо, если бы беспилотник не умел разбираться где пешеход, а где что-то ещё.
на сегодня проблемы массового запуска беспилотников в городах в основном только юридические. Конвенция уже принята, а вот ратификация ещё идёт. В РФ сейчас беспилотники пока разрешены в узком диапазоне дорог. Кстати, ЕМНИП, в этом году должны рассматривать поправки к законам.
Как этот ваш ии заменит, например, закладчика?
Так вот, он там пишет, что уже с современным уровнем развития ИИ (то есть если останется только экстенсивное развитие вида "больше внедрений", а качественного уже не будет) через несколько лет не останется ни одной профессии, которую не сможет заменить ИИ.
А давайте проверифицируем это утверждение реальностью.
Конструктивное утверждение:
На основе уже сегодняшних "базовых моделей" можно дообучить специальные модели для замены фактически любой профессии.
Чего бы я ожидал:
Сбер смог заменить полностью хотя бы одну профессию (без потери качества) с экономическим или хотя бы PR-эффектом.
Что мы видим?
Первая линия поддержки после первоначального очарования "ах собака играет в шахматы ИИ поддерживает разговор" - не выдерживает никакого сравнения с качеством первой линии хотя бы 5 лет назад (когда их стали массово увольнять).
То есть даже поддержку первой линии сегодня Сбер (в частности) сделать не смог.
Первая линия поддержки после первоначального очарования
кстати, вот этот момент крайне интересен.
Вы наверное сталкивались с тем, что вы приходите куда-то в чат, там на входе робот, потом он зовёт человека, а человек уже приходит и решает Ваши проблемы.
Вы ведь именно об этом говорите, правда?
Так вот, знаете ли Вы, что вот этот человек, решивший Ваши проблемы, в значительной части случаев - не человек, а другой робот, просто более дорогой?
То есть владелец бизнеса что делает: ставит "тупого" (почти бесплатного) робота на первую линию. Он работает по скрипту, стандартные вопросы. Но сколько-то народу отсеивает. Условная стоимость для бизнеса 1 копейка за фразу.
Затем когда Вы настаиваете "позови человека", он "зовёт", но не человека а более умного робота. Условная стоимость для бизнеса - 1 рубль за фразу.
И вот этот более дорогой, решает большинство проблем не привлекая людей, мало того, люди думают, что общаются уже с человеком: "ну наконец-то!"
И таких уровней может быть больше, нежели один.
Я где-то видел скриншот, где клиент, после того, как его проблема была решена, попросил бота "напиши программу на Python" и получил кусок кода.
В общем, если кажется, что роботы тупые, то это не кажется. Они не тупые - они (пока) дорогие.
Зачем же умный робот уходит на пять минут, чтобы вернуться с ответом?
он в очереди запросов стоит
это ж всё в экономию упирается, примерно как с VDS, где вы можете купить реальный диск, либо сетевой, реальный cpu, либо его подобие и так далее
у chatgpt спрашиваешь и он мее-дленно печатает ответ. Почему? RPS экономят
так и тут
у chatgpt спрашиваешь и он мее-дленно печатает ответ. Почему? RPS экономят
так и тут
Ну вы же просто сейчас "в прямом эфире" как говорится просто закапываете себя всё глубже и глубже.
- GPU же - это MPPE архитектура. Которая очень производительно вычисляет параллельные задачи и довольно медленно задачи, с data-flow внутри.
- LLM - требует для генерации каждого следующего символа уже сгенерировать все предыдущие (как в n-gramm задаче, только на порядке сложнее). Т.е. ответ на единичный промпт - та самая data-flow задача с внутренними зависимостями.
То есть такой медленный ответ потому, что такая задача просто архитектурно не задействует всю мощность GP GPU (но зато почти без помех можно в параллель запускать десятки таких задач).
Ни и all things condidered - скорее всего всю эту байду про "на второй линии роботы" вы выдумали ну или экстраполировали какой-то единичный пример и дальше всё выдумали.
Начиная банально с неграмотности ответов и заканчивая слишком большим числом косвенных неувязок: отсутствия пиара, отсутствие признаков LLM-ности в этих ответах, та самая очередь....
То есть такой медленный ответ потому, что такая задача просто архитектурно не задействует всю мощность GP GPU
о мощности GPU в бизнесах не стоит и говорить.
у вас есть стоимость одной отправки промпта, она зависит от длины прилагаемого к нему контекста
и есть ограничение на количество этих самых отправок в секунду (RPS).
допустим у вас ограничение (цифры от фонаря) на RPS - 1 запрос в минуту. В сутки получается 1440 запросов. По статистике в Ваш бизнес приходит за сутки не более 300 клиентов. Какой тариф Вы возьмёте? тот, что 1440 запросов в сутки или тот, что 14400, но стоимостью в десять раз дороже?
Естественно, что возьмёте тот, что дешевле. А дальше ставите в очередь и два клиента общающихся с ботом одновременно видят задержки по одной минуте.
мало того в подобной парадигме строятся даже бесплатные запросы к AI
например https://fusionbrain.ai/ вечером генерирует картинку 15 секунд, а днём может и пять минут на это тратить. Почему так? вот по этой самой причине.
а если вернуться к GPU, то один GPU обслуживает 100500 разных клиентов и об этом думает уже провайдер услуги (Яндекс, Сбер, OpenAI итп)
Зачем вы себя всё глубже и глубже закапываете?
1
Как ограничение "1 запрос в минуту" соотносится с медленной генерацией символов в chatgpt / deepseek?
2
Какое ограничение "1 запрос в минуту" в Сбере (о нём изначально шла речь), откуда таким ограничениям там вообще взяться?
3
а если вернуться к GPU, то один GPU обслуживает 100500 разных клиентов и об этом думает уже провайдер услуги (Яндекс, Сбер, OpenAI итп)
Там это вообще не так работает.
Инференсная модель "размазана" по больше чем десятку карточек (просто делим размер модели с учётом типа на объём памяти плюс некоторый не принципиальный запас). При этом:
для генерации одного токена, даже если других запросов нет - текущий "стейт" должен последовательно пройти вычисления на всех N карточек
Поскольку GP GPU это MPPE вычислитель - то параллельная работа десятков клиентов (до некоторого предела) вообще не мешает друг-другу.
Как ограничение "1 запрос в минуту" соотносится с медленной генерацией символов в chatgpt / deepseek?
на самом деле генерируется быстро, а медленно делается для пользователей - чтоб ожидали ответа и не слали новый запрос раньше установленного лимита
Какое ограничение "1 запрос в минуту" в Сбере (о нём изначально шла речь), откуда таким ограничениям там вообще взяться?
у Сбера, Яндекса, кого угодно имеется условно 100 GPU. Эти 100 GPU могут делать условно 100 запросов в секунду. Приходит к ним условно 100 клиентов и покупает гарантированный 1 RPS.
Что тут не понятно? Если клиент хочет 10 RPS, то значит на этих 100 GPU у него будет не более 90 "соседей".
Поскольку GP GPU это MPPE вычислитель - то параллельная работа десятков клиентов (до некоторого предела) вообще не мешает друг-другу.
здесь Вы рассказываете о том каким образом 100 GPU шарится между 100 клиентами. Однако предсказать заранее сколько узлов сети будет задействовано при обработке каждого запроса невозможно, потому исходят из средних значений.
Что тут не понятно? Если клиент хочет 10 RPS, то значит на этих 100 GPU у него будет не более 90 "соседей".
Непонятно - зачем вы с рассказами уровня "додумываю из головы на основе прочитанного блога" пришли на профильный ресурс - habr.
Думаю на этом стоит разговор закончить.
Тут должна быть картинка с мужиком, который за голову хватается.
Читаю как детектив, учитывая, что я внедрял чатбота в одном банке.
то есть на основе того, что Вы внедряли чатбота, Вы утверждаете, что однажды поставив 100gpu, можно расслабиться: их хватит и если придет 1 клиент, и если клиентов будет 10000000000. Так?
и вот это непрерывное «лежание» дипсика в момент его выхода — это по другим причинам, нежели перегрузка миллионами заинтересовавшихся клиентов. Так?
ну что же, действительно: «детектив»
Человек инвестирует в стартапы кремниевой долины. Конечно же он на каждом углу будет рассказывать о неизбежности торжества ИИ, - он защищает свои инвестиции.
Неприятная правда в том что уже сегодня 90% людей не нужны и выполняют работу, которая создана искусственно. Толпа бездельников-чиновников придумывают искусственно усложненные налоговые законы (которые можно было бы упростить сотни раз и списывать автоматом) - вот уже и налоговые консультанты нужны, куча литературы становится нужной, бухгалтерские еженедельники, куча софта, инфраструктура по поддержке всего этого.
На самом деле мы люди сами себе генерируем нужность. Реальной нужности - еда, вода, одежда, машины и дома - не много. Да и то - дома нужны простые, а выпендреж мы сами себе придумываем, чтобы быть нужными друг-другу. Еда так-же - еда нужна простая, а выпендрежная с красивой подачей - это мы сами себе придумываем нужность.
Торговец подержанными машинами и инфоцыган рассказывает нам про перспективы систем машобуча. Разбор, в целом, по делу. Но посмотрев это видео и написав о нём статью вы зря потратили бесценные часы своей жизни.
Интервью про ИИ, которое меня выбесило