OpenAI уже довольно давно не задает темп, а просто движется одной из первых, но наряду со многими. Разница между 4 и 3.5 была огромна. Разница между 5 и 4o была гораздо менее заметна. Claude делает OpenAI в плане разработки кода как стоячих. Китайцы уделывают по цене (но у них электричества просто немеряно, тут понятно). Подписки сокращаются (!). Альтман конечно кормит всех завтраками как придет AGI и все будет хорошо/плохо, но в этом больше МММ чем AI.
Мы плавно приходим к ситуации, когда человек обходится дешевле чем ИИ, при этом выдает более качественный результат. Но и отрицать роль ИИ как мультипликатора человеческой эффективности тоже нельзя.
Помогает отсеивать кандидатов с фейковым опытом подход, когда на собеседовании мяч перебрасывается на сторону соискателя и весь разговор ведется исходя из его опыта. Единственный минус - требует матерого сеньора, умеющего в софт скиллз (что сложно и дорого, я это понимаю). Обычно проходит такое собеседование начинается "расскажите коротко о своем опыте". И понеслась - что за проект, а вот тут почему так сделали, а какие варианты еще рассматривали. Этот формат собеседования, в отличии от "вопрос-ответ", требует от соискателя понимания "графа технологий". Что с чем работает вместе, какие типовые решения есть на рынке и т.п. Красные флаги - "ой, ну это делала команда", "решение было принято без моего участия". Задаешь вопрос "а что именно в описанном проекте сделано конкретно тобой" - и тишина... (или опять наша команда бла-бла-бла)
Вариант подходит только для собеседования миддл+. Не работает если соискатель работал только с "местечковыми" (in-house) фреймворками и инструментами, что случается гораздо чаще чем хотелось бы.
Совершенно верно. Ограничение 100% КПД существует только для замкнутой системы. Кондиционер (или тепловой насос) имеет внешний блок, что автоматически размыкает систему и позволяет "засасывать" тепло извне (даже если на улице холод до -30, но при холоде КПД падает), получая тепловую отдачу кратно более затраченной электроэнергии.
Здесь не будет, да и не может быть каких-то формальных доказательств. Любая метрика или тест, если она не известна широко, будет объявлена "необъективной". А все эти известные и разрекламированные тесты для сравнения ИИ уже давно используются для подгонки под результат. Т.е. новые ИИ лучше проходят известные тесты (потому что это было целью разработчиков), но практически не добавляют ценности для реального конечного пользователя.
Те, кто ворвались в чудный новый мир ИИ еще во времена выхода ChatGPT 3.5, те, кто всё это время использует технологию в повседневной жизни, уже легко распознают сгенерированные AI арт по первому взгляду (цветовая палитра, типовые шаблоны). Равно как способны в ответе LLM видеть эти самые шаблонные структуры. ИИ в современной реализации не способны производить "новизну", т.к. это противоречит их базовым принципам (вероятность следующего токена). Если задирать "теплоту", то "новизна" может случиться, только в 99%+ случаях эта новизна = галюцинации.
В чем LLM хороши - выявление скрытых зависимостей и категоризация. Это традиционная сильная сторона нейросетей. Т.е. в таких областях как медицина могут быть неожиданные прорывы - чисто по причине огромного количества объективных данных. Искусство - нет. Искусство глубоко вторично. Все эти промпты "возьми Гомера и нарсуй в стиле Таноса" убоги. Программирование - до сих пор не могу определиться. Однозначно алгоритмическое программирование останется за ИИ (из-за малого контекста). Архитектура - максимум что жду это тупое и бессмысленное воспроизведение восхваленных бест-практис. По идее этого достаточно для закрытия значимого куска рынка, но в текущей реализации все это выглядит "обнять и плакать".
Мое личное отношение к LLM - это человекоориентированный API к публичным знаниям. Это не гарантирует того что "знания" корректны, только то что они являются социально одобряемыми в моменте. Любое углубление в профессиональные темы, любое обсуждение новаторских вещей - и вы оказываетесь в Echo Chamber.
Забавно - кто и как будет нести ответственность. Если тот, кого рекламируют, то это инструмент для уничтожения неугодных. Берешь и заказываешь рекламу на Васю. Если ответственность несет тот, кто заказывает, то насколько длинной должна быть цепочка чтоб перестать нести ответственность. Я плачу агенству "Рука Лицо" за какую-нибудь чепуху, а они совершенно "неожиданно", не согласовав со мной размещают рекламу моего бизнеса в Инстаграмме.
К сожалению я склоняюсь к варианту системной проблемы. К этому мнению я шел долго. Год-полтора я был очень себе энтузиастом. Я написал своего клиента к OpenAI API чтоб контролировать что и как я отправляю. Я пробовал разные подходы (конвенции, метрики и т.п.). Мы по сути не видим существенных изменений начиная с GPT-4. Да, стали мейнстримом "рассуждающие модели". Но это горизонтальный рост. Рост за счет многократных внутренних циклов промпт-ответ-оценка ответа (повторить). LLM очень хороши когда надо запрыгнуть в новую тему. Вводный материал как правило подает хорошо. Но чем глубже уходишь в специфику, тем значительнее падает качество ответов. Я связываю это еще и с тем, что огромные пласты знаний очень слабо представлены в интернете. Они просто в головах у людей. Или даже если есть в интернете, то они теряются на фоне "котиков". Как говорится "количество само по себе является качеством".
И тут мы натыкаемся на экспоненциальный рост стоимости владения ИИ. GPT Plus - 20$, O1 unlimited - 200$, плюс они анонсировали еще два режима - Senior Developer 10000$ в месяц и уровень PhD 20000$ в месяц. А все почему? А все потому что ИИ не добавляет ценности, а просто перефразирует вопрос (точнее выдает самую вероятную последовательность на основе датасета). Чтобы эту ценность "извлечь", гоняют тысячи промптов с довольно грустным результатом. После 2 лет интенсивной работы этот Echo Chamber очевиден. Видно как деградирую ответы в треде по мере его роста, видно что даже заявленное окно контекста работает откровенно паршиво.
Я всё это время интенсивно использовал ИИ, начиная с ChatGPT 3,5, заканчивая grok'ом. За это время я видел "вау" периоды и периоды когда он "глупел" (я так понимаю когда OpenAI резала оптимизировала свои затраты). Поначалу за счет ИИ моя производительность скакнула примерно на 50-80%. А вот дальше прогресс встал. Т.е. написать бойлерплейт по вводным - ок. Выбрать архитектуру или решение под вводные - хрен там плавал. Более того, он даже не способен адекватно оценить плюсы-минусы предложенной архитектуры с учетом проектных особенностей. Он всегда сваливается в обучающий датасет и то что ему натренировали как "best practice". А эти лучшие практики конкретно отдают духом литкода. Оптимизация на спичках, модные библиотеки и т.д. Я уж молчу что если брать что-то чуть сбоку от мейнстримового, то даже сниппеты нихрена не работают. С питоном думаю ситуация лучше всех языков, т.к. он базовый для LLM.
Но что самое плохое, мне ща наши разрабы тащат этот ИИ-трэш в пул-реквесты. Такое ощущение что мозг у людей просто отключается. И ладно были бы джуны, это блин разрабы 10 лет в профессии. Я уже предвкушаю какой будет спрос на сеньоров разгребать это говно в ближайшие пару лет.
Использую ИИ для разработки 2+ лет. Чем дальше, тем меньше. Всё чего добились разработчики это прохождение задачек на литкоде. В остальном же - никакущее понимание архитектуры, неумение подбирать инструменты под задачу, неконсистетность решений одних и тех же задач. Короч или эта хрень генерирует код за один проход и он работает, или вы открываете врата ада.
Для контекста: 20+ лет энтерпрайз бэкенд, 15+ лет фронтенд разработки.
Предложение о покупке компании за 97 лярдов это просто способ затруднить перевод non-profit в for-profit. Теперь Альтману где-то надо взять столько бабла чтобы выкупить технологии OpenAI. Дешевле уже не получится.
В общих чертах это выглядит так (я упрощаю, детали можете найти сами). Non-profit компании не имеют права извлекать коммерческую выгоду, сильно ограничены по зарплатным вилкам, должны действовать в соответствии с целями заложенными в уставе. Перевод в for-profit развяжет руки в плане акций, дивидендов, зарплат (в первую очередь топов). Просто сказать "мы теперь for-profit" нельзя, т.к. non-profit не облагается налогами и это было бы мошенничеством. Новая компания обязана выкупить активы у non-profit по рыночной цене. Если на рынке нет ни одного предложения, можно занизить стоимость активов. Маск сделал предложение 97 лярдов и сейчас в любом суде на него будут ссылаться как на рыночное. При этом Маск может не иметь денег, не хотеть купить - для суда это фиолетово до тех пор пока Маску не скажут "покупай", а он ответит "у меня лапки".
Имхо невозможно ни за три дня, ни за три недели объяснить в чем сложность разработки. Не надо делать проекты друзьям, ни за бесплатно, ни за деньги. Это прямая дорога к Lose-Lose. Вы тратите время-силы-деньги на разработку ничего не получая взамен, а друг получает "говно, лучше бы я заплатил профессионалам" (немного утрирую).
Зачем - ответ простой. Ради денег. Сертификация, особенно на западе, очень способствует повышению зарплаты как на входе так и в процессе. Вплоть до того, что сертификационная надбавка это человеконезависимый процесс. Получил сертификат - плюс к зарплате.
TOEFL/IELTS зубрят насколько мне известно только китайцы. Причем я с них вообще в шоке. Там у них самый большой страх когда тема сочинения достается одинаковая нескольким разным людям. Иногда получается что оба пишут по памяти один и тот же текст который заучили. И обоих дисквалифицируют за списывание. А так восьмерка по IELTS при де-факт незнании языка не такое уж редкое событие.
Объем вопросов на вендорских экзаменах сильно меньше чем то же ЕГЭ, так что тут я бы сравнивать не стал, но и обобщать тоже не буду. Уверен что есть вендоровские экзамены которые успешно контрят такой подход.
Это называется brain dump. Пул вопросов утекает как правило в конторы которые зарабатывают на продаже таких дампов. Дальше человек тупо их читает и заучивает. С учетом что % правильных ответов как правило колеблется в диапазоне 60-70, сдается все это довольно легко. Знаю что были в свое время такие дампы по сертификациям IBM, Microsoft, Cisco и т.д.
OpenAI уже довольно давно не задает темп, а просто движется одной из первых, но наряду со многими. Разница между 4 и 3.5 была огромна. Разница между 5 и 4o была гораздо менее заметна. Claude делает OpenAI в плане разработки кода как стоячих. Китайцы уделывают по цене (но у них электричества просто немеряно, тут понятно). Подписки сокращаются (!). Альтман конечно кормит всех завтраками как придет AGI и все будет хорошо/плохо, но в этом больше МММ чем AI.
Время невыдуманных историй!
Мы плавно приходим к ситуации, когда человек обходится дешевле чем ИИ, при этом выдает более качественный результат. Но и отрицать роль ИИ как мультипликатора человеческой эффективности тоже нельзя.
Помогает отсеивать кандидатов с фейковым опытом подход, когда на собеседовании мяч перебрасывается на сторону соискателя и весь разговор ведется исходя из его опыта. Единственный минус - требует матерого сеньора, умеющего в софт скиллз (что сложно и дорого, я это понимаю). Обычно проходит такое собеседование начинается "расскажите коротко о своем опыте". И понеслась - что за проект, а вот тут почему так сделали, а какие варианты еще рассматривали. Этот формат собеседования, в отличии от "вопрос-ответ", требует от соискателя понимания "графа технологий". Что с чем работает вместе, какие типовые решения есть на рынке и т.п. Красные флаги - "ой, ну это делала команда", "решение было принято без моего участия". Задаешь вопрос "а что именно в описанном проекте сделано конкретно тобой" - и тишина... (или опять наша команда бла-бла-бла)
Вариант подходит только для собеседования миддл+. Не работает если соискатель работал только с "местечковыми" (in-house) фреймворками и инструментами, что случается гораздо чаще чем хотелось бы.
Совершенно верно. Ограничение 100% КПД существует только для замкнутой системы. Кондиционер (или тепловой насос) имеет внешний блок, что автоматически размыкает систему и позволяет "засасывать" тепло извне (даже если на улице холод до -30, но при холоде КПД падает), получая тепловую отдачу кратно более затраченной электроэнергии.
Про тепловые насосы с коэффициентом обогрева до 300%+ от потребленной электроэнергии автор конечно же не слышал.
Как замечательно в двух страницах текста вы рассказали как управлять любой командой! Приду с обеда и немедленно реализую все ваши рекомендации.
Здесь не будет, да и не может быть каких-то формальных доказательств. Любая метрика или тест, если она не известна широко, будет объявлена "необъективной". А все эти известные и разрекламированные тесты для сравнения ИИ уже давно используются для подгонки под результат. Т.е. новые ИИ лучше проходят известные тесты (потому что это было целью разработчиков), но практически не добавляют ценности для реального конечного пользователя.
Те, кто ворвались в чудный новый мир ИИ еще во времена выхода ChatGPT 3.5, те, кто всё это время использует технологию в повседневной жизни, уже легко распознают сгенерированные AI арт по первому взгляду (цветовая палитра, типовые шаблоны). Равно как способны в ответе LLM видеть эти самые шаблонные структуры. ИИ в современной реализации не способны производить "новизну", т.к. это противоречит их базовым принципам (вероятность следующего токена). Если задирать "теплоту", то "новизна" может случиться, только в 99%+ случаях эта новизна = галюцинации.
В чем LLM хороши - выявление скрытых зависимостей и категоризация. Это традиционная сильная сторона нейросетей. Т.е. в таких областях как медицина могут быть неожиданные прорывы - чисто по причине огромного количества объективных данных. Искусство - нет. Искусство глубоко вторично. Все эти промпты "возьми Гомера и нарсуй в стиле Таноса" убоги. Программирование - до сих пор не могу определиться. Однозначно алгоритмическое программирование останется за ИИ (из-за малого контекста). Архитектура - максимум что жду это тупое и бессмысленное воспроизведение восхваленных бест-практис. По идее этого достаточно для закрытия значимого куска рынка, но в текущей реализации все это выглядит "обнять и плакать".
Мое личное отношение к LLM - это человекоориентированный API к публичным знаниям. Это не гарантирует того что "знания" корректны, только то что они являются социально одобряемыми в моменте. Любое углубление в профессиональные темы, любое обсуждение новаторских вещей - и вы оказываетесь в Echo Chamber.
Когда метрика становится целью, она перестает быть метрикой.
Забавно - кто и как будет нести ответственность. Если тот, кого рекламируют, то это инструмент для уничтожения неугодных. Берешь и заказываешь рекламу на Васю. Если ответственность несет тот, кто заказывает, то насколько длинной должна быть цепочка чтоб перестать нести ответственность. Я плачу агенству "Рука Лицо" за какую-нибудь чепуху, а они совершенно "неожиданно", не согласовав со мной размещают рекламу моего бизнеса в Инстаграмме.
К сожалению я склоняюсь к варианту системной проблемы. К этому мнению я шел долго. Год-полтора я был очень себе энтузиастом. Я написал своего клиента к OpenAI API чтоб контролировать что и как я отправляю. Я пробовал разные подходы (конвенции, метрики и т.п.). Мы по сути не видим существенных изменений начиная с GPT-4. Да, стали мейнстримом "рассуждающие модели". Но это горизонтальный рост. Рост за счет многократных внутренних циклов промпт-ответ-оценка ответа (повторить).
LLM очень хороши когда надо запрыгнуть в новую тему. Вводный материал как правило подает хорошо. Но чем глубже уходишь в специфику, тем значительнее падает качество ответов. Я связываю это еще и с тем, что огромные пласты знаний очень слабо представлены в интернете. Они просто в головах у людей. Или даже если есть в интернете, то они теряются на фоне "котиков". Как говорится "количество само по себе является качеством".
И тут мы натыкаемся на экспоненциальный рост стоимости владения ИИ. GPT Plus - 20$, O1 unlimited - 200$, плюс они анонсировали еще два режима - Senior Developer 10000$ в месяц и уровень PhD 20000$ в месяц. А все почему? А все потому что ИИ не добавляет ценности, а просто перефразирует вопрос (точнее выдает самую вероятную последовательность на основе датасета). Чтобы эту ценность "извлечь", гоняют тысячи промптов с довольно грустным результатом. После 2 лет интенсивной работы этот Echo Chamber очевиден. Видно как деградирую ответы в треде по мере его роста, видно что даже заявленное окно контекста работает откровенно паршиво.
Я всё это время интенсивно использовал ИИ, начиная с ChatGPT 3,5, заканчивая grok'ом. За это время я видел "вау" периоды и периоды когда он "глупел" (я так понимаю когда OpenAI резала оптимизировала свои затраты). Поначалу за счет ИИ моя производительность скакнула примерно на 50-80%. А вот дальше прогресс встал. Т.е. написать бойлерплейт по вводным - ок. Выбрать архитектуру или решение под вводные - хрен там плавал. Более того, он даже не способен адекватно оценить плюсы-минусы предложенной архитектуры с учетом проектных особенностей. Он всегда сваливается в обучающий датасет и то что ему натренировали как "best practice". А эти лучшие практики конкретно отдают духом литкода. Оптимизация на спичках, модные библиотеки и т.д. Я уж молчу что если брать что-то чуть сбоку от мейнстримового, то даже сниппеты нихрена не работают. С питоном думаю ситуация лучше всех языков, т.к. он базовый для LLM.
Но что самое плохое, мне ща наши разрабы тащат этот ИИ-трэш в пул-реквесты. Такое ощущение что мозг у людей просто отключается. И ладно были бы джуны, это блин разрабы 10 лет в профессии. Я уже предвкушаю какой будет спрос на сеньоров разгребать это говно в ближайшие пару лет.
Использую ИИ для разработки 2+ лет. Чем дальше, тем меньше. Всё чего добились разработчики это прохождение задачек на литкоде. В остальном же - никакущее понимание архитектуры, неумение подбирать инструменты под задачу, неконсистетность решений одних и тех же задач. Короч или эта хрень генерирует код за один проход и он работает, или вы открываете врата ада.
Для контекста: 20+ лет энтерпрайз бэкенд, 15+ лет фронтенд разработки.
Вообще-то Альтман топит за for-profit уже больше года как. Может и дольше.
Предложение о покупке компании за 97 лярдов это просто способ затруднить перевод non-profit в for-profit. Теперь Альтману где-то надо взять столько бабла чтобы выкупить технологии OpenAI. Дешевле уже не получится.
В общих чертах это выглядит так (я упрощаю, детали можете найти сами). Non-profit компании не имеют права извлекать коммерческую выгоду, сильно ограничены по зарплатным вилкам, должны действовать в соответствии с целями заложенными в уставе. Перевод в for-profit развяжет руки в плане акций, дивидендов, зарплат (в первую очередь топов). Просто сказать "мы теперь for-profit" нельзя, т.к. non-profit не облагается налогами и это было бы мошенничеством. Новая компания обязана выкупить активы у non-profit по рыночной цене. Если на рынке нет ни одного предложения, можно занизить стоимость активов. Маск сделал предложение 97 лярдов и сейчас в любом суде на него будут ссылаться как на рыночное. При этом Маск может не иметь денег, не хотеть купить - для суда это фиолетово до тех пор пока Маску не скажут "покупай", а он ответит "у меня лапки".
Имхо невозможно ни за три дня, ни за три недели объяснить в чем сложность разработки. Не надо делать проекты друзьям, ни за бесплатно, ни за деньги. Это прямая дорога к Lose-Lose. Вы тратите время-силы-деньги на разработку ничего не получая взамен, а друг получает "говно, лучше бы я заплатил профессионалам" (немного утрирую).
Цифры это тонкая материя
https://youtu.be/jnLUpzbB0G4?si=uVEDyZTf5-2r41EK&t=10
Зачем - ответ простой. Ради денег. Сертификация, особенно на западе, очень способствует повышению зарплаты как на входе так и в процессе. Вплоть до того, что сертификационная надбавка это человеконезависимый процесс. Получил сертификат - плюс к зарплате.
TOEFL/IELTS зубрят насколько мне известно только китайцы. Причем я с них вообще в шоке. Там у них самый большой страх когда тема сочинения достается одинаковая нескольким разным людям. Иногда получается что оба пишут по памяти один и тот же текст который заучили. И обоих дисквалифицируют за списывание. А так восьмерка по IELTS при де-факт незнании языка не такое уж редкое событие.
Объем вопросов на вендорских экзаменах сильно меньше чем то же ЕГЭ, так что тут я бы сравнивать не стал, но и обобщать тоже не буду. Уверен что есть вендоровские экзамены которые успешно контрят такой подход.
Это называется brain dump. Пул вопросов утекает как правило в конторы которые зарабатывают на продаже таких дампов. Дальше человек тупо их читает и заучивает. С учетом что % правильных ответов как правило колеблется в диапазоне 60-70, сдается все это довольно легко. Знаю что были в свое время такие дампы по сертификациям IBM, Microsoft, Cisco и т.д.