Олимпиады среди землекопов с лопатой - смысл какой, все уже копают экскаваторами.
Ну да, археологи, копающие экскаватором - это ведь так модно и молодёжно. Результат, правда, никак не связан с поставленной задачей, но зато отчитаться можно быстро.
А вы где-нибудь что-нибудь слышали от Альтмана про то, что они решают проблему энергопотребления, и им больше не нужны карманные АЭС? Я нет. Если в этом направлении нет подвижек, это значит, что OpenAI продолжает действовать в режиме «больше данных, больше видеокарточек».
Зарплаты, хантинг кадров, новые задачи, простор для экспериментов. Все это сейчас именно в ИИ.
Вот уже пару десятков лет в таких компаниях, как Гугл или Мета есть зарплаты и хантинг кадров. А в итоге они создают Андроид, Фейсбук и Ватсап. Что пошло не так? Новые задачи и простор для экспериментов - это хорошо, но почему лидеры индустрии о них даже не заикаются? Ну ладно, возможно, они действительно их скрывают друг от друга. Но в новостях я не читал о том, что AI компании спылесосили отовсюду топовых математиков, информатиков и нейрофизиологов. Так кого они хантят? Или я не прав, и не там смотрю? Можете указать на подобные новости?
Во-первых, я написал «применение мозгов», а не «набирание мозгов в штат сотрудников». Ни один из лидеров в данной области пока что даже не анонсировал, что они собираются применять мозги для достижения качественных прорывов. Конечно возможно, что самые важные разработки они скрывают друг от друга. Во-вторых, откуда у вас уверенность, что самые лучшие мозги участвуют в гонке развития ИИ?
Но если вы обычный веб-разработчик или делаете десктопные приложения, или, может, какие-то консольные утилиты, или мобильные приложения, то страшные слова из предыдущего абзаца вам никогда не понадобятся.
Именно поэтому мобильные приложения представляют из себя то, что они представляют.
Постоянно спрашиваю себя, как они решают эти бенчмарки на уровне ученых, когда даже такая банальщина не работает.
Сложность для LLM - это не то же самое, что сложность для человека. Вы же не задаётесь вопросом, почему обычный гугловский калькулятор в смартфоне обгонит любого учёного (я как учёный по профессии, никак не могу понять, зачем вообще нужны сравнения LLM с учёными) в бенчмарках для калькуляторов? Бенчмарки нужны для сравнения LLM друг с другом, а не с людьми.
Развитие компьютеров от огромных мейнфреймов до смартфонов, вся бесконечная мощь которых сейчас сливается в навозную кучу говнокода, шло за счёт развития элементной базы. Да, архитектурные изменения дали свой вклад, но каков он по величине? Раз в 10, при самом оптимистичном подсчёте. Неэффективность потребительского софта сожрала гораздо больше этих 10 раз. Элементная база дала рост энергоэффективности примерно в миллион раз. Сейчас, с нейросетями ничего другого не будет. Либо менять подход, либо элементную базу, либо за счёт архитектурных оптимизаций добиваться ускорения в 10 раз и на этом всё.
Есть лидеры и за ними уже не поспеть. Новые ИИ не будут появляться, слишком дорогой выход на рынок.
Зависит от прозорливости инвесторов. Лидеры сейчас занимаются профанацией: пытаются всех убедить, что LLM можно превратить в AGI, просто скормив больше данных и больше электричества. Ну так это не так. Человеческий мозг в прыжке потребляет 20 ватт, на органике, безо всяких оптимизаций, вроде использования меди, оптоволокна и сверхпроводников. И даже среди живых существ есть птицы, у которых мозг существенно более энергоэффективен, чем у млекопитающих. О чём это говорит? О том, что у экстенсивного пути есть врождённые недостатки, и тот, кто пойдёт по интенсивному пути, тот сможет обойти нынешних лидеров. Тем более, что у главного лидера (OpenAI) есть только гигантские обязательства перед инвесторами (там уже вроде счёт на сотни миллиардов пошёл) и никакого плана по возврату этих инвестиций. Деньги нужны, конечно. Но не факт, что нужны настолько большие деньги, если часть денег начать компенсировать применением мозгов.
Пока вполне готов, на ближайшие 6-8 лет уже все зарезервировано и распланировано (Stargate тот же).
Сколько конкретно денег и кем зарезервировано для инвестирования в OpenAI? Хватит ли этих денег инвесторов для того, чтобы обогнать Гугл и не дать догнать себя китайцам? Своих денег у OpenAI не было, нет и ближайшие 6-8 лет точно не будет. Вся рыночная оценка OpenAI держится на том, что она в ближайшие 5 лет будет получать от трети до половины выручки в секторе AI. А прямо сейчас видно, что этим мечтам не суждено сбыться (это было видно и раньше, но сейчас даже аналитикам инвестбанков придётся начать это замечать). Рынки же так работают: если один OpenAI перестанет показывать рост, то инвесторы начнут из него выходить, это повлияет на оценку сектора в целом. Компаниям, живущим за счёт инвестиций резко поплохеет.
Здесь всё ещё хуже. Если грамматика английского языка действительно поменяется, то такой код модифицировать будет сложнее, чем код, в котором просто генерируется один из трёх вариантов строки целиком. А если вдруг надо будет поменять язык, то код дяди Боба вообще будет непригоден для модификации: его придётся выкинуть целиком.
Не нужно, но диванные инвесторы так наверняка делают (те самые люди, которые полностью выключили свою голову и спрашивают у ChatGPT даже сколько будет 2+2). Специально для них этот эксперимент.
Что «до», что «после» код не имеет никакого смысла. Функция выводит одну строку, которая несёт в себе неделимую информацию. Уровень абстракции ровно один. Отдельные слова из этой строки не имеют смысла вне этой строки и никакой информации не несут, поэтому никакими слоями абстракции они не являются. Никаких отдельных переменных там вообще не должно было быть. И вместо того, чтобы избавиться от несуществующих слоёв, каждый слой аккуратно оформили. Такой рефакторинг вообще можно автоматизировать. Для того, чтобы делать формальную работу, вообще не понимая смысла происходящего, человек не нужен. Даже LLM для такого рефакторинга была бы излишней. А ещё, если слои абстракции так необходимы, то можно ещё каждое слово по буквам разложить - тоже слой абстракции.
Я правильно понимаю? Подход дяди Боба - это вместо одной функции на 3-4 строчки, которая будет выводить требуемую строку из 4 слов, надо сначала внутри функции для каждого слова завести собственную переменную, и строку составлять из четырёх переменных, значения каждой из которых непременно определяются в своём собственном условном операторе, а при рефакторинге, вместо того, чтобы избавиться от этого бессмысленного нагромождения условных операторов и бессмысленных переменных, завернуть каждый условный оператор в свою функцию, а всю функцию зачем-то запихнуть в специально созданный для этой одной функции класс? Тогда у меня вопрос: при следующем рефакторинге стоит завести 20 новых функций для побуквенной, а не пословной генерации итоговой строки? И показать мастер-класс на примере действительно сложной задачи: как назвать каждую из этих новых функций.
Кажется, автор книги по программированию вправе рассчитывать, что его читатели сумеют в абстракцию - то есть, сумеют отделить важное в учебном примере в книге от неважного. И, например, увидят, что целью той главы не является обсуждение локализации, цикла жизни программы и прочего.
У человека, который воспринимает данный пример в качестве учебного, возникает вопрос. Если целью было показать правильное именование функции createPluralDependentMessageParts, то возможно стоило взять пример, в котором само существование этой функции имеет смысл? Зачем обучать правильному именованию функций, которых вообще не должно быть?
А иначе мы так и до задачников по физике докопаемся: где это вы видели, чтобы автомобиль двигался прямолинейно и равномерно? И что это за машина такая, которую можно описать материальной точкой?
В том и дело, что учебные задачи в физике устроены прямо противоположным образом. Там берут упрощённую модель и рассматривают только нужные для решения задачи параметры. А аналогией приведённого кода для задачек по физике было бы вывалить на человека табличку с лётно-техническими характеристиками самолёта, а потом с помощью этих данных пытаться найти время, за которое аэропортовый тягач отбуксирует этот самолёт из Шереметьево в Домодедово.
Проверка одного генератора случайных чисел вторым генератором случайных чисел, конечно, не гарантирует от галлюцинаций. Тут же описывается другой принцип.
Мир постепенно начинает понимать, что "чистые" LLM ненадежны и неэффективны - будущее за гибридами.
Я так думаю, что те, кто занимаются вопросами ИИ, понимали это всегда. Просто у инвесторов начали кончаться деньги на поддержку попыток решить все проблемы брутфорсом, то есть тупым закидыванием в топку грузовиков с видеокарточками и петабайтов мусорных текстов. И чтобы двигаться дальше, придётся опять применять старые добрые мозги.
Так ведь решение именно так и ищется: генерятся идеи, а потом проверяются. Поиск решения формальной логикой эффективен только для уже решённых заранее задач. Например так делается в учебниках, где сначала пишут решение задачи, а потом просят повторить это же решение этой же задачи ещё сотню раз.
Ну да, археологи, копающие экскаватором - это ведь так модно и молодёжно. Результат, правда, никак не связан с поставленной задачей, но зато отчитаться можно быстро.
«В жопе» - это когда P/E равен +100. А когда он равен -5 - это уже другим словом называется :)
А вы где-нибудь что-нибудь слышали от Альтмана про то, что они решают проблему энергопотребления, и им больше не нужны карманные АЭС? Я нет. Если в этом направлении нет подвижек, это значит, что OpenAI продолжает действовать в режиме «больше данных, больше видеокарточек».
Вот уже пару десятков лет в таких компаниях, как Гугл или Мета есть зарплаты и хантинг кадров. А в итоге они создают Андроид, Фейсбук и Ватсап. Что пошло не так? Новые задачи и простор для экспериментов - это хорошо, но почему лидеры индустрии о них даже не заикаются? Ну ладно, возможно, они действительно их скрывают друг от друга. Но в новостях я не читал о том, что AI компании спылесосили отовсюду топовых математиков, информатиков и нейрофизиологов. Так кого они хантят? Или я не прав, и не там смотрю? Можете указать на подобные новости?
Во многих больших компаниях можно заменить и начальство
Во-первых, я написал «применение мозгов», а не «набирание мозгов в штат сотрудников». Ни один из лидеров в данной области пока что даже не анонсировал, что они собираются применять мозги для достижения качественных прорывов. Конечно возможно, что самые важные разработки они скрывают друг от друга. Во-вторых, откуда у вас уверенность, что самые лучшие мозги участвуют в гонке развития ИИ?
Конечно, нужны! Но:
Именно поэтому мобильные приложения представляют из себя то, что они представляют.
Сложность для LLM - это не то же самое, что сложность для человека. Вы же не задаётесь вопросом, почему обычный гугловский калькулятор в смартфоне обгонит любого учёного (я как учёный по профессии, никак не могу понять, зачем вообще нужны сравнения LLM с учёными) в бенчмарках для калькуляторов? Бенчмарки нужны для сравнения LLM друг с другом, а не с людьми.
Развитие компьютеров от огромных мейнфреймов до смартфонов, вся бесконечная мощь которых сейчас сливается в навозную кучу говнокода, шло за счёт развития элементной базы. Да, архитектурные изменения дали свой вклад, но каков он по величине? Раз в 10, при самом оптимистичном подсчёте. Неэффективность потребительского софта сожрала гораздо больше этих 10 раз. Элементная база дала рост энергоэффективности примерно в миллион раз. Сейчас, с нейросетями ничего другого не будет. Либо менять подход, либо элементную базу, либо за счёт архитектурных оптимизаций добиваться ускорения в 10 раз и на этом всё.
Зависит от прозорливости инвесторов. Лидеры сейчас занимаются профанацией: пытаются всех убедить, что LLM можно превратить в AGI, просто скормив больше данных и больше электричества. Ну так это не так. Человеческий мозг в прыжке потребляет 20 ватт, на органике, безо всяких оптимизаций, вроде использования меди, оптоволокна и сверхпроводников. И даже среди живых существ есть птицы, у которых мозг существенно более энергоэффективен, чем у млекопитающих. О чём это говорит? О том, что у экстенсивного пути есть врождённые недостатки, и тот, кто пойдёт по интенсивному пути, тот сможет обойти нынешних лидеров. Тем более, что у главного лидера (OpenAI) есть только гигантские обязательства перед инвесторами (там уже вроде счёт на сотни миллиардов пошёл) и никакого плана по возврату этих инвестиций. Деньги нужны, конечно. Но не факт, что нужны настолько большие деньги, если часть денег начать компенсировать применением мозгов.
Ну, какая-то есть. В несколько десятков раз меньше, чем нужно, чтобы оправдать инвестиции :)
Сколько конкретно денег и кем зарезервировано для инвестирования в OpenAI? Хватит ли этих денег инвесторов для того, чтобы обогнать Гугл и не дать догнать себя китайцам? Своих денег у OpenAI не было, нет и ближайшие 6-8 лет точно не будет. Вся рыночная оценка OpenAI держится на том, что она в ближайшие 5 лет будет получать от трети до половины выручки в секторе AI. А прямо сейчас видно, что этим мечтам не суждено сбыться (это было видно и раньше, но сейчас даже аналитикам инвестбанков придётся начать это замечать). Рынки же так работают: если один OpenAI перестанет показывать рост, то инвесторы начнут из него выходить, это повлияет на оценку сектора в целом. Компаниям, живущим за счёт инвестиций резко поплохеет.
Здесь всё ещё хуже. Если грамматика английского языка действительно поменяется, то такой код модифицировать будет сложнее, чем код, в котором просто генерируется один из трёх вариантов строки целиком. А если вдруг надо будет поменять язык, то код дяди Боба вообще будет непригоден для модификации: его придётся выкинуть целиком.
Не нужно, но диванные инвесторы так наверняка делают (те самые люди, которые полностью выключили свою голову и спрашивают у ChatGPT даже сколько будет 2+2). Специально для них этот эксперимент.
Что «до», что «после» код не имеет никакого смысла. Функция выводит одну строку, которая несёт в себе неделимую информацию. Уровень абстракции ровно один. Отдельные слова из этой строки не имеют смысла вне этой строки и никакой информации не несут, поэтому никакими слоями абстракции они не являются. Никаких отдельных переменных там вообще не должно было быть. И вместо того, чтобы избавиться от несуществующих слоёв, каждый слой аккуратно оформили. Такой рефакторинг вообще можно автоматизировать. Для того, чтобы делать формальную работу, вообще не понимая смысла происходящего, человек не нужен. Даже LLM для такого рефакторинга была бы излишней. А ещё, если слои абстракции так необходимы, то можно ещё каждое слово по буквам разложить - тоже слой абстракции.
Я правильно понимаю? Подход дяди Боба - это вместо одной функции на 3-4 строчки, которая будет выводить требуемую строку из 4 слов, надо сначала внутри функции для каждого слова завести собственную переменную, и строку составлять из четырёх переменных, значения каждой из которых непременно определяются в своём собственном условном операторе, а при рефакторинге, вместо того, чтобы избавиться от этого бессмысленного нагромождения условных операторов и бессмысленных переменных, завернуть каждый условный оператор в свою функцию, а всю функцию зачем-то запихнуть в специально созданный для этой одной функции класс? Тогда у меня вопрос: при следующем рефакторинге стоит завести 20 новых функций для побуквенной, а не пословной генерации итоговой строки? И показать мастер-класс на примере действительно сложной задачи: как назвать каждую из этих новых функций.
У человека, который воспринимает данный пример в качестве учебного, возникает вопрос. Если целью было показать правильное именование функции createPluralDependentMessageParts, то возможно стоило взять пример, в котором само существование этой функции имеет смысл? Зачем обучать правильному именованию функций, которых вообще не должно быть?
В том и дело, что учебные задачи в физике устроены прямо противоположным образом. Там берут упрощённую модель и рассматривают только нужные для решения задачи параметры. А аналогией приведённого кода для задачек по физике было бы вывалить на человека табличку с лётно-техническими характеристиками самолёта, а потом с помощью этих данных пытаться найти время, за которое аэропортовый тягач отбуксирует этот самолёт из Шереметьево в Домодедово.
Проверка одного генератора случайных чисел вторым генератором случайных чисел, конечно, не гарантирует от галлюцинаций. Тут же описывается другой принцип.
Я так думаю, что те, кто занимаются вопросами ИИ, понимали это всегда. Просто у инвесторов начали кончаться деньги на поддержку попыток решить все проблемы брутфорсом, то есть тупым закидыванием в топку грузовиков с видеокарточками и петабайтов мусорных текстов. И чтобы двигаться дальше, придётся опять применять старые добрые мозги.
Так ведь решение именно так и ищется: генерятся идеи, а потом проверяются. Поиск решения формальной логикой эффективен только для уже решённых заранее задач. Например так делается в учебниках, где сначала пишут решение задачи, а потом просят повторить это же решение этой же задачи ещё сотню раз.
Nokia - третий после Huawei и Cisko поставщик телекоммуникационного оборудования в мире. Слово «скопытиться» в этом случае не совсем применимо.