Если компания заранее понимает, что именно хочет проверить, какие гипотезы стоят за этим переходом и по каким признакам будет оцениваться результат, ротация действительно может работать как инструмент развития и проверки.
На том уровне, на котором в компании уже есть куча управленцев, которых действительно можно ротировать, компания уже представляет собой громоздкую бюрократизированную систему, в которой топ-менеджеры не знают ровно ничего о работе компании. Поэтому ни о каком понимании, гипотезах и оценках речи не идёт.
Весь этот цирк с конями закончится ровно в ту секунду, когда рекрутерам начнут платить за решение задачи, а не за создание проблем. То есть, за успешно закрытые вакансии (кандидат успешно прошёл испытательный срок), а не за количество проведённых собеседований.
Огромное спасибо за расшифровку и перевод подкаста!
А по содержанию, удивляет и огорчает, что «величайший математик современности» вместе с интервьюером строят свой рассказ на заведомо неверном фундаменте.
В течение этого времени теория, которую мы сегодня считаем [более] верной, на практике часто давала худшие предсказания (модель Коперника с круговыми орбитами вокруг Солнца на самом деле была менее точной, чем геоцентрическая модель Птолемея).
И причина, по которой новая теория выживает в этом «эпистемическом аду», — это некая смесь суждений и эвристик, которые мы сами не до конца понимаем, не говоря уже о том, чтобы чётко сформулировать их или закодировать в цикл обучения с подкреплением (RL).
Коперник предположил, что орбиты планет представляют собой идеальные окружности. Его теория в целом согласовывалась с наблюдениями, которые греки, арабы и индийцы накапливали на протяжении столетий.
Вот это всё прямо неправда. Геоцентрическая система Птолемея давала достаточно адекватные предсказания движения планет на небе, благодаря тому, что она была основана на системе эпициклов. По круговой орбите двигалась не сама планета, а эпицикл - дополнительный круг, по которому уже двигалась сама планета. Или по этому эпициклу двигался эпицикл следующего порядка, и так далее. Ко времени жизни Коперника в доработанной системе Птолемея уже было около 90 эпициклов на 7 небесных тел (Солнце, Луна, Меркурий, Венера, Марс, Юпитер, Сатурн). Вполне очевидно, что главными движениями, для которых в этой системе нужны были совершенно лишние эпициклы - это движения, вызванные вращением Земли вокруг своей оси и движением Земли вокруг Солнца. Остальные эпициклы нужны были, чтобы подогнать реальные эллиптические орбиты кругами. Коперник не писал, что планеты движутся по круговым орбитам (это означало бы, что он просто повторил Аристарха, и его книгу никто печатать и читать не стал бы вообще). Коперник провёл кинематическое преобразование, в результате чего эпициклы, нужные для имитации реального движения Земли вокруг Солнца и вращения самой Земли вокруг оси, стали просто не нужны. По итогу, количество эпициклов уменьшилось примерно в три раза (но они остались, люди знали, что чисто круговые орбиты ничего не объясняют, ещё во времена Птолемея), а предсказания стали даже немного точнее, чем у Птолемея. Именно это реальное преимущество и обеспечило интерес к системе Коперника, а не «некая смесь суждений и эвристик».
К сожалению, Теренс Тао представляет Коперника кем-то вроде научного фрика, который просто сочинил свою систему (а точнее, просто повторил за Аристархом, не сделав ничего нового), которая ничего не объясняла, но была более прикольной, и поэтому она понравилась великому физику Галилею и великому математику Кеплеру (это без иронии, на всякий случай, они действительно были величайшими учёными своего времени). А ведь это примерно то же самое, что история Фоменко, например: набор каких-то допущений, принимаемых за факты, объясняющий какие-то отдельные элементы, но противоречащий общей фактологической картине.
Теренс Тао, таким образом, поддерживает обывательский (в плохом смысле этого слова) взгляд на науку. Учёные просто кидаются различными теориями, а потом самые влиятельные из них договариваются, что так действительно и есть. А альтернативные теории запрещаются, забываются и так далее. А на самом деле, каждая новая теория обязана двигать прогресс, обязана давать более точные предсказания (или даже давать новые предсказания), и не должна противоречить имеющимся надёжным наблюдениям. И гелиоцентрическая система Коперника была именно такой. И Кеплер, благодаря своему математическому таланту и огромному массиву данных, собранных Тихо Браге довёл её до совершенства. Систему Птолемея довести было нельзя никак. А с точки зрения условной LLM, которая обладает знаниями середины 16 века, разницы между системами Коперника и Птолемея вообще никакой нет - они совершенно равнозначны.
В общем, печально, что даже настоящие выдающиеся учёные, осознанно или нет, поддерживают фричество вместо реального научного процесса, когда это не касается их собственной области.
Планковская длина - это масштаб, на котором необходимо как-то подружить между собой гравитацию и квантовую теорию поля, и всё. Пока никто не придумал, как это сделать, рассуждения о дискретности пространства - это просто фантазии из научпопа. Ни теоретических, ни экспериментальных предпосылок к этому нет. При этом никто не говорит о дискретности массы на масштабе планковской массы, потому что всем сразу понятно, что это абсурд. А планковскую длину пощупать нельзя, поэтому можно какие угодно сенсации разгонять.
Ага, Героев 3 улучшить, и, например, вместо лица Видомины иногда, случайным образом, получать на выходе лицо Септинны. DLSS5 - это галлюцинация. Как заставить галлюцинацию подчиняться замыслу разработчика?
Бизнесу нужны фичи и юзерам нужно богатые функции.
Нет. Юзерам нужно, чтобы продукт работал. Бизнесу нужно, чтобы через три года (ещё лучше через год, но тут уже могут начаться вопросы) продукт сломался. Какие новые функции появляются у блокнота? Какие новые функции появляются у популярных приложений для смартфонов (какой-нибудь youtube условный)? Вообще никаких. Бизнесу просто надо, чтобы через 3 года юзер снова потратил деньги.
В детстве (которое прошло в 90-е годы) меня учили доедать всю еду, что есть на тарелке. Своим детям я не очень стараюсь привить эту привычку, но сам продолжаю так делать. В среде современных программистов, видимо, принято съедать одну ложку, а остальное сразу отправлять в мусорку, причём вместе с тарелкой, столовыми приборами и тем, что ещё осталось стоять на плите.
P.S. Астрологи объявили неделю идиотских аналогий. Количество разбитых лиц увеличилось вдвое.
Возьмите какую нить сапр с жизненным циклом лет 20 - под каждый новый чип и платформу выпускать аппаратно зависимый рантайм?
Как это ни парадоксально, но именно какие-нибудь САПР с 20-летним жизненным циклом хорошо работают на всяком железе. В отличие от всяких продуктов веб-разработки, жизненный цикл которых измеряется месяцами, если не днями. И которые, зачастую, вообще изначально неработоспособны прямо на том железе, для которого из писали. Ну или теряют эту работоспособность при первом же обновлении Андроида, который и сам является точно таким же продуктом.
Производительность растёт только экстенсивным методом. Понятно, что она ещё долго может расти: энергопотребление ЦОДов составляет всего полтора процента мирового энергопотребления - простор велик. Опять же сотни миллиардов долларов вкладываются именно в экстенсивное развитие (в покупку видеокарточек и электричества). Затраты на перспективные исследования в этой области (не просто масштабирование) на этом фоне просто равны нулю. Но качественные изменения, всё равно, в какой-то момент совершать придётся.
Собственно, с кремнием похожая история. Плотность транзисторов уже не то, чтобы имеет просторы для роста.
Техпроцесс 10 нм - 50-60 миллионов на квадратный мм
Тех процесс 7 нм - 90-110 миллионов на квадратный мм (здесь ещё работает нормальная зависимость).
Тех процесс 5 нм - 120-140 миллионов на квадратный мм (на этом моменте нормальная зависимость сломалась и улучшения с тех пор идут еле-еле).
Тех процесс 3 нм - 150-220 миллионов на квадратный мм
Тех процесс 2 нм - 230-310 миллионов на квадратный мм
Прогресс идёт, но сильно замедлился. До 2018 года удвоение за два года работало. А потом наткнулись на близость физического ограничения. И с тех пор за 7 лет добились только трёхкратного роста. Реальное ограничение у ныне используемой 70-летней технологии есть, и его в какой-то момент придётся преодолевать сменой технологии. Можно прятать голову в песок, а можно проводить исследования, чем, на самом деле, многие и занимаются.
Однако основные направления это новые архитектуры нейронных сетей
Да? И где же они? Не косметические изменения и костыли, а реальные? Ну, хотя бы, внедрение банального калькулятора, чтобы полностью исключить возможность любых арифметических ошибок. Для этого тоже нужны гигантские ЦОДы с энергопотреблением в сотни мегаватт? Или просто нужно перенаправить хотя бы 1 процент финансовых потоков от маркетологов к исследователям?
Да, упирается. Но сотни миллиардов долларов (или уже за триллион перевалило?) тратятся не на развитие архитектуры железа, и даже не на внедрение в нейросеть эффективных часто используемых инструментов (типа калькулятора для арифметических действий или правил синтаксиса для написания текста), а на строительство ЦОДов с видеокартами.
Но и не надо забывать сколько у человеческого мозга было лет эволюции и какое количество циклов обучения он прошел, а если ещё учесть количество экземпляров за всю историю человечества...
Эволюция только железа. А насчёт софта: особенность мозга человека, как раз, состоит в том, что при рождении в него заложено только выполнение физиологических функций. Всё остальное - результат ровно одного цикла обучения. Никаких миллиардов циклов обучения там нет. В человеческом мозгу нет ничего из того, чему обучались его предки. Именно это привело человека к эволюционному успеху в быстро меняющихся условиях. И LLM уже имеют гораздо больше ресурсов для обучения. Человек не может просто спарсить весь интернет. Неэффективность LLM состоит именно в убогости (по сравнению с живым мозгом) архитектуры. Разговоры про то, что LLM надо дать больше видеокарточек, больше электричества и больше данных (в LLM уже заложены вообще все знания человечества на данный момент) - это просто развод инвесторов в исполнении людей, которые хотят быстро и легко срубить бабло, а не заниматься трудоёмкими перспективными исследованиями, требующими исключительной квалификации.
На том уровне, на котором в компании уже есть куча управленцев, которых действительно можно ротировать, компания уже представляет собой громоздкую бюрократизированную систему, в которой топ-менеджеры не знают ровно ничего о работе компании. Поэтому ни о каком понимании, гипотезах и оценках речи не идёт.
Маленький бонус, что-то. Или оклад рекрутера слишком большой. А агентство что-то получает до закрытия вакансии?
Сколько месячных зарплат?
Весь этот цирк с конями закончится ровно в ту секунду, когда рекрутерам начнут платить за решение задачи, а не за создание проблем. То есть, за успешно закрытые вакансии (кандидат успешно прошёл испытательный срок), а не за количество проведённых собеседований.
А иногда ходили из 6-ки в 7-ку в душ :)
Огромное спасибо за расшифровку и перевод подкаста!
А по содержанию, удивляет и огорчает, что «величайший математик современности» вместе с интервьюером строят свой рассказ на заведомо неверном фундаменте.
Вот это всё прямо неправда. Геоцентрическая система Птолемея давала достаточно адекватные предсказания движения планет на небе, благодаря тому, что она была основана на системе эпициклов. По круговой орбите двигалась не сама планета, а эпицикл - дополнительный круг, по которому уже двигалась сама планета. Или по этому эпициклу двигался эпицикл следующего порядка, и так далее. Ко времени жизни Коперника в доработанной системе Птолемея уже было около 90 эпициклов на 7 небесных тел (Солнце, Луна, Меркурий, Венера, Марс, Юпитер, Сатурн). Вполне очевидно, что главными движениями, для которых в этой системе нужны были совершенно лишние эпициклы - это движения, вызванные вращением Земли вокруг своей оси и движением Земли вокруг Солнца. Остальные эпициклы нужны были, чтобы подогнать реальные эллиптические орбиты кругами. Коперник не писал, что планеты движутся по круговым орбитам (это означало бы, что он просто повторил Аристарха, и его книгу никто печатать и читать не стал бы вообще). Коперник провёл кинематическое преобразование, в результате чего эпициклы, нужные для имитации реального движения Земли вокруг Солнца и вращения самой Земли вокруг оси, стали просто не нужны. По итогу, количество эпициклов уменьшилось примерно в три раза (но они остались, люди знали, что чисто круговые орбиты ничего не объясняют, ещё во времена Птолемея), а предсказания стали даже немного точнее, чем у Птолемея. Именно это реальное преимущество и обеспечило интерес к системе Коперника, а не «некая смесь суждений и эвристик».
К сожалению, Теренс Тао представляет Коперника кем-то вроде научного фрика, который просто сочинил свою систему (а точнее, просто повторил за Аристархом, не сделав ничего нового), которая ничего не объясняла, но была более прикольной, и поэтому она понравилась великому физику Галилею и великому математику Кеплеру (это без иронии, на всякий случай, они действительно были величайшими учёными своего времени). А ведь это примерно то же самое, что история Фоменко, например: набор каких-то допущений, принимаемых за факты, объясняющий какие-то отдельные элементы, но противоречащий общей фактологической картине.
Теренс Тао, таким образом, поддерживает обывательский (в плохом смысле этого слова) взгляд на науку. Учёные просто кидаются различными теориями, а потом самые влиятельные из них договариваются, что так действительно и есть. А альтернативные теории запрещаются, забываются и так далее. А на самом деле, каждая новая теория обязана двигать прогресс, обязана давать более точные предсказания (или даже давать новые предсказания), и не должна противоречить имеющимся надёжным наблюдениям. И гелиоцентрическая система Коперника была именно такой. И Кеплер, благодаря своему математическому таланту и огромному массиву данных, собранных Тихо Браге довёл её до совершенства. Систему Птолемея довести было нельзя никак. А с точки зрения условной LLM, которая обладает знаниями середины 16 века, разницы между системами Коперника и Птолемея вообще никакой нет - они совершенно равнозначны.
В общем, печально, что даже настоящие выдающиеся учёные, осознанно или нет, поддерживают фричество вместо реального научного процесса, когда это не касается их собственной области.
del
Планковская длина - это масштаб, на котором необходимо как-то подружить между собой гравитацию и квантовую теорию поля, и всё. Пока никто не придумал, как это сделать, рассуждения о дискретности пространства - это просто фантазии из научпопа. Ни теоретических, ни экспериментальных предпосылок к этому нет. При этом никто не говорит о дискретности массы на масштабе планковской массы, потому что всем сразу понятно, что это абсурд. А планковскую длину пощупать нельзя, поэтому можно какие угодно сенсации разгонять.
Ага, Героев 3 улучшить, и, например, вместо лица Видомины иногда, случайным образом, получать на выходе лицо Септинны. DLSS5 - это галлюцинация. Как заставить галлюцинацию подчиняться замыслу разработчика?
Сложность задач состоит в изучении нового фреймворка для каждого нового продукта, верно? Или в чём?
Нет. Юзерам нужно, чтобы продукт работал. Бизнесу нужно, чтобы через три года (ещё лучше через год, но тут уже могут начаться вопросы) продукт сломался. Какие новые функции появляются у блокнота? Какие новые функции появляются у популярных приложений для смартфонов (какой-нибудь youtube условный)? Вообще никаких. Бизнесу просто надо, чтобы через 3 года юзер снова потратил деньги.
В детстве (которое прошло в 90-е годы) меня учили доедать всю еду, что есть на тарелке. Своим детям я не очень стараюсь привить эту привычку, но сам продолжаю так делать. В среде современных программистов, видимо, принято съедать одну ложку, а остальное сразу отправлять в мусорку, причём вместе с тарелкой, столовыми приборами и тем, что ещё осталось стоять на плите.
P.S. Астрологи объявили неделю идиотских аналогий. Количество разбитых лиц увеличилось вдвое.
Как это ни парадоксально, но именно какие-нибудь САПР с 20-летним жизненным циклом хорошо работают на всяком железе. В отличие от всяких продуктов веб-разработки, жизненный цикл которых измеряется месяцами, если не днями. И которые, зачастую, вообще изначально неработоспособны прямо на том железе, для которого из писали. Ну или теряют эту работоспособность при первом же обновлении Андроида, который и сам является точно таким же продуктом.
Производительность растёт только экстенсивным методом. Понятно, что она ещё долго может расти: энергопотребление ЦОДов составляет всего полтора процента мирового энергопотребления - простор велик. Опять же сотни миллиардов долларов вкладываются именно в экстенсивное развитие (в покупку видеокарточек и электричества). Затраты на перспективные исследования в этой области (не просто масштабирование) на этом фоне просто равны нулю. Но качественные изменения, всё равно, в какой-то момент совершать придётся.
Собственно, с кремнием похожая история. Плотность транзисторов уже не то, чтобы имеет просторы для роста.
Техпроцесс 10 нм - 50-60 миллионов на квадратный мм
Тех процесс 7 нм - 90-110 миллионов на квадратный мм (здесь ещё работает нормальная зависимость).
Тех процесс 5 нм - 120-140 миллионов на квадратный мм (на этом моменте нормальная зависимость сломалась и улучшения с тех пор идут еле-еле).
Тех процесс 3 нм - 150-220 миллионов на квадратный мм
Тех процесс 2 нм - 230-310 миллионов на квадратный мм
Прогресс идёт, но сильно замедлился. До 2018 года удвоение за два года работало. А потом наткнулись на близость физического ограничения. И с тех пор за 7 лет добились только трёхкратного роста. Реальное ограничение у ныне используемой 70-летней технологии есть, и его в какой-то момент придётся преодолевать сменой технологии. Можно прятать голову в песок, а можно проводить исследования, чем, на самом деле, многие и занимаются.
Что работает? Какая LLM прямо сейчас может гарантировать правильный результат вычисления произвольного арифметического выражения?
Да? И где же они? Не косметические изменения и костыли, а реальные? Ну, хотя бы, внедрение банального калькулятора, чтобы полностью исключить возможность любых арифметических ошибок. Для этого тоже нужны гигантские ЦОДы с энергопотреблением в сотни мегаватт? Или просто нужно перенаправить хотя бы 1 процент финансовых потоков от маркетологов к исследователям?
Да, упирается. Но сотни миллиардов долларов (или уже за триллион перевалило?) тратятся не на развитие архитектуры железа, и даже не на внедрение в нейросеть эффективных часто используемых инструментов (типа калькулятора для арифметических действий или правил синтаксиса для написания текста), а на строительство ЦОДов с видеокартами.
Эволюция только железа. А насчёт софта: особенность мозга человека, как раз, состоит в том, что при рождении в него заложено только выполнение физиологических функций. Всё остальное - результат ровно одного цикла обучения. Никаких миллиардов циклов обучения там нет. В человеческом мозгу нет ничего из того, чему обучались его предки. Именно это привело человека к эволюционному успеху в быстро меняющихся условиях. И LLM уже имеют гораздо больше ресурсов для обучения. Человек не может просто спарсить весь интернет. Неэффективность LLM состоит именно в убогости (по сравнению с живым мозгом) архитектуры. Разговоры про то, что LLM надо дать больше видеокарточек, больше электричества и больше данных (в LLM уже заложены вообще все знания человечества на данный момент) - это просто развод инвесторов в исполнении людей, которые хотят быстро и легко срубить бабло, а не заниматься трудоёмкими перспективными исследованиями, требующими исключительной квалификации.
del
Насколько можно судить по тексту, именно это и было сделано.