Компьютеры греются. Это знает каждый, кто хоть раз держал ноутбук на коленях час-другой. Виноваты несовершенство кремния, сопротивление проводников, паразитные токи. Уберешь все дефекты - и вычисления станут бесплатными. Ага.
Вот только это неправда. Даже абсолютно идеальный процессор, без единого недостатка в конструкции, обязан выделять тепло.
Но что, если…
Один человек с одним вопросом изменил понимание вычислений
Ральф Ландауэр эмигрировал из Штутгарта в США в 1938-м - семья была еврейской, выбора особо не было. Учеба в Гарварде, степень по физике в 1950-м, и потом почти полвека в IBM Research. Тихая карьера исследователя.
В июле 1961 года он опубликовал статью в IBM Journal of Research and Development - "Необратимость и генерация тепла в вычислительном процессе" (Irreversibility and Heat Generation in the Computing Process). Одиннадцать страниц. Но, увы, на нее почти не обращали внимания больше двадцати лет.
Если коротко, то Ландауэр заметил - некоторые операции с информацией необратимы. Если у вас есть бит, который может быть 0 или 1, и вы сбрасываете его в 0 - вы уничтожаете информацию. Два возможных состояния сжались в одно. Ну, и это нельзя отмотать назад. Логично, все понимают
И вот здесь - привет, термодинамика. Второе начало говорит - в замкнутой системе энтропия не убывает. Но вы только что уменьшили энтропию носителя информации - убрали неопределенность. Значит, где-то в другом месте энтропия обязана вырасти. Это другое место, собственно, окружающая среда. Тепло.
Минимальная цена стирания одного бита при температуре среды T:
E_min = kT · ln2
При комнатной температуре (T = 300 K) это примерно 2.87 × 10⁻²¹ джоуля. Три зептоджоуля. Цифра смехотворно маленькая - и при этом абсолютно неустранимая.
Демон, который должен был разрушить термодинамику
Мысленный эксперимент Джеймса Клерка Максвелла 1867 года звучит так. Представьте два отсека с газом. Между ними - маленькая дверца. Рядом сидит существо, которое видит скорость каждой молекулы: быстрых пускает в правый отсек, медленных - в левый. Правый нагревается, левый остывает. Работа сделана, а внешней энергии не потрачено. Второе начало нарушено.
И на вот этого демона потратили девяносто лет. Лео Силард в 1929-м показал, что само измерение скорости молекулы требует затраты энергии - kT · ln2 за каждый бит информации. Леон Бриллюэн в 1956-м развил эту идею в книге "Наука и теория информации" (Science and Information Theory) и ввел термин "негэнтропия" - отрицательная энтропия, которую информация несет с собой. Демон, измеряя молекулы, потребляет негэнтропию из среды.
Но Бриллюэн убивал демона на входе - в момент измерения. Ландауэр предложил другую точку атаки.
В 1982-1987 годах Чарльз Беннет из той же IBM сформулировал окончательный ответ. Измерение - обратимый процесс. Демон может наблюдать молекулу, не расходуя энергии. Проблема не в наблюдении.
Проблема в памяти. Демон запоминает скорость каждой молекулы. Его память конечна. В какой-то момент ее нужно стереть, чтобы продолжать работу. И вот именно здесь - предел Ландауэра. Каждый стертый бит памяти выделяет минимум kT · ln2 тепла. Это ровно компенсирует работу, которую демон якобы сделал бесплатно.
Демон не нарушает второй закон. Он, скажем так, просто переносит расплату.
Силард и один бит, который все объяснил раньше
Тут, кстати, важный исторический нюанс.
Лео Силард в 1929 году опубликовал работу О снижении энтропии в термодинамической системе посредством вмешательства разумных существ" (On the Decrease of Entropy in a Thermodynamic System by the Intervention of Intelligent Beings). Он упростил нашего условного демона Максвелла до предела - одна молекула, один цикл. Показал, что один цикл измерения и сортировки требует работы W = kT · ln2. Один бит информации - одна единица термодинамической стоимости.
Силард первым прочертил линию между битом и термодинамикой. Ландауэр тридцать лет спустя сделал из этого принцип применительно к вычислениям. Беннет потом собрал все вместе и, получается, убил демона окончательно.
Эксперимент с коллоидной частицей
Принцип Ландауэра оставался теоретическим почти пятьдесят лет. Слишком маленькие энергии, слишком сложно измерить.
В 2012 году группа из Высшей нормальной школы Лиона (École Normale Supérieure de Lyon) опубликовала в журнале Nature первое прямое экспериментальное подтверждение принципа.
Схема до предела элегантная. Одна коллоидная частица в воде. Два лазерных пятна создают двухъямный оптический потенциал - буквально два соседних кармана, в одном из которых сидит частица. Это и есть один бит памяти: левая яма - 0, правая яма - 1.
Стирание - операция, которая загоняет частицу в одну яму независимо от начального положения. Исследователи делали это медленно, квазистатически. И измеряли рассеиваемое тепло с помощью отслеживания движения частицы.
Результат - при достаточно медленном стирании среднее тепло насыщалось точно на уровне kT · ln2. Предел Ландауэра - не абстракция. Он реальный, физически измеримый.
Современные процессоры - а насколько далеко до предела
Предел Ландауэра при комнатной температуре - около 3 × 10⁻²¹ джоуля на бит. Три зептоджоуля.
Современные кремниевые транзисторы на 3-нанометровом техпроцессе (Apple M4 на TSMC N3E, например) потребляют на одно переключение порядка фемтоджоулей - 10⁻¹⁵ джоуля. Это на пять-шесть порядков больше предела Ландауэра.
Это не значит, что мы плохо работаем. Это значит, что запас есть, но он измеряется уже не миллиардами раз, а сотнями или тысячами. Старые учебники любят писать "в миллиард раз хуже предела" - эти цифры из 1980-х, когда считали полное потребление компьютерной системы, включая охлаждение, память и периферию. Для отдельного транзистора на современном узле разрыв много скромнее.
Так, ну и по прогнозам - к 2030-м инженеры могут довести реальное потребление до 50-60 предельных значений Ландауэра. И дальше кремний, к сожалению, упрется в физику по-настоящему.
Обратимые вычисления - можно ли обойти предел
Если тепло выделяется только при стирании - значит, нужно не стирать.
Ив Лесерф в 1963 году описал первую обратимую машину Тьюринга. Чисто теоретически, без связи с термодинамикой. Потом переключился на этнолингвистику - занятная биография.
Чарльз Беннет в 1973-м сделал шаг, который имел практический смысл. В том же Журнале исследований и разработок IBM, он показал: любые вычисления можно сделать обратимыми через схему "вычисли - скопируй результат - развычисли". Промежуточные шаги восстанавливаются в обратном порядке, информация не уничтожается, стирания нет.
Теоретически - вычисление без тепловых потерь.
Но вот на практике это чудовищно дорого по памяти и времени. Все промежуточные состояния нужно хранить. Обратимые компьютеры существуют как концепции и небольшие прототипы, не более.
Квантовые компьютеры, кстати, унитарны - их вентили обратимы по природе квантовой механики. Но измерение кубита и его ре-инициализация в |0⟩ - необратимые операции. Декогеренция - тоже фактически стирание информации. Предел Ландауэра никуда не исчезает даже там.
А что с будущим ИИ-ферм
Обучение большой языковой модели требует выполнения триллионов матричных операций. Каждая такая операция в конечном счете сводится к огромному числу переключений транзисторов. Даже самые современные транзисторы расходуют на одно переключение энергию примерно в сотни тысяч раз больше предела Ландауэра. Крупные вычислительные кластеры для обучения ИИ потребляют десятки мегаватт мощности, а новейшие ИИ-суперкомпьютеры уже приближаются к сотням мегаватт.
Причина не только в утечках, сопротивлении проводников или охлаждении. За ними скрывается фундаментальный термодинамический предел, к которому добавляются неизбежные накладные расходы из-за шума, требований надежности и необратимости современной логики.
Предел Ландауэра устанавливает дно. Мы все еще очень далеки от него, но впервые за историю вычислительной техники уже можем различить его на горизонте.
