Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 20
Если удаление накопленной информации выделяет тепло - открываются занятные перспективы по зарядке аккумуляторов. И вообще, самом устройстве аккумуляторов.
E_min = kT · ln2
Ну, значит систему охлаждения нужно будет помощнее ЕВПОЧЯ. Маск со своей идеей космических компьютеров похоже о чём-то догадался.
Вообще есть нюанс - предел Ландауэра вычислен в предположении, что система хранения информации основана на различении двух близких состояний электрона. Впрочем, пока мы нейтринные вычислительные системы не построим, он нас будет угнетать - даже фотонные схемы должны как-то взаимодействовать с веществом, а там опять тот же чёртов электрон...
Кстати, недавно прочитал "Яйцо дракона" Форварда и теперь сочувствую возможным строителям компьютера на нейтронной звезде - при температуре в миллионы градусов ландауэровский предел будет реальной проблемой.
Cognovi naturam rerum. Lord’s countdown made the world. Truly yours Donda.
Одна коллоидная частица в воде. Два лазерных пятна создают двухъямный оптический потенциал - буквально два соседних кармана, в одном из которых сидит частица. Это и есть один бит памяти: левая яма - 0, правая яма - 1.
буквально два соседних кармана - левая яма и правая яма.
Стирание - операция, которая загоняет частицу в одну яму независимо от начального положения.
Все равно в какую, главное что в одну?
Результат - при достаточно медленном стирании среднее тепло насыщалось точно на уровне kT · ln2
Чем насыщалось тепло?
Если у вас есть бит, который может быть 0 или 1, и вы сбрасываете его в 0 - вы уничтожаете информацию. Два возможных состояния сжались в одно. Ну, и это нельзя отмотать назад. Логично, все понимают
, что статья сгенерирована ИИ. Но плюсы все равно ставят. В полном соответствии с необратимостью логики.
к которому добавляются неизбежные накладные расходы из-за шума, требований надежности и необратимости современной логики.
Предел Ландауэра устанавливает дно. Мы все еще очень далеки от него, но впервые за историю вычислительной техники уже можем различить его на горизонте.
Дно достигнуто.
Проблема с принципом Ландауэра следующая. Мы смотрим на физическую систему со стороны и в ней протекают физические процессы. Вопрос такой. Как узнать, было бы вычисление в этот момент или нет? Если говорить про эксперименты с броуновскими частицами, то вопрос становится таким. Как узнать, произошло ли в этом эксперименте инициализация ячейки памяти или нет?
На эту тему см., например, обсуждение этот вопроса (доступно онлайн):
Gualtiero Piccinini and Corey Maley, Computation in Physical Systems, The Stanford Encyclopedia of Philosophy, 2021.
Автору Спасибо (и лайк) за статью!
Кстати, пару недель назад на ютубе вышло видео с подобной тематикой: «Принцип Ландауэра и предел развития искусственного интеллекта. Объяснение» (про ИИ видимо для кликабельности добавлено, мол кто будет читать, если не упомянута эта хайповая тема).
Там есть мой коммент (@vadimn6393) и автор почему-то даже закрепил его в топе, ответив на него. На что в тот же день написал свой ответ (проведя некоторые изыскания), однако, автор, непонятно почему, запретил любые комментарии к своему видео (что было несколько разочаровывающе — писал ответ, потратил время и облом).
Приведу хотя бы здесь этот ответ. Это в тему статьи. Возможно, будет кому-то интересно, кому-то дискуссионно (ну а кому-то не интересно — дополнительный «выход гейта», чтобы температура не повышалась, ЕВПОЧЯ ) ) :
Скрытый текст
Что такое фазовое пространство в курсе. И, кстати, по отношению к биту говорить, что его фазовое пространство это {0, 1} не совсем корректно, скорее следует говорить о конфигурационном пространстве или пространстве состояний.
Конфигурационное пространство — это пространство всех возможных состояний, в которых может находится система.
Фазовое пространство — это пространство состояний + структура, которая позволяет эволюции быть детерминированной из любой точки этого пространства. Зная точку в этом пространстве, можно предсказать следующий шаг. В классической механике это координата + импульс.
И если с поршнем все понятно, хотя тут скорее следует применить уравнение Клапейрона-Менделеева P⋅ V / T = N⋅ k_B (= const). Однако же, аналогии мало что доказывают. Бит это своя система, обычно там нет поршней (хотя наверное и можно предложить реализацию на поршнях), сейчас это кремневая электроника, где ничего не деформируется.
Что мне не хватило?
Привели формулу, так сказать, «с неба». Вроде наукообразно, но по сути ничего не объясняет — логическая лакуна. Хочется не формулу «с потолка», а принципы, понимание сути.
Апелляция ко 2-му началу термодинамики на 4:28, уже лучше. Похоже здесь зарыта суть. И вот здесь бы, не парой слов, а более углубится.
2-е начала термодинамики, по сути очевидно: в замкнутой системе энтропия (логарифм стат.веса) может только расти, т.е. эволюция системы происходит в сторону более вероятного состояния. Очевидное следствие теории вероятности.
Стирание информации это логический вентиль с таблицей истинности: 0 -> 0, 1 -> 0.
Очень простая система и эволюция. Для таких систем, где уже проще некуда, по идее должно быть особое упрощенное понимание и вывод результата, чем для общего случая. Вот его бы и разжевать до самой сути.
Попробую без формулы Ландауэра (но строго):
Пусть исходно бит находится в равновесии, т.е. в состоянии с равной (1/2) вероятностью 0 или 1.
Энтропия по Шеннону (она же эквивалентна информации) для бита с вероятностями (простая математика, не Ландауэр, а база, определение понятия):
S = -p0⋅log(p0) - p1⋅log(p1) = 1/2 + 1/2 = 1 здесь log двоичный)
После стирания состояние всегда 0 (вероятность 1 и log(1) = 0) => энтропия:
S = 0
Но энтропия системы не может просто исчезнуть. Согласно 2-му началу, энтропия замкнутой системы не убывает. Наш бит — Не Замкнутая система (!) и общая энтропия "бит" + "окружение" не должна уменьшаться. Если энтропия бита упала на 1, то энтропия окружения должна вырасти как минимум на 1.
Определение энтропии в стат. физике:
S = k_B ⋅ ln(2)
W - статистический вес, т.е. число различных микросостояний, т.е. в нашем случае:
S = k_B ⋅ ln(2)
Как растет энтропия окружения? Только через тепло (Q). В термодинамике, 2-е начало можно так записать:
dS >= δQ / T
(но выводится из стат. физики, т.е. по сути упомянутое следствие теории вероятности, просто переформулированное в терминах термодинамики)
Вот тут и возникает формула Ландауэра (ибо dQ это и есть E что у вас в видео).
Удивительно — вывелась, даже не ожидал, начиная рассуждать. Не так уж и страшен этот Ландауэр — на школьном уровне :) Но, наверное, можно еще проще (все таки бит).
В общем суть/база в том, что система (бит + окружение) эволюционирует в статистически более вероятное состояние (2-е начало) — очевидно. Остальное разговор о терминах, где лишь Переформулируем (!) из статистических терминов в термины термодинамики. Термодинамика феноменологическая теория, ее термины условны. Суть же — теория вероятности, остальное манипуляция терминами.
Почему-то сразу вспомнился лемовский профессор Донда.Видимо Лем был в курсе этих научных работ.
И вот здесь - привет, термодинамика. Второе начало говорит - в замкнутой системе энтропия не убывает. Но вы только что уменьшили энтропию носителя информации - убрали неопределенность. Значит, где-то в другом месте энтропия обязана вырасти. Это другое место, собственно, окружающая среда. Тепло
Предположим имеется секретный ключ длиной 2к бит. Вы уничтожаете информацию, записывая вместо ключа последовательность двоичных нулей. Но вы только что уменьшили энтропию носителя информации. И вот здесь - привет, термодинамика.
Но есть другой вариант. Вы уничтожаете информацию, записывая вместо ключа случайную последовательность нулей и единиц. Но что это? Энтропия носителя информации практически не изменилась. И термодинамика машет ручкой...
Как быть?
Согласен, это действительно несколько мутный момент.
Прежде всего, для простоты, лучше взять не 2к бит, а 1 бит, суть от этого не изменится, а нам проще.
Также важно не то, что стираем именно нулями (пусть те же 2к), можем стирать и единицами..., важно что стираем Конкретным выбранным числом (как вы предлагаете — предварительно выбрать такое число).
Для себя так понимаю этот момент:
Согласно термодинамическому подходу мы абстрагируемся от микросостояний (термодинамика будучи феноменологической о них ничего не знает, а стат. физика согласно своему названию рассматривает микросостояния статистически), т.е. рассматриваем бит как черный ящик, но при этом держа в голове и нижележащую стат. физику, а именно, что бит имеет микросостояния {0, 1}.
Как писал под спойлером выше, эта тема подпадает под описания в терминах разных «языков» — с одной стороны термодинамики, с другой стат. физики (по сути теории вероятности). Эти неразрывно связанные области описывают системы обобщенно, с точки зрения статистики, средних значений (та же температура в стат. физике это мера Средней кинетической энергии хаотического движения микрочастиц)...
Поэтому, если хотим говорить о температуре, нужно говорить в терминах средних, статистически. Для системы бита статистика пляшет на значениях {0, 1}. В среднем с вероятностью 1/2 для каждого.
И далее, как писал в комменте выше, считаем соответствующую исходную энтропию:
S = -p0⋅log(p0) - p1⋅log(p1) = 1/2 + 1/2 = 1
После стирания же, неважно, что выбрали 0 или 1, система бита будет с вероятностью 1 находится в конкретном состоянии. log(1) = 0 и => энтропия станет:
S = 0
и т.д., не буду повторяться.
Прежде всего, для простоты, лучше взять не 2к бит, а 1 бит
Тогда ИМХО и статистика нас покинет...
Для системы бита статистика пляшет на значениях {0, 1}.
По условию задачи ничего не пляшет. Было одно значение бита. После стирания осталось старое или стало другое. Для зашифрованного ключа - другое с вероятностью 0.5. При этом неважно нули пишем или случайную последовательность.
Тогда ИМХО и статистика нас покинет...
Почему покинет? Для 2к бит (2048 бит) статистика «пляшет» на значениях от 0 до 2^2048 - 1. Для 2-х бит от 0 до 3. Для 1 бита от 0 до 1. Какая принципиальная разница? Статистика же не на количестве бит (оно фиксировано), а на их значениях и чтобы не усложнять себе и так нелегкую жизнь, логично рассмотреть самый простой случай.
По условию задачи ничего не пляшет. Было одно значение бита. После стирания осталось старое или стало другое.
Когда берете конкретное значение бита (или 2к бит — неважно), то если посмотрите формулу Шеннона для энтропии (собственно определение энтропии), то получите S = 0, ибо для него вероятность 1, на то оно и конкретное значение. Энтропия на минимальном значении (0) и ее уже некуда понижать.
Термодинамика и температура же (о чем говорим) не о конкретных значениях. А там, где рассматриваем систему обобщенно-вероятностно, в свете общей статистики ее микросостояний (подобные расчеты и были выше).
Говорю, согласен, во всем этот есть некий мутный момент. Свою точку зрения как это понимаю изложил.
Принцип Ландауэра от 1961 года — уже классика в которой никто не сомневается, так что нам остаться только попытаться его понять, вас тоже призываю искать понимание (vs непонимание), и если найдете понимание лучше приведенного, то, пожалуйста, прошу привести и объяснить (ну а если таки опровергните, так понимаю, получив возможность вечного двигателя 2-го рода, то получите нобелку).
Вы уничтожаете информацию, записывая вместо ключа последовательность двоичных нулей. Но вы только что уменьшили энтропию носителя информации.
Что в этом примере является “носителем информации” - то на чем записан ключ, или то к чему применяется ключ? Если мы уничтожим ключ, то увеличим энтропию блока данных к которому применяется ключ. Энтропия носителя ключа не изменится.
То, на чем записан ключ.
Для взломщика не знающего ключ, но знающего стандартное состояние носителя (все нули) - сначала было много равновероятных состояний, после стирание одно стандартное -> энтропия уменьшилась.
Суть предела Ландауэра в том , что этот принцип относится только к логически необратимым процессам (XOR например). Но никак не затрагивает логически обратимые. Поэтому, если будет очень нужно, предел этот будет преодолен. Но , по крайней мере в ближайшее десятилетие, гораздо выгоднее тратить ресурсы на другие проблемы. Но если начать с этого, весь хайп пропадет. А хайп - это сейчас главное...
Говорить тут, что в этом «Суть», имхо, как-то слишком громко. То, что стирание необратимая операция, это скорее не суть, а условие задачи (то что в «Дано:», то что тривиально), на то оно и стирание, что необратимо.
То, что стирание необратимая операция
А Вы уверены?
Обратимость/необратимость очевидна только для элементарных операций.
Не совсем понимаю, что имеете ввиду?
Мы находимся в контексте данной статьи и работы Ландауэра, где операция стирания четко определена.
Довольно элементарный гейт с одним входом и одним выходом и с таблицей истинности: 0 -> 0, 1 -> 0 (неважно чем стираем, 0 как здесь, или 1). Что может быть элементарней? Гейт NOT (вот он уже, как понимаете, обратимый), который тоже с одним входом и одним выходом и то, пожалуй, чуть-чуть посложнее. И этим, собственно исчерпываются все одно-входные гейты.
В чем тут можно быть неуверенным? Очевидно, операция необратима.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Принцип Ландауэра — сколько весит один бит информации и почему стирание памяти греет Вселенную