Ричард Хэмминг: Основы цифровой (дискретной) революции

«Будда сказал своим ученикам: «Не верьте ничему, независимо от того, где вы это прочитали, или кто это сказал, даже если это сказал я, если это не согласуется с вашим собственным рассудком и вашим собственным здравым смыслом». Я говорю то же самое — вы должны взять на себя ответственность за то, во что верите. »

Привет, Хабр. Помните офигенную статью «Вы и ваша работа» (+219, 2112 в закладки, 335k прочтений)?

Так вот у Хэмминга (да, да, самоконтролирующиеся и самокорректирующиеся коды Хэмминга) есть целая книга, написанная по мотивам его лекций. Давайте ее переведем, ведь мужик дело говорит.

Это книга не просто про ИТ, это книга про стиль мышления невероятно крутых людей. «Это не просто заряд положительного мышления; в ней описаны условия, которые увеличивают шансы сделать великую работу.»

Мы уже перевели 3 главы (правда, в порядке субъективных интересов):

• Предисловие и Введение
• Глава 24. Квантовая механика
• Глава 25. Креативность
• Глава 30. Вы и ваше исследование

Сегодня — Глава 2. Основы цифровой (дискретной) революции.
(За перевод спасибо Данико Ихошвили, который откликнулся на мой призыв в «предыдущей главе».)

Кто хочет помочь с переводом — пишите в личку или на почту magisterludi2016@yandex.ru

Глава 2. Основы цифровой (дискретной) революции

Мы приближаемся к финалу, логическому завершению революции, когда использование
непрерывных сигналов для передачи данных заменяется прерывными (дискретными), и,
вероятно, для этой цели мы откажемся от использования импульсов в пользу уединённых
волн. В природе многие сигналы являются непрерывными (при условии игнорирования кажущейся дискретной структуры вещей, построенных из молекул и электронов).

В качестве примера непрерывных сигналов можно считать передачу голоса по телефонной связи, музыкальные звуки, высоты и массы людей, пройденное расстояние, скорости, плотности и т.д. Непрерывный сигнал мы почти моментально конвертируем в дискретный, при этом дискретизация обычно выполняется с равными интервалами по времени, а объем сигнала разбивается до сравнительно небольшого количества интервалов. Разбиение сигнала на интервалы, иными словами квантование, не будет рассматриваться в этих главах, хотя в некоторых ситуациях это важно, особенно в вычислениях больших объемов данных.

Так каковы были причины и предпосылки этой революции?

1. При передаче непрерывных сигналов часто приходится компенсировать естественные потери путем усиления сигнала. Любая ошибка, сделанная на одном этапе, до или во время усиления, усугубляется на следующем этапе. Например, телефонная компания, отправляющая голос по всему континенту, может иметь коэффициент усиления 10¹²⁰. Такой коэффициент может показаться очень большим, поэтому мы быстро выполним вычисления на салфетке (о них шла речь в 1й главе), чтобы увидеть, разумно ли это. Рассмотрим систему более подробно. Предположим, что каждый усилитель имеет коэффициент усиления 100, и они разнесены каждые 80 километров. Фактический путь сигнала может быть более 4800 километров, следовательно, на пути размещено около 60 усилителей, поэтому приведенный выше фактор кажется разумным, теперь мы видели, как он может возникнуть. Должно быть очевидно, что такие усилители должны были быть построены с исключительной точностью, если бы система была пригодна для использования человеком.

Сравним с передачей дискретных сигналов. Нет необходимости усиливать сигнал на каждом этапе, вместо этого используются ретрансляторы. В такой схеме шумы, выявленные на одном из этапов, автоматически удаляются на следующем этапе передачи сигнала. Таким образом, с высокой точностью можно передавать речевой сигнал, и требования к оборудованию и точности его настройки при этом не так высоки. Мы можем использовать, если необходимо, коды обнаружения и исправления ошибок для дальнейшего устранения шума. Мы рассмотрим эти коды позже, в главах 10-12. Наряду с этим мы разработали область цифровых фильтров, которые часто гораздо более универсальны, компактны и дешевле, чем аналоговые фильтры, о чем будет рассказано в главах 14-17. Следует отметить, что передача сигнала через пространство аналогична передаче сигнала через время (т.е. хранению).

Цифровые компьютеры могут воспользоваться этими функциями и выполнять очень глубокие и точные вычисления, которые недоступны для аналоговых вычислений. Аналоговые компьютеры, вероятно, достигли своего пика производительности, но их нельзя отбрасывать легкомысленно. У них есть некоторые функции, которые, если не требуются большая точность или глубокие вычисления, делают их идеальными в некоторых ситуациях.

2. Изобретение и разработка транзисторов и интегральных схем, особенно цифровых, значительно поспособствовали цифровой революции. Проблема паяных соединений была основной при создании большого компьютера, и микросхемы помогли справиться с большей частью этой проблемы, хотя паяные соединения все еще остаются проблемными. Кроме того, высокая плотность компонентов интегральных схем означает более низкую стоимость и более высокую скорость вычислений (части должны быть близки друг к другу, поскольку в противном случае время передачи сигналов значительно замедлит скорость вычислений). Неуклонное снижение как уровня напряжения, так и тока способствовало частичному решению теплоотдачи. В 1992 году было подсчитано, что затраты на межсетевые соединения составляют примерно:

• Взаимосвязь на чипе: $10^-5=0.001 цента.
• Межчиповая связь: $10^-2=1 цент.
• Межплатовая связь: $10^–1=10 центов.
• Межрамочная связь $100=100 центов.

3. Общество неуклонно переходит от общества материальных благ к обществу информационных услуг. Во времена американской революции (около 1780 года), более 90% населения будущих США были в основном фермерами — теперь фермеры составляют очень небольшой процент рабочих.

Точно так же до Второй мировой войны большинство рабочих находились на фабриках — теперь
их меньше половины. В 1993 году в правительстве (кроме военных) было больше людей, чем в
производстве! Какова будет ситуация в 2020 году? Насколько я понимаю, менее 25% людей в
гражданской рабочей силе будут обращаться с вещами, остальные будут обрабатывать информацию в той или иной форме. При производстве фильма или телевизионной программы вы делаете множество действий, хотя, конечно, итоговый продукт имеет материальную форму, содержащий результат организации и обработки информации. Информация, конечно же, хранится в материальной форме, если, например, рассматривать книгу (суть книги — это информация), но информация не является хорошим материалом для потребления, как еда, дом, одежда, автомобиль или поездка на самолете.

Информационная революция возникает из вышеупомянутых трех пунктов плюс их синергетического взаимодействия, хотя влияние имеют и следующие пункты.

4. Компьютеры позволяют роботам делать много вещей, включая большую часть операций на производственных предприятиях. Очевидно, что компьютеры будут играть значимую роль на предприятиях, хотя нужно быть осторожным, чтобы не требовать, чтобы стандартный компьютер типа фон Неймана был единственным механизмом управления, скорее всего, компьютеры нейронной сети, логика нечеткого набора и вариации будут выполнять большую часть контроля. Оставляя в стороне детский взгляд на робота как машину, напоминающую человека, но, думая об этом как о способе управления и контроля вещей в материальном мире, роботы, используемые в производстве, делают следующее:

A. Производят продукт при более серьезных условиях контроля качества.
B. Производят более дешевый продукт (более низкий по себестоимости).
C. Производят новый продукт, который ранее было производить тяжело или невозможно из-за возможностей человека.

Последний пункт требует особого внимания.

Когда мы впервые перешли от ручной отчетности к машинной, по экономическим соображениям мы сочли необходимым несколько изменить систему отчетности. Аналогичным образом, когда мы перешли от строгой ручной работы к изготовлению машины, мы перешли от винтов и болтов главным образом к заклепкам и сварке.

На практике было тяжело получить точно такой же продукт при производстве вручную, но машины позволяют это сделать.

Действительно, одним из основных элементов преобразования от от ручной к машинной продукции является творческий редизайн эквивалентного продукта. Таким образом, механизация крупной организации может не сработать, если вы попытаетесь сохранять продукт в деталях точно таким же, скорее, должен быть принят крупный компромисс, если мы хотим обеспечить себе значительный успех. Вы должны понять суть производство, а затем разработать алгоритм производства продукта, его новую форму, а не пытаться механизировать текущую версию и текущие производственные реалии — если вы хотите добиться значительного успеха в долгосрочной перспективе.

Мне нужно подчеркнуть этот момент; механизация требует, чтобы вы производили эквивалентный продукт, а не идентичный старому. Кроме того, в любом дизайне сейчас необходимо учитывать особенности обслуживания продукта на местах, в долгосрочной перспективе обслуживание нередко перекрывает другие расходы. Чем сложнее разработанная система, тем больше ее обслуживание должно быть главным для окончательной конструкции. Только в том случае, если обслуживание на местах является частью первоначальной конструкции, ее можно безопасно контролировать; нецелесообразно пытаться позже его переносить в другую среду. Это касается любых организаций, механизированных и пользующихся ручным трудом.

5. Влияние компьютеров на науку очень велико и, вероятно, продолжится с течением времени. Мой первый опыт в крупномасштабных вычислениях заключался в разработке оригинальной атомной бомбы в Лос-Аламосе. При разработке не было возможности провести эксперимент на малом масштабе чтобы проверить, есть ли у вас критическая масса или нет, и, следовательно, в то время вычислительные средства были единственным практическим подходом. Мы моделировали на примитивных машинах бухгалтерского учета IBM различные предлагаемые проекты, и они постепенно сводились к дизайну для тестирования в пустыне в Аламагордо, штат Нью-Мексико.

После размышлений над полученным опытом в этом проекте я понял, что компьютеры позволят моделировать много разных видов экспериментов. Я воплощал это видение на практике Bell Telephone Laboratories на протяжении многих лет. Где-то в середине 1950-х годов в обращении к президенту и сотрудникам Bell Telephone Laboratories я сказал: «В настоящее время мы делаем 1 из 10 экспериментов на компьютерах и 9 в лабораториях, но прежде чем я уйду, на компьютерах будет производиться 9 из 10 экспериментов». Тогда они не поверили мне, поскольку они были уверены, что реальные наблюдения были ключом к экспериментам, и я был просто диким теоретиком из математического факультета, но вы все понимаете, что сейчас мы делаем примерно 90-99% наших экспериментов на компьютерах, и лишь остальное в лабораториях. И эта тенденция будет продолжаться! Гораздо дешевле делать симуляции, чем реальные эксперименты, симуляции гораздо более гибкие в тестировании, и мы можем даже делать то, что нельзя сделать в любой лаборатории. Тенденция неизбежно продолжится в течение некоторого времени. Опять же, продукт изменился!

Но вы же знакомы с пороками схоластики Средних веков — люди делали выводы о том, что произойдет, на основе книг Аристотеля (384-322), а не глядя на природу и реальный характер вещей. Великая идея Галилео Галилея (1564-1642) стала началом современной научной революции: изучение явлений с натуры, а не только из книг! Но что я говорил выше? Мы теперь все больше и больше смотрим в книгах и все меньше и меньше на природу! Очевидно, что мы будем слишком часто заходить слишком далеко, и я ожидаю, что это произойдет в будущем. При всем энтузиазме к компьютерным симуляциям, мы не должны забывать оглядываться на природу, как она есть.

6. Компьютеры также сильно повлияли на Инженерию. Мы не только можем разрабатывать и строить гораздо более сложные вещи, чем мы могли бы вручную, мы можем исследовать еще много альтернативных проектов. Мы также теперь используем компьютеры для управления ситуациями, например, на современном высокоскоростном самолете, где мы строим нестабильные конструкции, а затем используем высокоскоростное обнаружение и компьютеры, чтобы стабилизировать их, так как лишенный посторонней помощи пилот просто не может летать с ними напрямую. Аналогичным образом, теперь мы можем провести нестабильные эксперименты в лабораториях, используя быстрый компьютер для управления нестабильностью. Результат будет заключаться в том, что эксперимент будет измерять что-то очень точно прямо на краю стабильности.

Как отмечалось выше, инженерия приближается к науке, и, следовательно, роль моделирования в неизведанных ситуациях быстро возрастает как в технике, так и в науке. Также верно, что компьютеры часто являются важным компонентом хорошего дизайна/разработки.

В прошлом в инженерии доминировал подход «что мы можем сделать», а теперь подход сформулирован как «что мы хотим делать», так как теперь у нас есть возможность проектировать почти все, что мы хотим. Более чем когда-либо прежде, инженерия — это вопрос выбора и баланса, а не просто то, что можно сделать. И все больше человеческих факторов, которые будут определять хороший дизайн, — тему, которая всегда требует вашего серьезного внимания.

7. Влияние на общество также велико. Наиболее очевидной иллюстрацией является то, что компьютеры предоставили топ-менеджменту возможность микроменеджмента своей организацией, а высшее руководство практически не проявляло способности сопротивляться использованию этой мощности. Вы можете регулярно наблюдать в газетах статьи о крупных корпорациях, которые занялись децентрализацией, но когда вы наблюдаете за этой компанией в течение нескольких лет, вы видите, что они просто намеревались сделать это, но не сделали.

Среди других пороков микроменеджмента более низкое управление не получает возможности принимать ответственные решения и учиться на своих ошибках, а, скорее, из-за того, что пожилые люди, наконец, уходят в отставку, тогда более низкое управление оказывается в качестве высшего руководства, не имея большого опыта в управлении!

Кроме того, неоднократно было показано, что централизованное планирование дает плохие результаты (например, российский эксперимент или наша собственная бюрократия). Лица, находящиеся на месте, обычно имеют лучшие знания, чем те, кто находится наверху и, следовательно, часто (не всегда) принимают правильные решения, если действия и планы не подвергаются микроменеджменту. У людей снизу нет глобального взгляда, ну а люди сверху не имеют локального представления обо всех деталях, многие из которых часто могут быть очень важными, так что любая крайность дает плохие результаты.

Далее, идея, которая возникает на местах, основанная на непосредственном опыте людей, выполняющих эту работу, не может попасть в централизованно контролируемую систему, так как менеджеры сами не думали об этом. Синдром «изобретено не нами» (NIH) является одним из основных проклятий нашего общества, и компьютеры, способные поощрять микроменеджмент, становятся существенным фактором.

Постепенно надвигается тенденция использования микроменеджмента. Возникают свободные связи между небольшими, несколько независимыми организациями. Например, в брокерском бизнесе одна компания обязалась продавать свои услуги другим небольшим абонентам, например, компьютерным и юридическим сервисам. Это делает брокерские решения для местных менеджеров клиентов близкими к передовым позициям, иными словами очень актуальными. Аналогичнымо бразом, в фармацевтической области некоторые слабо связанные компании организуют внутреннюю торговлю со своими правилами. Я считаю, что вы можете ожидать гораздо большего от этой свободной ассоциации между небольшими организациями в качестве защиты от микроменеджмента сверху, что происходит так часто в крупных организациях. В организациях всегда была какая-то независимость подразделений, но власть сверху на уровне микроменеджмента, по-видимому, разрушала обычные линии и автономию принятия решений, и я сомневаюсь в способности большинства топ-менеджеров долгое время сопротивляться микроменеджменту. Я также сомневаюсь, что многие крупные компании смогут отказаться от микроменеджмента; большинство из них, вероятно, будут заменены в долгосрочной перспективе небольшими организациями без затрат (накладных расходов) и ошибок высшего руководства. Таким образом, компьютеры влияют на самую структуру того, как общество делает свой бизнес, и на данный момент, по-видимому, в худшую сторону.

8. Компьютеры уже вторглись в развлекательную зону. Неофициальный опрос показывает, что средний американец тратит гораздо больше времени на просмотр телевизора, чем на еду — снова информация имеет приоритет над базовыми потребностями в питании! Многие рекламные ролики и некоторые программы теперь либо частично, либо полностью создаются на компьютере. Как далеко машины будут влиять на общество, это вопрос спекуляций, который открывает множество дверей к проблемам, если не обсуждать это открыто! Поэтому я должен оставить это в своих фантазиях относительно того, что, используя компьютеры на чипах, можно сделать в таких областях, как секс, брак, спорт, игры, «путешествие в домашних условиях через виртуальные реальности» и другие виды человеческой деятельности.

Компьютеры с момента их создания использовались главным образом сложных логических расчетах, но быстро были переориентированы на поиск информации (например, к системам резервирования авиабилетов), обработке текста, которая распространяется повсюду, манипулированию символами, как это делают многие программы, такие как те, которые могут значительно улучшить аналитическую интеграцию в исчислении и дешевле, чем студенты, а также в логических областях и решениях, в которых многие компании используют такие программы для управления своими операциями с одного момента времени.

Будущее компьютерное вторжение в традиционные поля еще предстоит увидеть и будет обсуждаться позднее под заголовком «Искусственный интеллект» (AI) в главах 6-8.

9. В военном деле легко наблюдать (например, в войне в Персидском заливе) главенствующую роль владения информацией, ведь неспособность использовать информацию о собственной ситуации убили многих наших людей! Ясно, что в войне информация была дополнением ко всему прочему и это, вероятно, один из показателей будущего. Мне не нужно рассказывать вам такие вещи, поскольку вы все знаете или должны быть в курсе этих тенденций. Это зависит от вас, чтобы вы могли попытаться предвидеть ситуацию к 2020 году, когда ваша карьера будет на самом пике. Я считаю, что компьютеры будут почти везде, так как я однажды увидел знак, который гласил: «Поле битвы не место для человека». Аналогично для ситуаций, требующих постоянного принятия решений. Многие преимущества машин над людьми были перечислены в конце последней главы, и трудно обойти эти преимущества, хотя они, конечно, не все. Очевидно, что роль людей будет сильно отличаться от традиционной, но многие из вас будут настаивать на старых теориях, которые вы преподавали давно, как будто при этом они будут автоматически верны в будущем. Это может встретиться и в бизнесе, многое из того, чему сейчас обучают, основывается на прошлом и игнорирует компьютерную революцию и наши ответы на некоторые из пороков, которые принесла революция; выгоды, как правило, понятны руководству, а проблемы – в меньшей степени.

Сколько трендов, предсказанных в части 6 выше, в направлении микроменеджмента и вне его, будет широко применяться и снова станет самой подходящей для вас темой? Неизвестно, но вы будете дураком, если не будете уделять этому свое и постоянное внимание. Я предлагаю вам переосмыслить все, что вы когда-либо узнали по этому вопросу, задать вопрос о каждой успешной доктрине из прошлого и, наконец, решить для себя свою будущую применимость. Будда сказал своим ученикам: «Не верьте ничему, независимо от того, где вы это прочитали, или кто это сказал, даже если это сказал я, если это не согласуется с вашим собственным рассудком и вашим собственным здравым смыслом». Я говорю то же самое — вы должны взять на себя ответственность за то, во что верите.

Теперь я перехожу к теме, которая часто игнорируется: скорости эволюции условного специального рода деятельности, пример которого будет относиться к «внутреннему процессу подсчета конвертов» (back of the envelop computation). Рост большинства, но далеко не всех, полей следует за кривой «S». Все развивается медленно, затем скорость растет, а затем сглаживается, когда достигает определенных естественных пределов.

Простейшая модель роста предполагает, что темпы роста пропорциональны текущему размеру, что-то вроде сложного интереса, безудержного роста бактерий и людей, а также многих
других примеров. Соответствующее дифференциальное уравнение



решение которого, конечно же,



Но этот рост неограничен, и всё должно иметь пределы, даже само знание, поскольку оно должно быть записано в той или иной форме, и мы (в настоящее время) сказали, что Вселенная конечна! Следовательно, мы должны включить в дифференциальный уравнение предельный фактор. Пусть L — верхний предел. Тогда следующее простейшее уравнение роста похоже



На этом этапе мы, конечно, сводим его к стандартной форме, которая устраняет константы. Положим y=Lz и x=t/kL², тогда имеем





как приведенная форма для проблемы роста, где уровень насыщения теперь равен 1.

Разделение переменных плюс частичные фракции дает:



А, конечно, определяется начальными условиями, где вы ставите t (или x) = 0. Вы сразу видите «S» форму кривой; при t = — ∞, z = 0; при t = 0, z = A / (A + 1); и при t = + ∞, z = 1.

Более гибкая модель роста (в приведенных переменных)



Это опять-таки разделяемое переменными уравнение, а также дает возможность численного интегрирования, если вы пожелаете. Мы можем аналитически найти самый крутой наклон, дифференцируя правую часть и приравнивая 0. Получаем



Следовательно, на месте



Имеем максимальный уклон



Эскиз поля направления на рисунке 2.I. Я укажу характер решения. Легко решить задачу, поскольку наклон зависит только от у, а не от х, линии равного магнитного наклонения — это горизонтальные линии, поэтому решение может скользить вдоль оси х без изменения «формы» решения.



Для заданных a и b действительно существует только одна форма начальные условия определяют, где вы смотрите, а не то, что вы смотрите. Когда дифференциальное уравнение имеет коэффициенты, не зависящие от независимой переменной, то у вас есть такой эффект. В частном случае a=b имеем максимальный наклон = 1/2^2a. Кривая в этом случае будет нечетной симметричной относительно точки, где z=1/2. В следующем частном случае a=b=1/2 получаем решение



Здесь мы видим, что кривая решения имеет конечный диапазон. Для больших экспонентов a и b мы имеем, очевидно, бесконечный диапазон.

В качестве дополнения выше рассмотрим, что скорость увеличения числа компьютерных операций в секунду была довольно постоянной в течение многих лет, поэтому мы явно находимся на почти прямой линии кривой «S» (подробнее об этом в следующей главе) В этом случае мы можем более или менее знать точку насыщения для фон Неймана, одного процессора и типа компьютера, так как мы считаем: (1) мир сделан из молекул и (2) использование доказательств из двух теорий относительности, специальных и общих, дает максимальную скорость полезной отправки сигнала, тогда есть определенные пределы того, что можно сделать с одним процессором. Тенденция к высокопараллельным процессорам — это признак того, что мы ощущаем верхний предел насыщенности кривой «S» для однопроцессорных компьютеров. Существует также неприятная проблема рассеивания тепла. Мы обсудим этот вопрос более подробно в следующей главе.

Снова мы видим, как простая модель, хотя и не очень точная в деталях, указывает на характер ситуации. Независимо от того, насколько параллельная обработка вписывается в эту картину или является независимой кривой, в настоящий момент неясно. Часто очередное новшество устанавливает рост поля на новую кривую «S», которая вылетает из уровня насыщенности старого как на рисунке 2.II. Возможно, вам захочется изучить модели, которые не имеют жесткого верхнего предела насыщения, но, скорее всего, они растут логарифмически; они иногда более уместны.

Очевидно, что электротехника в будущем будет в значительной степени включать: (1) выбор чипов с полки или из каталога; (2) объединение фишек вместе подходящим образом, чтобы получить то, что вы желаете (3) написание соответствующих программ. Осознание чипов и
печатных плат, которые в настоящее время доступны, будет неотъемлемой частью техники, так
же, как и в каталоге Vacuum Tube Catalog (каталог вакуумных ламп, по которому выбирались
комплектующие при создании компьютеров, использующих соответствующие компоненты –
прим. пер.).

Как последнее замечание в этой области позвольте мне рассказать о специальных чипах интегральных схем. Огромному эго приятно использовать специальные целевые чипы для вашей особой работы, этому сопутствуют очень высокие затраты. Во-первых, конечно, это стоимость дизайна специального компьютера. Во-вторых, поиск и устранение неисправностей и обслуживание в целом. Вместо этого, если вы найдете чип общего назначения, который может стоить немного больше, вы получаете следующие преимущества:

1. Другие пользователи чипа помогут найти ошибки или другие недостатки, если они есть.
2. Другие пользователи помогут написать руководства, необходимые для его использования.
3. Другие пользователи, включая производителя, будут предлагать обновления чипа, поэтому вы можете ожидать постоянного потока улучшенных чипов с небольшими усилиями или без усилий с вашей стороны.
4. Учет и управление комплектующими не будет серьезной проблемой.
5. Поскольку, как я уже неоднократно говорил, технический прогресс идет все более быстрыми темпами, он следует за технологическим устареванием в будущем гораздо быстрее, чем сейчас. Вы вряд ли получите систему, установленную и работающую до того, как будут достигнуты значительные улучшения, которые вы можете адаптировать с помощью простых изменений программы. Если, конечно, вы использовали чипы общего назначения и хорошие методы программирования, а не свой специальный чип, который почти наверняка привяжет вас к вашему первому дизайну.

Поэтому будьте осторожны с чипами специального назначения!

хотя в некоторых случаях они могут быть просто необходимы.

Продолжение следует...

Кто хочет помочь с переводом — пишите в личку или на почту magisterludi2016@yandex.ru