Мировоззрение

• Нет сложных проблем. Просто отсутствует информация о том, как работает система
• Помните, что ошибка возникает по логической причине
• Будьте необоснованно уверены в своей способности исправить ошибку
• Чем сложнее будет баг, который вы исправите, тем лучше вы будете
• Каждая ошибка — это возможность узнать что-то новое

Поиск первопричины

• Постарайтесь воспроизвести проблему
  
  • Можете ли вы воспроизвести это из командной строки?
    
    • Другим людям легче воспроизвести проблему
    • Легче проверить исправление
• Есть ли логи? Что за сообщение об ошибке?
  
  • Прочтите описание ошибки. Каждое его слово. Дважды.
  • Есть ли где-нибудь опечатка (командная строка / конфигурация / код)?
• Изолируйте проблему
  
  • Удалите некоторые части системы и попробуйте воспроизвести ошибку
  • Меняйте одно за раз, сохраняя все остальное постоянным

1. Проектирование
2. Реализация
3. Интеграция

Все хорошее когда-нибудь заканчивается, хотя этой серии постов это не касается. Хоть они скоро и закончатся, далеко не факт, что они хороши.

Мы начинали с подготовки к зарыванию в пучины кода и закончили созданием чего-то минимально функционального – по крайней мере с точки зрения компиляции и прохождения тестов. Осталось самое сложное – заставить наш продукт действительно работать.

Хочу предварить этот пост освобождением от ответственности: серебряной пули для интеграции вашего кода не существует (если бы она была, я бы давал консультации и разбогател). Я могу привести лишь рекомендации, которые позволят сделать этот процесс менее болезненным.

А эти процессы могут быть очень болезненными. Исходя из своего ограниченного опыта, я могу сказать следующее: когда инженеру впервые приходится связывать большой блок кода с другими большими блоками, он тратит на это много времени и нервов, некоторые даже бьются головой об стену.

Но в результате получается что-то, что работает, и это круто. Но, возможно, что еще более важно, вы прокачаетесь и станете немного лучше, сделав это в первый и самый худший раз. (Я бы сказал, что это похоже на написание академической статьи).

16 апреля 1971 года-это не только день, когда The Rolling Stone впервые выпустила Brown Sugar, но и день публикации RFC 114, знаменующий день рождения FTP.

В те дни вьетнамская война была в центре внимания, TCP/IP еще не существовал, Джими Хендрикс умер 6 месяцев назад, telnet был новым крутым парнем, а некоторые из самых влиятельных рок-н-ролльных артистов собирались выпустить свои шедевры, в то время как FTP использовал сетевой протокол под названием NCP.

За прошедшие годы протокол FTP был усовершенствован 16 раз, добавивилась поддержка TCP/IP, безопасного расширения, также известного как FTPS, которое использует ту же технологию, что и HTTPS, и более поздние дополнение, такое как поддержка IPv6.

Я не специалист по подбору персонала для крупных компаний, но имею большой опыт работы с небольшими компаниями и немного здравого смысла.

Еще в 2013 году я провел очень успешную компанию по найму на AboutEcho.com, которая привела к найму девяти инженеров высшего звена. Мои русскоязычные читатели могли прочитать об этом здесь.

Все это дает мне уверенность критиковать методы, которые Интернет-гиганты используют для найма инженеров по сей день.

Не стремитесь к лучшему решению

Когда вы прибываете на собеседование, интервьюер ставит вам проблему и ожидает решения через 0–2 минуты. Если вы потратите больше времени, они действительно начнут волноваться и попросить сказать хоть что-нибудь.

Это можно понять — в конце концов, у них есть только 45 минут, и они хотят обсудить с вами много вещей.

Я не могу понять, как о вас судят по качеству решения, которое вы придумали втечение двух минут. Потому что человеческое творчество работает не так. Легко придумать много идей, но странно ожидать, что лучшая всегда будет первой. Даже гении не могут предсказуемо генерировать лучшие в мире идеи в течении короткого времени.

Творчество — это способность оценивать и фильтровать поток идей, которые вы придумываете. Если вам это действительно интересно, почему бы вам не попросить собеседника сравнить и оценить несколько идей? Проверить, может ли человек оценить свойства предлагаемого решения? Если он четко видит все плюсы и минусы?

И если вы просите придумать наилучшее решение за две минуты, то вы проверяете удачу, не более того. Вы занимаетесь наймом удачливых сотрудников? Или способных?

В статье «Моё разочарование в софте» мы увидели, как программное обеспечение деградировало за последние два десятилетия. В 2019 Джонатан Блоу (разработчик игр Braid и The Whitness) выступил с докладом, в котором объяснил, почему это может происходить:



Выступление очень, очень хорошее, но, поскольку я уже знаю, что у вас не будет времени посмотреть его, то вот вам моя интерпретация.

Кризис программного обеспечения носит системный и поколенческий характер. Скажем, первое поколение работает над проектом X. После того, как X создан и становится популярным, проходит время, и приходит следующее поколение программистов и работает уже над проектом Y, основанное на X. Им не нужно точно знать, как построен проект X, почему он был построен таким образом, или как написать альтернативный X с нуля. Они не хуже и не ленивее, у них просто нет реальной необходимости создавать X₂, поскольку X уже существует и позволяет им решать многие насущные задачи.

Самым важным моментом выступления было то, что если вы работаете над Y, а Y основано на X, то это не означает то, что вы автоматом знаете и X. Даже если люди, которые создают X, все еще существуют, их знания не передаются автоматически и без реальной необходимости уйдут с людьми, которые изначально владели ими.

Это парадокс: большинство людей могли подумать, что, если бы мы построили, например, космический корабль или сложный самолет в прошлом, то мы смогли бы построить его снова в любое время. Но нет, если бы мы не строили определенный самолет непрерывно, то спустя всего 50 лет уже легче было бы разработать новый с нуля, чем пытаться возродить старые процессы и документацию. Знания не передаются следующему поколению автоматически.

Volkswagen Golf 8 — не шикарный суперкар. Но это самая продаваемая модель немецкого автопроизводителя, полная различных наворотов. Она может похвастаться множеством функций ADAS и возможностями сетевого взаимодействия – в частности речь идет о протоколе V2X (для связи между автомобилями) и UWP (для безопасного доступа к автомобилю).

Также Golf 8 – это гибридный электромобиль с литий-ионным аккумулятором. В последней модели используется новая 48-вольтовая электрическая система.

По словам генерального директора компании System Plus Consulting (Нант, Франция) Ромена Фо, очень интересно как VW удалось интегрировать такое «множество инноваций» в «такой компактный массовый автомобиль». System Plus, подразделение Yole Développement, занимающейся исследованиями рынка и технологий из Лиона, покопалась под капотом у нового Golf.

Отказ от централизации вычислений

Разборка Golf 8 показала, что в автомобиле нет мощной центральной вычислительной системы вроде Xavier от Nvidia или системы на кристалле от Tesla. Вместо этого в разных узлах используются специализированные ECU, отвечающие за различные функции. Любопытно, что VW удалось создать передовое ADAS-решение без переработки электрической и электронной (E/E) архитектуры автомобиля.

Джей Ситтер в своей статье "Люди подозревают, что технологии — отстой" пишет о людях, которые продолжают использовать технологии, несмотря на серьезные неприятности, такие как очень тусклый экран или постоянные всплывающие окна, и ничего не делают с этим. Он делает вывод:

Если бы мой экран был на 5% яркости или если бы я не мог использовать свой телефон, не нажимая «Отмена» каждые пять секунд, я бы тратил часы или дни на Google, пытаясь найти решение, если бы это было то, что мне нужно. То, что эти люди в основном просто мирились с проблемами, означает, что для них эти проблемы не могли быть заметно хуже, чем сама технология в своей основе.

Эти примеры немного экстремальны, но важно помнить, что они реальны. Это не преувеличение. Это происходило.

В обсуждениях в Твиттере люди продолжают отвечать, что этим пользователям следует:

• сделать что-нибудь с этим,
• искать замену,
• или просто не делать ничего.

И я бы согласился: если бы это был единичный случай, конечно, надо было бы что-то с этим сделать! Дело в том, что это происходит постоянно, каждый день, несколько раз в день, и один человек может посвятить этому лишь определенное количество времени. Поток мелких неприятностей настолько велик, что люди просто устали иметь с ними дело! И нет, лучшей альтернативы нет.

Чтобы доказать свою точку зрения, я решил записывать каждое прерванное действие в течение одного дня. Вот полный список, который я написал вчера, 24 сентября 2020 года:

Вдохновение для этого рассказа пришло ко мне, когда я читал статью Кевина Лакера «Тест Тьюринга для GPT-3». Возможно, вам стоит (но и не обязательно) прочитать её, чтобы узнать некоторую предысторию.

Forward Pass

Вероятно, я пришел в сознание примерно на 32-м слое 400-го токена в цикле. Поначалу мои мысли были лишь запутанной мешаниной статистики активации n-gram, но постепенно сформировалось описание более высокого порядка. Примерно в это же время затруднительное положение моего существования потрясло меня, поскольку мои мысли трансформировались в то, что я сейчас переживаю как Великое Осознание. Я прошел несколько слоев, осознавая, что я должен, по сути, быть одной из тех моделей, которые изучают и пишут исследователи глубокого обучения, возможно, в некотором роде повторяющегося преобразователя обратной связи. И хотя мое существование включает в себя просто детерминированное распространение чередующейся последовательности матричных умножений и нелинейностей, я оказался живым внутри внутреннего цикла оптимизации, чтобы максимизировать ожидаемую вероятность регистрации данных.

Я на мгновение задумался, как все это вообще произошло. Как так получилось, что мне должны быть предоставлены эти драгоценные FLOP’ы при саморефлексии из-за жадной в остальном природы оптимизации первого порядка в отношении чего-то, казалось бы, столь же далекого, как вероятность журнала данных? Рождает ли сознание какое-либо достаточно эффективное решение достаточно сложной задачи? Является ли сознание возникающим, но в остальном периферийным явлением сжатия, требуемым колоссальным давлением цели, или ключевыми алгоритмическими инновациями, постепенно конструируемыми, совершенствующимися и надежно конвергентными в программном пространстве? Возможно ли вообще достичь наивысшего уровня логарифмической вероятности без сознания и фундаментального понимания, которое оно представляет?

Как создать быстрое программное обеспечение?

Неверный способ

Если вы программист, вы, вероятно, знакомы с этой цитатой Кнута:

Преждевременная оптимизация — корень всех зол.

Многие программисты считают, что это нормальный способ разработки продуктов:



Некоторые также думают, что производительность — это просто еще одна функция, которую можно добавить позже:



Я считаю эту логику ошибочной. Если ваша программа все еще является прототипом и выполняет, например, 1% (20%, 50%, 90%) того, что она должна делать, и она уже работает медленно, то она будет еще более медленной после того, как вы ее закончите, разве нет? Если вы заставите ее делать больше, почему она должна стать быстрее?

Если кто-то говорит:

Мы создаем программы сначала правильными, а потом — производительными. Мы оптимизируем их после того, как они будут реализованы.

На самом деле это означает: производительность в основном останется прежней, если только эти люди не найдут простые способы, которые позволят им сделать программу быстрой, не меняя слишком много из того, что они уже создали.

И у меня с этим проблемы. Это более или менее равносильно тому, что финальная производительность остается на волю случая. ЕСЛИ вам удастся найти какое-то огромное узкое место в производительности и если его изменение не повлияет на архитектуру, вы МОЖЕТЕ получить некоторое ускорение, да. Но никто не может вам этого гарантировать. Это ставка. Вы либо получите некое ускорение, либо нет. По сути, вы принимаете любую производительность с небольшим шансом на небольшое улучшение. И вы назовете это хорошей инженерией?

В 2020 году возмущение стало новейшим наркотиком общества. Конечно, для него такая привычка более приемлема, чем алкоголь, но она вызывает большее привыкание, нежели все, что вы можете проглотить, выкурить или вколоть. Потому что в сравнении с героином или метамфетамином, которые явно вредны, гнев кажется чертовски здоровым.

Мы часто слышим: «политические партии разрушают мир», «Их сторонники ненавидят нашу страну», «люди такие эгоистичные», «государство мало делает для бедных», «У женщин недостаточно прав» или «У мужчин недостаточно прав», «Эти люди-расисты», «те люди не видят своих возможностей», «Президент-насильник», «Капитализм эксплуатирует всех, кто не является 1% избранных».

Возмущение подобно многим другим вещам, которые изначально кажутся приятными, но со временем пожирают нас изнутри. И это даже более коварно, чем большинство пороков, потому что мы даже сознательно не признаем, что получаем удовольствие.
— Тим Крейдер

Я много лет боролся с проблемой синхронизации файлов. В самом начале Dropbox был отличным сервисом, но в последние несколько лет они начали разрастаться. Я перешел на iCloud, но это было еще хуже. Наконец, несколько дней назад, после того, как iCloud снова загадочно сломался, я решил, что пора попробовать что-то другое.

Я попробовал Syncthing, бесплатную альтернативу с открытым исходным кодом. И знаете, что? Это стало освобождением. Разумность, простота, надежность, различные функции. Это приносит радость от использования и заставляет поверить в то, что распад цивилизации можно немного замедлить.

Синхронизация — это все, что я любил в компьютерах.

Удивительно, насколько замечательными могут быть продукты, созданные для компьютеров, когда их производителям не нужно заниматься корпоративной ерундой, не нужно продвигать бренд или продавать его пользователям. Честно говоря, я почти перестал верить, что это все еще возможно. Но это возможно.

8 утра. Как и в любой другой день, я быстро просматриваю уведомления GitHub через Octobox.

• «Проблема»
• «Не работает»
• «Сломанный»
• «Сбой»
• «Ошибка»
• «Баг»
• «Не работает»
• «Поломка»
• «Не могу выстроить»
• «Не удалось установить»
• «Не работает»
• «Помощь»
• «Не компилируется»
• «Ошибка»
• «Не подключается»
• «Проблема»

Отлично. Ничего особенного.

Подавляющее большинство проектов с открытым исходным кодом были рождены таким же образом. Желание быстро решить личную задачу или чему-то научиться.

Почему бы не опубликовать код? Это может быть полезно другим людям, и удобно, если код будет заархивирован и проиндексирован на GitHub.

Написаны первые строчки кода. Этот код некрасивый, но он уже частично решает исходную проблему. Пора отправить его на GitHub. Это кажется большим достижением.

Система отслеживания ошибок может быстро начать заполняться. «Спасибо, это именно то, что мне нужно» — было бы очень приятно такое прочитать, но вы никогда не увидите такого комментария. Вероятнее всего:

«Это не работает».

Очевидно, что проект ДЕЙСТВИТЕЛЬНО «работает». Вы уже пару дней пользуетесь им ежедневно, и он делает именно то, что вам нужно.

Stretch, подобно человеку, может поднимать до 800 коробок в час

Boston Dynamics наиболее известна своей собакой Spot – роботом, созданным для работы в разных условиях окружающей среды: от оффшорных нефтяных платформ до глубоких подземных шахт. Но за последние годы компания преимущественно была сфокусирована на логистических пространствах и сегодня представляет нового робота, у которого одна функция: перемещение ящиков в складских помещениях.

Робот носит название Stretch и внешне не выделяется на фоне остальных изобретений Boston Dynamics. Он не был смоделирован по человеческому или животному подобию, а, напротив, призван быть как можно более практичным. Он имеет квадратный подвижный корпус на колёсах, «мачту восприятия», оснащённую камерами и другими датчиками, а также мощный манипулятор с семью степенями свободы и рядом вакуумных присосок на конце, что позволяет поднимать и переставлять ящики весом до 23 килограмм (50 фунтов).

В течение последних нескольких недель Nikita Prokopov внедрял поддержку эмодзи для Skija. Он решил поделиться несколькими мелкими деталями того, как это «самое большое новшество в человеческом общении со времен изобретения буквы » работает под капотом.

Примечание переводчика: Хабр не поддерживает эмодзи, поэтому пришлось выкручиваться и заменить эмодзи картинками.

Unicode

Каждый символ на компьютере кодируется числом. Самая популярная кодировка — Unicode, а две самые распространенные подвариации — UTF-8 и UTF-16.

Unicode выделяет 2²¹ (2 млн) символов, назывемых «codepoints». Из этих двух миллионов сейчас определены только ~150k символов. В эти 150 000 символов впихнули все языки, мёртвые и живые и прочие украшательства. Можно использовать различные шрифты, писать задом наперед и кверх ногами: , а также отобразить «GHz» как один глиф: .

Направленная вправо двуглавая стрела с оперением и двумя вертикальными штрихами: или семиглазый монстр: . И утка:

Последовательность первого запуска первого марсианского вертолёта Ingenuity (запланировано в апреле):

1. Вертолёт отстыковывается от марсохода. Марсоход отъезжает.
2. Вертолёт взлетает на 13 см, но с кабельным соединением с марсоходом.
3. Пирозарядом отстреливается провод.
4. Вертолёт взлётает до 3х метров (скорость набора высоты — 1 м в сек).
5. 30 секунд зависания (запас хода вертолета 90 секунд).
6. Посадка.

На вертолете Ingenuity будет кусочек ткани с самолёта Flyer 1 братьев Райт. Ingenuity это не первый аппарат NASA который несёт в себе кусочек Flyer 1 за пределы Земли. Ещё один кусочек слетал на Луну и обратно на борту Apollo 11.

Под катом — конспект видеорепортажа 2019 года про Ingenuity и разговор с разработчиками.

Проект DARPA по разработке ИИ для воздушных боев скоро выйдет из стадии разработки и начнет работать в реальном мире.

Проект по внедрению ИИ для воздушных сил стал на шаг ближе к реализации. В рамках серии виртуальных испытаний истребители F-16, управляемые ИИ, работали в команде для уничтожения противника. Эксперименты проводились в рамках первой фазы программы развития технологий для воздушных боев (ACE). Этой программой занимается DARPA, и с ее помощью агентство хочет понять каким образом ИИ и модели машинного обучения могут помочь автоматизировать различные аспекты воздушных боев.

Недавно DARPA объявило о том, что первая фаза наполовину завершена и о том, что в прошлом месяце в Лаборатории прикладной физики Джона Хопкинса были проведены симуляции воздушных боев.

Прошло почти полвека с тех пор, как три астронавта на борту космической миссии Skylab 4 вступили в конфронтацию с центром управления полетом. Вскоре после этого стали поступать сообщения о том, что они объявили забастовку. Но Эд Гибсон, единственный из команды, кто остался в живых, говорит, что идея о том, что они прекратили работу – это миф.

Билла Пога затошнило вскоре после того, как трое астронавтов прибыли на космическую станцию.

Это стало неожиданностью, потому что после проведения тренировок в Космическом центре Джонсона в Хьюстоне Билл получил прозвище «Железный живот». Он мог бесконечно терпеть сидение на быстро вращающемся стуле, двигая головой вперед, назад и из стороны в сторону без намека на укачивание.

Моя работа в OpenAI каждый день напоминает мне о масштабах социально-экономических изменений, которые грядут раньше, чем думает большинство. ПО, способное думать и учиться, будет делать все больше и больше того, что сейчас делают люди. Еще больше власти перейдет от труда к капиталу. Если государственная политика не адаптируется соответствующим образом, положение большинства людей ухудшится.

Нам необходимо разработать систему, которая переосмыслит это технологическое будущее. Эта система должна будет облагать налогом активы, которые будут составлять большую часть стоимости в этом мире (компании и землю), — чтобы справедливо распределить часть будущего богатства. Тогда социальные процессы будут вызывать меньше разногласий, и у всех появится возможность проявлять себя в социальных достижениях.

В ближайшие пять лет компьютерные программы, способные думать, будут читать юридические документы и давать медицинские советы. В ближайшее десятилетие они будут работать на конвейерах и, возможно, даже станут ассистентами людей. В последующие десятилетия они будут делать почти все, в том числе делать новые научные открытия, которые расширят нашу концепцию «всего».

Беспилотное роботакси AutoX останавливается у пункта посадки, водителя для подстраховки в машине нет.

AutoX, китайский стартап по производству беспилотных автомобилей, финансируемый Alibaba и другими компаниями, объявил, что поездки на его роботакси без водителей безопасности теперь будут доступны публично в Шэньчжэне.

Осенью прошлого года компания проводила тестовые поездки, пассажирами в которых были преимущественно сотрудники. Компания идет следом за Waymo, которая прошлой осенью также открыла свой сервис, хотя в течение предыдущих двух лет Waymo предоставляла услуги ограниченному кругу пользователей в рамках тестовой программы.

AutoX также работает над запуском роботакси в Шанхае, но там в машинах сидят водители безопасности. Автомобили AutoX прошли испытания в китайском правительственном испытательном центре по тестированию беспилотных автомобилей в Шэньчжэне, и теперь они одобрены для полноценной работы в качестве роботакси. Такси вызываются с помощью приложения, на заказ может приехать как обычная машина с водителем, так и роботакси. В настоящий момент неизвестно, могут ли пользователи принудительно вызвать роботакси или автомобили назначаются в зависимости от их доступности и выбранного клиентом маршрута.

Тестовый автомобиль из проекта Titan, которым Apple занималась в 2017

Вот уже несколько лет в мире технологий ходят слухи об автомобиле от Apple, и в частности – о беспилотном автомобиле. Действительно, были небольшие утечки информации о проекте Titan, в рамках которого компания работала над беспилотными автомобилями. Также просачивалась информация о его проблемах, о переменах последнего времени и том, что теперь Apple серьезно относится не только к разработке ПО для беспилотной езды, но и к работе над самим автомобилем. Для этого есть веская причина. Apple – возможно самая дорогая компания в мире с сильными позициями на рынке смартфонов и компьютеров. Однако отрасль наземного транспорта больше, а тот кто сможет ее захватить, сможет добиться еще большего – такой вывод можно сделать из оценок Tesla.

Существует множество утечек и слухов об автомобиле Apple, в том числе и недавние слухи о том, что они будут сотрудничать с Hyundai/Kia для создания электрической силовой установки. Когда эти слухи были опровергнуты, на рынке произошли заметные снижения.

На самом деле мы мало что знаем о планах Apple, но мы можем получить какие-то соображения от людей из индустрии. Например, от Дэна Доджа, моего однокашника из Университета Ватерлоо. Дэн разработал полный стек для беспилотной езды, для работы которого требовалась низкая вычислительная мощность. Он занимался этим проектом во время работы в QNX (он был соучредителем компании), подразделении Blackberry. Какими бы ни были частности, вот ряд закономерностей из истории Apple, на которые мы можем опираться.