
1 августа 2012 года в 9:30 по нью-йоркскому времени открылись американские биржи. Один из крупнейших маркет-мейкеров страны тут же начал скупать и продавать акции так, будто кто-то в офисе нажал кнопочку «торговать всем» и ушел на обед. За следующие сорок пять минут Knight Capital Group набрала ненужных ей позиций примерно на шесть с половиной миллиардов долларов. Потеряла она на этом около 460 миллионов, то есть где-то по 10 миллионов за каждую минуту торгов.
Причина у всего этого настолько бытовая, что ее можно встретить почти в любой команде, которая хоть раз выкатывала релиз руками. Там есть старый код, который никто не удалил, флаг, который решили переиспользовать, и восьмой сервер, про который вспомнили только тогда, когда вспоминать стало очень дорого.
Компания, основанная в 1995 году и исполнявшая около 10% всего объема торгов американскими акциями, уже на следующий день искала деньги, чтобы дожить до конца недели. 6 августа новые инвесторы вложили в нее 400 миллионов на условиях, над которыми в спокойное время совет директоров посмеялся бы в голос.
Разбирать эту историю интересно потому, что все решения, которые к ней привели, принимались в разное время разными людьми и по отдельности выглядели вполне разумно. Мне кажется почти каждый из нас хотя бы одно такое решение в своей жизни уже принимал.
Кто такая Knight
К 2012 году Knight Capital была одним из главных маркет-мейкеров американского рынка акций. Через нее шла заметная часть розничных заявок, которые частные инвесторы отправляли через брокеров вроде TD Ameritrade, E*Trade или Scottrade. Модель была скучная и потому прибыльная: брокер передает заявки клиентов в Knight, а та исполняет их сама или отправляет дальше на биржи и зарабатывает на спреде и объеме.
За маршрутизацию отвечала SMARS (Smart Market Access Routing System), внутренний роутер, который принимал родительские заявки от торговых систем Knight и нарезал их на дочерние для конкретных площадок. Если клиенту нужно купить десять тысяч акций, роутер дробит их на порции, потому что большой кусок сразу сдвигает цену. Затем он смотрит, что успело исполниться, и досылает остаток, пока родительская заявка не будет закрыта целиком.
Вот эта последняя часть, про «пока не будет закрыта», в нашей истории и окажется несущей стеной. Кто-то когда-то ее тихо передвинул, а потом все про это благополучно забыли.
Летом 2012 года NYSE запускала Retail Liquidity Program, в которой розничные заявки могли получать цену чуть лучше рыночной за счет отдельного пула ликвидности. SEC одобрила программу 3 июля 2012 года, а старт назначили на 1 августа. На разработку и раскатку у Knight оставалось меньше месяца, и для компании, которая жила розницей, пропустить запуск означало отдать клиентов конкурентам.
Power Peg
В коде SMARS с давних времен жила функция под названием Power Peg. Knight перестала ей пользоваться еще в 2003 году, но код никто не удалил, и он по-прежнему срабатывал, если в заявке был выставлен соответствующий флаг.
Как и любой алгоритм нарезки, Power Peg должен был где-то останавливаться, и останавливал его счетчик исполненного объема. Пока исполнено меньше, чем просили, он отправляет следующую порцию, а как только набрано нужное количество, выходит. В 2005 году учет накопленного объема перенесли в более раннее место в коде SMARS, и после этого Power Peg заново не тестировали.
По смыслу, если выкинуть все подробности, картина выглядела примерно так:
// до 2005 года void PowerPeg(ParentOrder& parent) { while (parent.filled < parent.quantity) { auto child = MakeChildOrder(parent); Send(child); parent.filled += WaitFills(child); // тот самый тормоз } } // после рефакторинга учет исполненного уехал выше по коду void PowerPeg(ParentOrder& parent) { while (parent.filled < parent.quantity) { auto child = MakeChildOrder(parent); Send(child); // filled тут больше никто не обновляет, // но Power Peg ведь давно никто не вызывает } }
Сам перенос счетчика был нормальной правкой, но Power Peg к тому моменту уже два года никто не вызывал. Прогонять тесты на мертвую ветку никому в голову не пришло, и SEC потом отдельно отметила в приказе, что после переноса работоспособность Power Peg никто не проверял.
Получилась классическая мина замедленного действия: код компилируется, деплоится вместе со всем остальным, годами лежит в бинарнике и не срабатывает только потому, что его никто не зовет. Удалить его стоило бы пару часов работы и одно ревью, но мертвый код никому не мешает ровно до того дня, когда начинает мешать всем сразу.
Флаг с историей
Для RLP разработчики Knight написали в SMARS новый код и решили заодно убрать старый Power Peg. Торговым системам нужен был способ сказать роутеру «эту заявку отправь в RLP». Новое поле в сообщении заводить не стали и взяли флаг, которым когда-то включался Power Peg.
Флаг это обычно бит или значение в одном из полей сообщения, и места под такие признаки во внутренних протоколах всегда мало. Новое поле означает правки во всех системах, которые это сообщение пишут, читают, логируют и пересылают дальше. Старый флаг уже везде есть и везде протаскивается без изменений.
Я видел такое переиспользование на нескольких проектах, и аргумент всегда звучал примерно одинаково: «этим флагом все равно никто не пользуется, зачем плодить сущности».
Логика понятная, и в девяти случаях из десяти она прекрасно работает. Но у переиспользованного флага есть условие, о котором редко говорят вслух: старое значение должно исчезнуть на всех узлах одновременно с появлением нового. Если хотя бы один узел живет по старым правилам, он прочитает новый сигнал по-своему и добросовестно сделает то, что ему велели еще в 2003 году.
сообщение от торговой системы: [ ... | flag = 1 | ... ] серверы 1..7 (новый код): flag == 1 -> RLP, все как задумано сервер 8 (старый код): flag == 1 -> Power Peg, тормоза остались в 2005 году
Семь раз отмерь
Раскатку нового кода Knight начала 27 июля 2012 года и вела поэтапно, по нескольку серверов за раз. В приказе SEC прямо сказано, что один из техников не скопировал новую версию на один из восьми серверов SMARS. Почему так вышло, в документах не объясняется, но при ручном процессе такое рано или поздно случается с кем угодно.
Интереснее то, что этого никто не заметил, потому что второго техника, который проверил бы раскатку, в процессе просто не было. Письменной процедуры, которая требовала бы такую проверку, тоже не существовало. Так что восьмой сервер встретил 1 августа со старым кодом, в котором по-прежнему жил Power Peg, и ему предстояло получить вполне живой флаг.
Поговорку про семь раз отмерь в Knight выполнили почти буквально: отмерили семь раз, а резать начали на восьмом.
Девяносто семь писем
Примерно в 8:01 утра внутренняя система Knight начала рассылать автоматические письма группе сотрудников. В них упоминалась ошибка с формулировкой «Power Peg disabled», и до открытия рынка в 9:30 таких писем набралось 97. Письма были прямым следствием неудачного деплоя, но как алерты их никто не проектировал, поэтому обычно их просто не читали.
Я думаю почти у каждого в почте есть папка, куда фильтром сваливаются письма от мониторинга. Открывается она раз в квартал, обычно когда что-то уже сгорело и нужно восстановить хронологию. Письмо, на которое никто не обязан реагировать, по сути работает как запись в лог, и в Knight эти 97 записей спокойно пролежали в ящиках до разбора вместе с юристами.
За тишину в мониторинге тоже приходится платить, просто счет за нее обычно приходит одним куском и в самый неудобный день.
Сорок пять минут
В 9:30 рынок открылся, и розничные заявки с флагом для RLP пошли в SMARS. Семь серверов обработали их так, как задумывалось, а восьмой увидел знакомый флаг и запустил Power Peg. Тот отправлял дочерние заявки, не видел никакого исполнения и отправлял их снова, ровно как в коде выше.
Всего Power Peg получил 212 небольших розничных заявок, и ради них SMARS отправил на рынок миллионы дочерних. Они дали больше 4 миллионов исполнений по 154 бумагам на 397 миллионов акций. Если родительская заявка была на покупку, роутер бесконечно покупал, если на продажу, бесконечно продавал.
При этом покупал он в основном по цене продавца, а продавал по цене покупателя, так что на каждом круге терял спред. Цены некоторых бумаг за эти минуты ушли от цены открытия на 30% и больше.
Если разложить убыток по времени, получится примерно 10 миллионов в минуту:
убыток ~ 460 000 000 $ время ~ 45 минут ------------------------------------------- в минуту ~ 10 000 000 $ в секунду ~ 170 000 $ пока вы читали этот абзац ~ 3.4 млн $ (секунд за двадцать)
Процедуры, которая позволяла бы остановить SMARS при его собственном аномальном поведении, у Knight не было, как и правил реагирования на инциденты. Инженерам пришлось разбираться прямо на живом рынке, где каждая минута стоила как небольшой жилой квартал где-нибудь в Нью-Джерси.
Первое решение было стандартным, и его приняли бы, наверное, в большинстве команд: раз проблемы начались после релиза, значит откатываем релиз. Новый код RLP сняли с семи серверов, где он работал правильно, и вернули туда предыдущую версию. Предыдущая версия, как мы уже знаем, содержала Power Peg, и после отката заявки с флагом начали запускать старый алгоритм уже на всех восьми машинах.
Пожар, который горел в одной комнате, после такого тушения горел уже во всех восьми. Остановить торговлю удалось примерно через сорок пять минут, и биржа потом пересматривала сделки как раз за интервал с 9:30 до 10:15.
Шесть с половиной миллиардов чужих акций
Когда все затихло, у Knight оказались длинные позиции примерно на 3.5 миллиарда долларов в 80 бумагах и короткие примерно на 3.15 миллиарда в 74 бумагах. Все исполнения падали на служебный счет, который в приказе SEC называется 33 Account. Лимит по нему стоял в 2 миллиона долларов, но к автоматическим блокировкам он привязан не был.
Позиции отслеживал инструмент PMON, который целиком полагался на людей и сам никаких алертов не поднимал. Так что ни одна система так и не сказала «подождите, у нас тут позиция больше, чем вся компания».
Биржа отменила сделки только по 6 бумагам, где цена ушла от открытия на 30% и больше, а все остальное Knight пришлось разгребать самой. Накопленный за утро портфель Knight продала со скидкой Goldman Sachs, чтобы освободить капитал. Сама компания сначала оценила убыток в 440 миллионов, а в квартальном отчете цифра выросла до 461 миллиона.
Ирония еще и в том, что за пару месяцев до этого, 18 мая 2012 года, Knight уже потеряла около 35 миллионов на сбоях при одном громком IPO на NASDAQ, правда тогда основная вина лежала на системах самой биржи.
Акции Knight за два дня подешевели на 75%, с 10.33 до 2.58 доллара. TD Ameritrade, E*Trade и Vanguard на время перестали отправлять через нее заявки клиентов.
6 августа 2012 года группа инвесторов во главе с Jefferies вложила в компанию 400 миллионов долларов через конвертируемые привилегированные акции. После конвертации эти акции давали новым владельцам около 73% компании.
В декабре 2012 года Knight согласилась на слияние с GETCO, и в июле 2013 года объединенная компания стала называться KCG Holdings. 20 июля 2017 года KCG купила Virtu Financial примерно за 1.4 миллиарда долларов. От имени, которое полтора десятка лет было одним из главных на американском рынке, сегодня осталась в основном эта история.
Что написала SEC
16 октября 2013 года SEC выпустила по этому делу приказ, и Knight заплатила 12 миллионов долларов штрафа. На фоне потерянных 460 миллионов это выглядит примерно как квитанция за парковку.
Любопытнее сам документ, потому что это было первое дело SEC о нарушении правила 15c3-5, так называемого Market Access Rule. Правило приняли в ноябре 2010 года, соблюдать его брокеры обязаны с 14 июля 2011 года, и оно требует контролировать риски до отправки заявок на рынок.
Претензии сформулированы сухо и довольно предсказуемо: не было контроля, который отсекал бы ошибочные заявки прямо перед выходом на рынок. Лимиты капитала не были связаны с автоматическими блокировками, а процедуры деплоя и тестирования роутера SEC сочла недостаточными. Регулярная оценка рисков сводилась в основном к описи уже существующих контролей, без вопроса о том, что будет, если сломается сам роутер.
Если перевести это с юридического на человеческий, регулятор сказал примерно следующее: ошибиться может кто угодно, но у фирмы, которая отправляет на рынок миллионы заявок, должно быть место, где ошибка упирается в стену раньше, чем в баланс.
Каждый шаг по отдельности
Задним умом все крепки, и в обсуждениях этой истории обычно пишут, что надо было удалить мертвый код, не трогать старые флаги, автоматизировать деплой и поставить рубильник. Все это правда, только каждое из этих действий стоит денег и времени, и у каждого отложенного решения была понятная причина.
Мертвый код в большой системе удаляют неохотно, потому что никто до конца не уверен, что его действительно никто не вызывает, и удаление выглядит как риск без видимой пользы для бизнеса. Флаги переиспользуют, потому что новое поле в протоколе тянет за собой правки в десятке систем и согласования с другими командами, которые заняты своими релизами. Ручной деплой живет годами, потому что он работает, пока работает, а автоматизация почти всегда проигрывает по приоритету фичам, за которые платят клиенты.
Даже откат, который добил ситуацию, сам по себе был правильным рефлексом. В большинстве инцидентов «вернуть как было» действительно лечит, и инженеров Knight сложно упрекнуть в том, что они сделали то, чему учат любые руководства по эксплуатации.
Беда в том, что «как было» на этих серверах означало версию с Power Peg. Про это в ту минуту, судя по всему, никто не вспомнил, потому что в голове у всех старый алгоритм давно считался удаленным, хотя удалить его как раз и собирались этим релизом.
Ткнуть пальцем в конкретного человека здесь сложно, потому что история складывается из пяти-шести решений, каждое из которых было дешевым в момент принятия. Платить за все эти решения сразу пришлось одним утром 1 августа.
Восьмой сервер
В этой истории удивительно мало финансовой специфики, и если заменить заявки на запросы, а биржу на любой другой прод, получится узнаваемый постмортем. Он встречается почти в любой компании со старой кодовой базой: забытый код, переиспользованный флаг, ручная раскатка, мониторинг, который пишет в пустоту, и откат на версию с той же самой проблемой. Разница только в цене минуты, и у Knight она оказалась такой, что сорока пяти минут хватило, чтобы крупнейший маркет-мейкер страны превратился в учебный пример для курсов по эксплуатации.
Код, который никто не вызывает, лежит в бинарнике бесплатно, его не надо поддерживать, и он не мешает релизам. Именно поэтому его так легко оставить еще на годик, а потом еще на один, пока однажды утром на каком-нибудь восьмом сервере ему не придет сообщение с флагом, который он прекрасно помнит.

