Краткое содержание для Хабра: не техническая статья, графомания, минусовать не читая.

Для лиги лени. Общество в РФ разделено на 3 уже не класса, но еще не касты – нормисы и линейный персонал слева, огромная квалификационная яма по центру, инженерно-руководящие кадры (лиды, тим лиды, хорошие РП-ПМ, руководители среднего звена) справа, и номенклатура. Номенклатура внутри себя тоже разделена, не пирамидально, в том числе на силовых и либеральных чекистов,  но их доходы в структуре открытого рынка труда не отображаются.

Из-за такого разделения, на графиках «требования \ оклад», и из-за не желания HR публиковать оклады «справа» -  фактическое бимодальное распределение (два пика) и зарплат, и числа вакансий не наблюдаемо. Третий пик - доходы (не оклады) номенклатуры и немногочисленных (по итогу ползучей деприватизации) кабанчиков в статистику вовсе не попадают, налоговая такие данные не публикует. Иногда публикуют прокуратура и новости.

В данной статье рассматривается влияние бакетизации на мощность статистических критериев в условиях различных распределений данных и при разном объеме выборки. Особое внимание уделено зависимости мощности критерия от количества бакетов и размера выборки. Исследование предоставляет важные выводы для проектирования и анализа A/B тестирования и других форм экспериментальных исследований.

Работа с pandas.DataFrame может превратиться в неловкую кучу старого (не очень) доброго спагетти-кода. Я и мои коллеги часто используем эту библиотеку, и хотя мы стараемся придерживаться хороших практик программирования, иногда мы все равно мешаем друг другу, создавая запутанный код.

Я собрала несколько советов и подводных камней, которых следует избегать, чтобы сделать код на pandas чистым. Надеюсь, вам они тоже будут полезны. Также я буду ссылаться на классическую книгу Роберта Мартина «Чистый код: создание, анализ и рефакторинг».

Воспоминания бумера: студенческие годы, Perestroyka, VAX/VMS как вершина архитектуры CISC - и как это привело к краху DEC, последние годы перед работой за деньги в "лихие 90е"

2014-й стал переломным годом для моей карьеры в Интел. В начале 2013-го меня назначили генеральным директором по R&D в России – и мне казалось, что теперь все дороги будут открыты. От перспектив сделать что-то хорошее и для Интела и для России за спиной прямо-таки росли крылья. Но не тут-то было.

Год сразу начался по-дурацки — я полетел в Новосиб в легкой курточке и простудился на тамошнем морозе. В Сибири погода вообще коварная. У нас — минус 30 это адский ад из‑за высокой влажности. А там сухо, солнечно, тихо и ощущается как минус 10, в худшем случае минус 15. А на самом деле те же самые минус 30. И в результате вместо поездки на Олимпиаду в Сочи я сидел дома и болел две недели. Ну а потом началось — в конце февраля — начале марта Россия присоединила Крым, а в апреле начались бои на Донбассе. Нас обложили санкциями. Ну и на корпоративном фронте ситуация также резко накалилась. В том году я летал в Штаты 6 раз и провел там в общей сложности четыре месяца, уговаривая интеловый истеблишмент не закрывать бизнес в России. Дамоклов меч повис уже тогда, однако судьбе было угодно дать нам еще 8 лет...

Шок и трепет

Поначалу, как всегда, была паника и неразбериха. Никто не понимал, куда бежать и чего бояться. Вспоминается апрельский диалог с Биллом Сэвиджем – директором Developer Product Division, основным стейкхолдером Интел в России. На него тогда работало у нас человек, наверно, 700. Как сейчас помню, разговор этот состоялся в пятницу, часов в 6 вечера в санта‑кларовском офисе SC12. Обычно амеров в пятницу из офиса «сдувает» в половине 4го. Ну самый край в 4. Но Билл не уходит — переживает отчасти за Россию, но больше за свою карьеру. И мы уже несколько часов гоняем по кругу его страхи — фантомные и реальные.

Сегодня продолжим (начало – здесь) тему приобретения Интелом различных компаний. И рассмотрим конкретные примеры в России. А в следующий раз - за ее пределами.

NSTL и STL

История Интел в Нижегородской области началась примерно в начале 90х. Каким бы удивительным это сейчас ни казалось, началась она в закрытом Сарове (который тогда еще носил название Арзамас-16). И ни где‑нибудь а в РФЯЦ‑ВНИИЭФ «колыбели российского атомного оружия», закрытом‑презакрытом институте, обложенном всеми возможными и невозможными американскими санкциями. Вот такие тогда были времена. Наверно справедливо будет считать точкой отсчета встречу Ричарда Вирта с начальником математического отделения ВНИИЭФ Иваном Денисовичем Софроновым. Эта встреча легендарных личностей со временем обросла еще большим количеством легенд — как амеры добирались до Сарова, как пили водку и катались на медведях и тд и тп ? С тех пор и началось сотрудничество (изначально на контрактной основе в области разработки компиляторов и библиотек). Сегодня в это трудно поверить, но в те времена американцы чувствовали себя внутри «периметра»(а Саров отгорожен от остального мира колючей проволокой) почти как у себя дома. Почти — потому что иностранных граждан там неизменно сопровождал неприметный паренек «в штатском». Его можно было бы и вовсе не замечать, но однажды двум молодым идиотам — Тиму Трамбуллу и автору этих строк пришла в голову мысль — а что будет, если «сбросить хвост»? Воспользовавшись тем, что амеров в тот раз приехало очень много, мы смогли «оторваться» и часа два гуляли по Сарову «без присмотра» (ну или нам так казалось). Разумеется, нам за это ничего не было — погрозили пальцем и сказали «Больше так не делайте». А вот парнишке этому, думается, прилетело по первое число. Я надеюсь, что у него все в жизни сложилось хорошо. За прошедшие 25 лет он вырос (минимум) до полковника и теперь иногда почитывает Хабр, приглядывая за порядком. Если это так — я хотел бы извиниться за нашу тогдашнюю дурацкую выходку...

Всем привет.

Хочу сообщить тем, кто волновался за мою судьбу после опуса о последних днях Интела в России на прошлой неделе, что у меня все хорошо. Я жив‑здоров и работаю все там же ?. Про опус, однако, сказать того же не могу. Людям он неплохо зашел, а вот менеджмент (на обеих сторонах был не в восторге). Так что найти его теперь можно только у меня в телеге. Ну а я возвращаюсь к более ранним дням истории Интел в России. И речь у нас сегодня пойдет о нехитрых развлечениях командировочных.

Случай в «Главпивторге»

В июне 2010го приезжал в Россию ХрИстос Георгиопулос, Vice President of Developer Relations Division, к которой я тогда относился. Он был начальником моего начальника Пареша Паттани. Надо сказать, что мы тогда очень неплохо ладили и это наверно были мои самые счастливые времена в Интел. Христос был этническим греком, вполне православным и даже немного понимающим по‑русски. «Зовите меня просто ХристОс» — говорил он по‑нашему, чем приводил окружающую публику в неописуемый восторг. Так вот 13го июня случился у меня День Рождения. И я повел Христоса, Пареша и еще пару местных коллег в ресторан «Главпивторг» на Лубянке. В то время он мне очень нравился. Сидели — ели, выпивали и праздновали мои 34 (господи, как давно это было). Ну и в конце действа я привычно полез за карточкой чтобы расплатиться. И тут Христос в шутку шлепнул меня по рукам и сказал, что платить должен он, потому что он здесь старший. Я возразил, что не собираюсь вешать ужин на контору, расплачусь сам, потому что это мой день рождения и я сам всех сюда позвал. «Да ладно» — подмигнул Христос, — «Mother Intel заплатит. Все равно мы подарок тебе купить забыли». Так я усвоил, что за столом расплачивается старший по должности. И в принципе, это — правильно, потому что исключает всякие соблазны и лихоимства, когда подчиненный платит за начальника, а тот ему это одобряет. Но иногда случались в жизни исключения из этого правила.

Я никак не могу допилить главу про покупки Интелом других компаний. :(  В последние недели, то вдохновения не хватает, то сил, то настроения, а то банально времени. Но книжка сама себя не напишет, а значит надо предпринимать какие-то усилия. Поэтому сегодня вашему вниманию предлагается коротенький опус, который позволит аффтару “размять руку”, а вам узнать кое-что из жизни больших корпораций.

— Никогда не читайте советских газет перед едой,- советовал профессор Преображенский.

— Так ведь других нет, Филипп Филиппович, - возражали ему.

— Тогда никаких не читайте.

Герою “Cобачьего сердца” вторил мой коллега Jim Curley (Кудрявый Джимми). “Никогда не читайте советских газет. Ни правды - в “Известиях”, ни известий - в “Правде”. Причем говорил он все это на чистом русском языке. Все-таки в советские времена учили в школах неплохо. Даже если это были американские разведшколы.

 Я, однако, сегодня о том, что корпоративные новости в сущности мало чем отличаются от советских газет. В бытность свою в Интел я дополнил булгаковский афоризм таким образом: "никогда не читайте корпоративных газет. А если читаете - сразу переходите в колонку некрологов. Только там вы, возможно, найдёте немного правды".  Organizational announcements в Интел - это настоящая кладезь информации. Как человек, который 20 лет внимательно читал "корпоративные некрологи" могу сказать, что там важно все  - кто, куда, когда, почему... Мало того, важно каким тоном написано и даже какими словами. Общих правил, в принципе нет. Но статистика говорит, что есть вероятностные законы.

Всем привет. С восстановленными в отпуске силами приступаю к продолжению саги Made at Intel (начало -1,2,3,4,5). Cегодня речь пойдет об М&A активности компании, которую ваш покорный наблюдал в течение 20ти с хвостиком лет. Тема поглощений неисчерпаема, и если рассматривать ее досконально, получился бы многотомный труд. Я все же сосредоточусь на событиях в которых мне непосредственно приходилось принимать участие. Даже несмотря на это материал получился довольно большой и пришлось разбить его на две части. Сегодня мы поговорим о “теоретических основах M&A”, а в следующий раз разберем конкретные знаковые для России и Интел примеры. Будучи внутри я был склонен считать, что в плане приобретения компаний Intel – худшая корпорация в мире. Сейчас радикализма поубавилось, но в-целом отношение не поменялось. Из нескольких десятков попыток удачными я могу назвать считанные единицы. Почему так получилось – попытаемся сейчас разобраться.

Хочу отдохнуть сегодня от тяжелых многостраничных концепций (их есть вот тут - 1,2,3,4) и просто вспомнить несколько веселых историй из интелового прошлого. Я их обычно собираю у себя в телеге, а сюда буду выкладывать, что получше в скомпонованном виде. Возможно, когда-нибудь я сумею их вплести во что-нибудь концептуально, а может быть они так и останутся лежать "россыпью"...

Продолжаем сагу под названием Made at Intel. Сегодня я хочу посмотреть на историю развития IT – компаний скорее глазами финансиста (есть у меня такая слабость), а не инженера. И провести некоторые параллели между жизнью корпораций и жизнью обычных людей.

Корпорации как люди

“Корпорации не существуют ради людей. Они не существуют ради великих идей. Они существуют исключительно ради денег”. Я любил так говорить, объясняя какой-нибудь очередной затейливый поворот истории Intel. Действительно, далеко не все решения поддаются объяснению с чисто технологической точки зрения. Соображения бизнеса играют не меньшую роль. Также надо принимать во внимание внутреннюю политику, оргструктуру и массу других факторов. Корпорация напоминает живой организм cо своей внутренней логикой, зачастую противоречивой. Сегодня может быть так, а завтра по-другому. Наблюдая за развитием ведущих мировых IT-компаний в течение примерно четверти века я пришел к выводу, что между корпорациями и людьми можно провести некоторые аналогии. Сегодня я попытаюсь проиллюстрировать эту мысль, сравнивая Intel c такими it –гигантами, как IBM, Microsoft, Apple и Huawei. Как и люди компании обладают своим “темпераментом” (о котором можно судить например по волатильности курса акций :)) “характером”, “возрастом”… Даже от места “рождения” кое что зависит. Ну вот, например IВM – корпорация восточного побережья США. С глубокой иерархией, склонностью к дипломатии и близким к европейскому менталитетом. В то время как Intel (да наверно и Microsoft) типичные компании “дикого Запада”, в методах себя особенно не стесняющие. Однако сегодня я бы хотел сосредоточиться на том, как меняются корпорации с течением времени. Как они проходят периоды роста, расцвета, зрелости и ... перерождения (хотя и не все).

Сегодня я заканчиваю первую главу (пока еще не написанной :)) книжки Made at Intel. Начало и продолжение – здесь и здесь.

Главная вера

И все же важнейшей религией компании является сама x86 Instruction Set Architecture. Intel изначально свято придерживался принципа backward compatibility  - программы написанные для предыдущих поколений процессора работают на следующих без изменений (ну разве что требуют эмулятора операционки). Без этого нельзя построить никакой экосистемы, ибо ее формирование процесс занимающий многие годы. И именно благодаря последовательности Intel x86 ISA стала для компьютерного мира чем то вроде христианства. Аналогию можно продолжить сравнив разделение христианства на католическую и православную ветви – Intel и AMD (или наоборот). Но мы этого делать не будем. :) Однако принцип backward compatibility требует, чтобы любое изменение ISA оставалось в ней “навсегда”. И, наверно, нам следовало относиться к архитектуре более бережно. Когда я был маленьким, а деревья большими один умный человек (Ronak Singhal :)) говорил мне, что тут, дескать не о чем печалиться. С каждым shrink (переходом на более совершенный процесс изготовления чипов) площадь необходимая для поддержки legacy инструкций “сжимается” в два раза. Но вот когда Intel серьезно “застрял” на 10нм техпроцессе, мои опасения вернулись с удвоенной силой.

Это - продолжение (но еще не окончание!) первой главы. Начало – здесь.

Linpack – как важнейшее из искусств

Второй важнейший “культ”, который определял развитие серверной архитектуры на протяжении десятилетий – это “сакрализация” Linpack. Сам бенчмарк представлен Джеком Донгаррой аж в 1979 году. Но  культовым статусом своим он обязан усилиями маркетологов из многих IT компаний (Intel, AMD, IBM, Nvidia, Fujitsu и тд). Linpack имеет массу неоспоримых достоинств.

• Это всего лишь ОДИН тест, в отличие от скажем SPEC CPU, где их 40 с хвостиком.

• К тому же (в отличие от SPEC) он совершенно бесплатный.

• Очень легко обьяснить, что Linpack делает. Он решает систему линейных алгебраических уравнений с числами двойной точности. Используется метод (P)LU разложения (Гаусса) с выбором ведущего элемента.

• В качестве результата Linpack выдает ОДНО число – измеренную производительность системы  в (гига -, тера -, пета -, экза) флопах. На основании Linpack строится мировой рейтинг суперкомпьютеров  TOP500 и российский TOP50.  Так же вычисляют эффективность (искушенные люди обращают на нее внимание), как отношение измеренной производительности к пиковой. Правда, в последнее время само понятие эффективности является несколько “размытым”, из-за того что в процессе исполнения теста тактовая частота может “плавать”.

• Linpack идеально параллелится (MPI, OpenMP и вообще что угодно) и векторизуется.

• И наконец Linpack обеспечивает практически полную (>90%) загрузку вычислительных устройств. В то время как обычные приложения редко показывают больше 20.

И все же Linpack – это всего лишь ОДИН (и к тому же весьма специфичный) тест и переоценка его роли обходится очень дорого. Тем не менее история показывает, что зачастую так оно и происходило.

Я подустал от мрачных текстов и вспомнил о своей давней мечте. За 20 с хвостиком лет работы в Интел у меня развеселых историй накопилось на целую книгу. Хотелось в ретроспективе посмотреть на некоторые события, участником которых мне довелось быть. И еще хотелось отдать дань уважения компании и людям, с которыми мне посчастливилось работать. Я уже даже название придумал – Made at Intel. Понятно, что пока я был внутри конторы, речь о публикации этих баек идти не могла. Я сам подшучивал, что для публикации нужно правильно выбрать время. В смысле сначала уволиться, а потом публиковать, а не быть уволенным вследствие публикации. :) Однако примерно 2 года назад я Интел покинул, и казалось бы меня уже ничего не сдерживало. Но тут, как всегда – то перо поломается, то струна порвется, то еще какая бяда приключится. К тому же на то чтобы писать книжку – это же рeшимости набраться надо... И вот – вчера я решил, что большое надо начинать с малого. Буду писать по главке и выкладывать сюда - собирать фидбек. Так мало –помалу и наберется.

Итак, сегодня вашему вниманию представляется первая глава, в которой эволюция архитектур Intel рассматривается с точки зрения ... истории религиозных течений. Да –да, не удивляйтесь, архитектура вычислительных устройств –это одна из самых религиозных вещей. Не думайте, что все решения по Instruction Set Architecture принимаются исключительно на основе анализа данных – это совсем не так. Скорее похоже на средневековое государство – тут есть немного бизнеса, побольше политики и очень много религии. Все просто – почти любой эксперимент в этой области растягивается на годы и обходится в миллиарды долларов. Хуже всего, что в процессе дизайна можно давать лишь приблизительные оценки ключевых характеристик – частоты, производительности, энергопотребления, температурной карты. То, как все оно будет на самом деле становится понятным уже только тогда, когда чип выходит из печки. Да сейчас в этой области уже накоплен определенный опыт и наши оценки становятся несколько точнее, но и только. А 20 лет назад этих знаний было куда меньше. И пионеры, подобные Интел двигались в темноте на собственный страх и риск. Разумеется, в таких условиях на первый план выходит кто во что ВЕРИТ. Ну да – еще кто лучше говорить умеет. Поэтому лучшие архитекторы приходят из школ с углубленным изучением богословия. :)