Давным, давно, когда я был школьником и добывал радиодетали преимущественно из разных выброшенных на свалку плат, заметил я необычное явление в процессе распаивания очередной такой платы: некоторые пайки моментально отваливались от фольги, стоило в них ткнуть паяльником. Контактная площадка оставалась чистой от припоя, гладкой и серебристо облуженной, а капля припоя на выводе детали имела внизу такое же блестящее плоское основание.

«Социальные сети не спасут нас от астероида, который мчится к Земле»
— Андрей Гейм (профессор Манчестерского университета, в 2010 году получил Нобелевскую премию по физике за работу над графеном)

«Что вы вообще здесь делаете?» — миллиардер, который разбогател на программном обеспечении, был крайне удивлен, когда я сказал ему, что я физик. Реакция была содержательной: будто бы он встретил сезонного рабочего на нашем месте встречи – Всемирном экономическом форуме в Давосе.

Помимо установления полезных связей, саморекламы и всех других вещей (включая катание на лыжах), которыми обычно занимаются политики и финансисты, уважаемые представители стран последний месяц обсуждали в Давосе неважное положение глобальной экономики. Главы государств считают, что улучшение управления должно помочь, работники центральных банков видят спасение в улучшении финансового контроля, а инвестиционные банкиры – в рынках. Экономисты предлагают новые теории, а интернет-предприниматели доверяют социальным сетям. Единственное, на чем сошлись, — вера в то, что быстрое решение доступно и близко.

Преимущество башен из слоновой кости заключается в том, что они позволяют видеть не только актуальные проблемы. Там, где одни видят банковский кризис, кризис задолженности и валютный кризис, ученые могут увидеть и более тревожные события. Мы находимся в самом разгаре технологического кризиса. В наше время прорывные технологии появляются намного реже, чем того требует стабильный экономический рост. Даже банкиры жалуются на нехватку новых технологий для инвестирования.

Предыдущая часть вызвала бурную дискуссию, в ходе которой выяснилось, что AVX/AVX2 на самом деле есть в десктопных CPU, нет только AVX512. Поэтому продолжаем знакомиться с SIMD, но уже с современной его частью — AVX. А так же разберём некоторые комментарии:

• медленнее ли _mm256_load_si256, чем прямое обращение к памяти?
• влияет ли на скорость использование AVX команд над SSE регистрами?
• действительно ли так плохо использовать _popcnt?

Авторы — Джон Хеннесси и Дэвид Паттерсон, лауреаты премии Тьюринга 2017 года «за новаторский систематический и измеримый подход к проектированию и проверке компьютерных архитектур, оказавший долговременное влияние всю отрасль микропроцессорной техники». Статья опубликована в журнале Communications of the ACM, февраль 2019, том 62, № 2, стр. 48-60, doi:10.1145/3282307

«Те, кто не помнит прошлого, обречены повторить его» — Джордж Сантаяна, 1905

Свою лекцию Тьюринга 4 июня 2018 года мы начали с обзора компьютерной архитектуры, начиная с 60-х годов. Кроме него, мы освещаем актуальные проблемы и пытаемся определить будущие возможности, которые сулят новый золотой век в области компьютерной архитектуры в следующем десятилетии. Такой же, как в 1980-е, когда мы проводили свои исследования по улучшению в стоимости, энергоэффективности, безопасности и производительности процессоров, за что и получили эту почётную награду.

Ключевые идеи

• Прогресс программного обеспечения может стимулировать архитектурные инновации
  
• Повышение уровня программно-аппаратных интерфейсов создаёт возможности для инноваций архитектуры
  
• Рынок в конечном итоге определяет победителя в споре архитектур

Тема переезда в Европу, США или другие приятные регионы мира довольно часто поднимается на Хабре. Я решил собрать в одном месте список онлайн-сервисов, которые будут полезны тем, кто всерьез задумался об иммиграции. На удивление, «живых» и активных стартапов в этой сфере не так и много. Для статьи я отобрал четыре проекта.

Если вы занимаетесь обработкой и анализом данных с использованием Python, то вам, рано или поздно, придётся выйти за пределы Jupyter Notebook, преобразовав свой код в скрипты, которые можно запускать средствами командной строки. Здесь вам и пригодится модуль argparse. Для новичков, привыкших к Jupyter Notebook, такой шаг означает необходимость покинуть зону комфорта и перейти в новую среду. Материал, перевод которого мы публикуем сегодня, написан для того, чтобы облегчить подобный переход.

Модуль argparse

Практика показывает, что многие enterprise компании сталкиваются с трудностью в реализации аналитических проектов.

Все дело в том, что, в отличии от классических проектов по поставке железа или внедрению вендорских решений, укладывающихся в линейную модель исполнения, задачи, связанные с продвинутой аналитикой (data science) очень трудно формализуются в виде четкого и однозначного ТЗ в виде достаточным для передачи исполнителю. Ситуация отягощается тем, что для реализации задачи требуется интеграция массы различных внутренних ИТ систем и источников данных, часть вопросов и ответов может появиться только после того, как начинается работа с данными и вскрывается реальное положение дел, сильно отличающееся от документальной картины мира. Это все означает, что для написания грамотного ТЗ необходимо провести предварительную часть работы сопоставимую с половиной проекта, посвященную изучению и формализации реальных потребностей, анализу источников данных, их связей, структуры и пробелов. В рамках организаций сотрудников, которые способны провернуть такую масштабную работу, практически не бывает. Вот и получается, что на конкурсы выкладывают совсем сырые требования. В лучшем случае конкурсы отменяются (отправляются на доработку) после цикла уточняющих вопросов. В худшем случае — за громадный бюджет и длинные сроки получается нечто, совершенно не похожее на планы авторов требований. И остаются они у разбитого корыта.

Разумной альтернативой является создания внутри компании команды data science (DS). Если не замахиваться на строительство египетских пирамид, то команда и 2-3 грамотных специалистов может сделать весьма и весьма много. Но тут возникает другой вопрос, как подготовить этих спецов. Ниже хочу поделиться набором успешно апробированных соображений по быстрой подготовке такого «спецназа» с R в качестве оружия.

Является продолжением предыдущих публикаций.

Те компании, которые не осознают, что знания являются средством производства более важным, чем земля, труд или капитал, постепенно умрут и никогда не поймут, что их погубило.Ларри Прусак

Глупость — дар Божий, но злоупотреблять им не следует.Отто фон Бисмарк

Предисловие

Уже пару лет, в своей ежедневной практике, инженеры технической поддержки нашей компании успешно используют технологию «управление знаниями» KM. При этом, часть коллег до сих пор путает управление знаниями с обучением, совершенно не осознавая разницы между этими технологиями. Этот текст я задумал как некий минимум информации для заинтересованного читателя позволяющий поверхностно разобраться в сути KM и одновременно как аргументацию в пользу KM для скептически настроенного читателя.

Мы знаем, что для ИТ-рекрутеров крайне важно закрыть вакансию в кратчайшие сроки наименее затратным способом. Для этого у рекрутеров есть множество инструментов и методик: как для непосредственного поиска нужного специалиста, так и для предварительной оценки его профессиональных качеств. Они смотрят на опыт работы кандидата, на указанные им навыки, на отзывы со стороны коллег. В том числе смотрят и на его активность в профессиональных ИТ-сообществах.

Поэтому, месяц назад мы ввели на «Моём круге» рейтинги участия в ИТ-сообществах. Теперь каждый соискатель может показать на своём профиле, какой вклад он внёс и какие награды получил на «Хабре» и «Тостере», на StackOverflow и GitHub.

Но какую именно роль профессиональные ИТ-сообщества играют в жизни разработчиков и в их карьере? Насколько для работодателя важна информация об участии соискателя в этих сообществах? Какие сообщества более важны, а какие менее? Можно ли всё это как-то посчитать, измерить и оценить?

Мы провели опрос среди пользователей «Моего круга» по этой теме, собрали ответы тысячи респондентов и перевели их в наглядные диаграммы. На наш взгляд, получилась очень любопытная и убедительная картинка.

Продолжаем изучение методов многомерной оптимизации, и следующий на очереди — метод роя частиц осуществляющий поиск глобального минимума.

Недавно я был совершенно сбит с толку этим твитом «Библиотеки Ферма»:


«Вот что получится, если в факториале не умножать, а делить.»

Когда я увидел его, мне пришлось бросить свои дела, схватить блокнот и проверить формулу. Результат в черновом виде казался логичным. Так как мультипликативная версия $$ при увеличении $$ стремится к бесконечности, то «делительная» версия должна стремиться к нулю. И $$ ведёт себя именно так; полиномиальная функция $$ растёт медленнее, чем степенная функция $$ для достаточно больших $$:

$$

Но почему результат деления принимает именно вид $$? Откуда берётся $$?

Есть класс задач, которые нельзя ускорить за счёт оптимизации алгоритмов, а ускорить надо. В этой практически тупиковой ситуации к нам на помощь приходят разработчики процессоров, которые сделали команды, позволяющие выполнять операции на большим количеством данных за одну операцию. В случае x86 процессоров это инструкции сделанные в расширениях MMX, SSE, SSE2, SSE3, SSE4, SSE4.1, SSE4.2, AVX, AVX2, AVX512.

В качестве «подопытного кролика» я взял следующую задачу:

Есть неупорядоченный массив arr с числами типа uint16_t. Необходимо найти количество вхождений числа v в массив arr.

Классическое решение, работающее за линейное время выглядит так:

int64_t cnt = 0;
for (int i = 0; i < ARR_SIZE; ++i)
    if (arr[i] == v)
        ++cnt;

В таком виде бенчмарк показывает следующие результаты:

------------------------------------------------------------
Benchmark                     Time           CPU Iterations
------------------------------------------------------------
BM_Count                   2084 ns       2084 ns     333079

Под катом я покажу как его ускорить в 5+ раз.

Привет Хабр!

Многие постоянные читатели и авторы сайта наверное задумывались о том, какой жизненный цикл имеют опубликованные здесь статьи. И хотя интуитивно это и так более-менее ясно (очевидно например, что статья на первой странице имеет максимальное число просмотров), но сколько конкретно?



Для сбора статистики воспользуемся Python, Pandas, Matplotlib и Raspberry Pi.

Тех кому интересно, что из этого получилось, прошу под кат.

Нужно не сражаться с неуверенностью в себе, а использовать ее в своих интересах

Однажды, еще в начале карьеры, меня пригласили на пафосное мероприятие для СМИ в Лос-Анджелесе. Увидев там журналистов из крупнейших мировых изданий, я почувствовала себя так неуместно, что спряталась в уборной и сидела там, пока не пришла моя подруга.

Тот случай был одним из худших приступов синдрома самозванца, которые со мной случались. Этот вездесущий и, возможно, не всегда уместно используемый термин описывает ощущение неуверенности, уязвимости и дискомфорта, сопровождающее продвижение по карьерной лестнице. Например, вы наконец-то получили работу своей мечты, и сразу же начинаете убеждать себя, что вам просто повезло или что вы каким-то образом обманули того, кто вас нанял. Или у вас на визитке появилось название престижной должности, но вас это только смешит: вам кажется нелепым представлять себя в такой роли.

Я беседовала о синдроме самозванца со многими выдающимися людьми — бизнесменами, учеными-исследователями, телевизионщиками — и все как один говорили, что с приходом успеха всё становится только хуже: чем больше достижения, тем сильнее чувство, что вы обманываете. Но, как бы странно это ни прозвучало, синдром самозванца — не такая уж и плоха штука. Нужно только обратить его себе на пользу.

Если вы ощущаете неуверенность в себе, это значит, что вы больше осведомлены о собственных слабостях и, следовательно, лучше подготовлены к тому, чтобы преодолеть их.

Келси Рамсден, автор книги Похмелье от успеха, утверждает, что синдром самозванца — это и хорошо, и плохо: «Этот синдром вредит, потому что многим он мешает развиваться и применять собственные умения и таланты». С другой стороны, говорит Келси, синдром самозванца — это еще и признак выхода из зоны комфорта, — а это помогает совершенствоваться. Так что когда вас снова «накроет», знайте, что это можно использовать во благо.

Переведено в Alconost

Публикуем отчет по зарплатам в ИТ-индустрии на 2-е полугодие 2018. Отчёт построен по данным калькулятора зарплат «Моего круга»: в котором за данный период было собрано более 8500 зарплат.

Посмотрим на текущие зарплаты по всем основным ИТ-специализациям, а также на их годовую динамику как в целом, так и по основным регионам: Москва, Санкт-Петербург, остальные города. Более детально изучим специализацию разработчиков программного обеспечения: посмотрим на их зарплаты в разрезе языков программирования, городов и компаний.

Данные, представленные в нашем текущем отчёте, а также любые другие, каждый желающий может получить самостоятельно с помощью калькулятора зарплат «Моего круга». Если вам нравится информация, которую мы получаем с помощью калькулятора, и если вы хотите внести свой вклад в формирование более прозрачного рынка труда в ИТ, приглашаем поделиться своей текущей зарплатой, данные о которой мы используем в нашем следующем полугодовом отчёте.

Сервис зарплат запущен на «Моем круге» в конце 2017 с целью регулярного мониторинга зарплат в ИТ-индустрии. Зарплаты оставляют сами специалисты, мы их собираем и предоставляем всем в открытый доступ в агрегированной и анонимной форме.

Пришло время рассмотреть пакеты предоставляющие методы решения задач оптимизации. Очень много проблем можно свести к поиску минимума некоторой функции, поэтому следует иметь в арсенале парочку-другую солверов, а уж тем более целый пакет.

До начала статьи сразу следует ответить на 2 вопроса, к гадалке не ходи — они будут заданы:

1) Какой в этом практический смысл? Разобраться в том, как ведет себя электроника при криогенных температурах, да и просто интересно сколько можно выжать из 20Мгц AVR-ки :-) Удалось выяснить момент, крайне важный и для разгона настольных процессоров с криогенным охлаждением.

2) Почему Arduino, ведь есть же куча микроконтроллеров быстрее, а i7 вообще всех рвет? Совершенно верно. Есть куча намного более современных микроконтроллеров, которые на 2-3 порядка быстрее (и они есть у меня в наличии). Однако Arduino получила большую известность среди любителей, потому было решено мучить именно её. А для практических применений конечно дешевле и проще взять более быстрые микроконтроллеры (Cortex-M3, M4).

Разгон микроконтроллера под жидким азотом обещает быть несколько сложнее разгона «настольных» процессоров — ведь тут нет ни тестов стабильности, ни программируемого генератора тактовой частоты, ни управления напряжением питания. Да и компоненты на Arduino, как показала практика, не выдерживают криогенных температур — и с ними придется разбираться в индивидуальном порядке. Все эти проблемы к счастью удалось решить.

Дмитрию Пашкову из мордовского города Рузаевка 28 лет – возраст, когда многие из нас уже определились со своим профессиональным будущим и уже даже успевают добиться определенных профессиональных высот. Дмитрий в этом смысле исключение — в положительном смысле. По профессии он системный администратор, но по призванию – радиолюбитель. Несколько недель назад он прославился на всю страну, перехватив в момент солнечного затмения 20 марта сигнал с действующего российского метеоспутника «Метеор-М2». Я связался с Дмитрием и он любезно согласился поделиться своим опытом – объяснить, как любой из нас может сам наладить «связь с космосом» и добиться того, о чем мечтал каждый из нас в детстве – увидеть Землю из космоса.



Оригинал фото

С 7 по 9 ноября в Институте космических и информационных технологий Сибирского федерального университета прошла I Зимняя школа «Цифровые встраиваемые системы». Участниками школы были студенты и аспиранты СФУ.

Пришла в голову мысль сделать на маршрутизаторе Cisco некое подобие известного пакета fail2ban, используя средства только самого маршрутизатора.

Работает это так. В списке доступа, прикреплённом к интерфейсу граничного интернет-маршрутизатора, создаются правила-ловушки. Когда правило срабатывает, в лог записывается событие. Каждая строка такого события содержит специальную метку, чтобы их легче было отобрать. Лог анализируется, и все попавшие в ловушку IP адреса заносятся в специальную объектную группу. Эту группу можно использовать в том же списке доступа, чтобы забанить доступ злоумышленникам уже ко всем IP адресам и портам нашей сети.

Для понимания этой статьи нужно знать, что такое списки доступа (access lists), и для чего они нужны, а также знать, как использовать в списках доступа объектные группы (object-group).