Термин Big Data подпорчен современным фантастическим преувеличением новых вещей. Как ИИ поработит людей, а блокчейн построит идеальную экономику — так и большие данные позволят знать абсолютно все про всех и видеть будущее.

Но реальность, как всегда, скучнее и прагматичнее. В больших данных нет никакой магии — как нет ее нигде — просто информации и связей между разными данными становится так много, что обрабатывать и анализировать все старыми способами становится слишком долго.

Появляются новые методы. Вместе с ними — новые профессии. Декан факультета аналитики Big Data в GeekBrains Сергей Ширкин рассказал, что это за профессии, где они нужны, чем там надо заниматься и что надо уметь. Какие используются инструменты и сколько обычно платят специалистам.

Если вы чаще раза в год ходите в наши магазины за спорттоварами или одеждой, скорее всего, у вас есть наша клубная карта (синяя, серебряная или золотая). Меня зовут Максим, я заместитель директора департамента разработки, внедрения и сопровождения ПО, и в этом посте мы с коллегами расскажем про становление клубной программы Спортмастера, про коллекцию собранных нами в процессе граблей и про то, чем наша клубная программа отличается от привычных скидочных карт других торговых сетей.

Тогда

На дворе стоял 2004-й год. Что было — клубная программа у Спортмастера и доллар по 27 рублей. Чего не было — нормального интернета на местах и стабильных каналов связи у магазинов.

В те годы мы сами написали систему лояльности, которая могла нормально вести учёт бонусных баллов каждого пользователя. Но так как магазинов у нас уже тогда было много, в отличие от мощностей для обработки данных, вся наша база данных бонусов умещалась в одном файле, который просто рассылался по магазинам и обслуживался локально, а изменения за день возвращались обратно. Кстати, именно это стало первопричиной того, что бонусы можно тратить только на следующий день после покупки, а не требования бизнеса и обеспечение возврата клиентов — в течение суток всё это просто не успевало обновиться и пересчитаться как следует.

Статьи про компьютерное зрение, интерпретируемость, NLP – мы побывали на конференции AISTATS в Японии и хотим поделиться обзором статей. Это крупная конференция по статистике и машинному обучению, и в этом году она проходит на Окинаве – острове недалеко от Тайваня. В этом посте Юлия Антохина (Yulia_chan) подготовила описание ярких статей из основной секции, в следующем вместе с Анной Папета расскажет про доклады приглашенных лекторов и теоретические исследования. Немного расскажем и про то, как проходила сама конференция и про “неяпонскую” Японию.

Принципы частотно-модулированной радиолокации с постоянной частотой несущей используются в интерферометрии для измерения расстояния до объектов и их скорости. Это достигается путём передачи ЧМ сигнала и измерения разницы в частоте между задержанным принятым и передаваемым согналами. Основное внимание в этом проекте было уделено разработке и внедрению схем делителя мощности и микшера. Архитектура радара показана ниже.

Привет!

По традиции, митап пройдет в Deworkacy и будет бесплатным, надо лишь зарегистрироваться.


В пятницу, 21 июня, в 19.00 наши ребята расскажут, как аналитикам работается в банке и по какому количеству граблей они успели пройтись за 6 лет работы. Мы поговорим про личную эффективность и состояние потока, о том, как не сойти с ума, работая с документацией, о дедлайнах и прочих вещах, не чуждых каждому аналитику.

Темы докладов и полезные ссылки — под катом.

В Токио есть своя «Горбушка», только называется она «долина осенних листьев». Район Канда, станция Акихабара, а так — Акиба. Название район получил от специального противопожарного храма, который теперь считается святилищем аниме. И я сейчас на полном серьёзе.


^{Храм аниме. На нормальных табличках пишут желания вроде «здоровья родным». Тут желания другие. Совсем другие.}

Сам подрайон от реки до 6 квартала ещё называется «Электрогородок», потому что там раньше торговали электроникой. «Радиовышка» или высотка Radio Kaikan 62-го года постройки — это зародыш электрогородка, откуда всё пошло, первое высокое здание в районе. Ну, это тогда оно было высоким, а сейчас просто одно из многих, и не такое уж и большое. Там были магазины, а внизу развалы с подержанной электроникой. В 2011 году, правда, высотку развалило землетрясением (была признана аварийной), но её быстро перестроили к 2014 году. И теперь внутри торговый центр кольцевого типа, где всякая куча товаров для отаку. В целом, можно бродить просто по ней и соседнему зданию, и это получится мини-Акиба.

В общем, я прогулялся по району сам, а потом нашёл местных фиксеров, которые показали его с двух разных сторон и провели на пару секретных уровней. Сразу скажу, гулять по Акибе без местного или без детального путеводителя — идея так себе.

Наверное, каждой команде знакома эта боль — неактуальная документация. Как бы команда ни старалась, в современных проектах мы релизимся так часто, что описывать все изменения практически нереально. Наша команда тестирования совместно с системными аналитиками решили попробовать оживить нашу проектную документацию.

На web-проектах Альфа-Банка используется фреймворк для автоматизации тестирования Akita, который использует для BDD-сценарии. К настоящему моменту фреймворк набрал большую популярность благодаря низкому порогу входа, удобству использования и возможности тестировать верстку. Но мы решили пойти дальше — на основе описанных тестовых сценариев формировать документацию, тем самым сильно сокращая время которое аналитики тратят на на извечную проблему актуализации документации.

По сути, вместе с Akita уже использовался плагин по генерации документации, который проходил по шагам в сценариях и выгружал их в формат html, но для того, чтобы сделать этот документ востребованным, нам нужно было добавить:

• скриншоты;
• значения переменных (config File, учетные записи пользователей и т.д.);
• статусы и параметры запросов.

Мы посмотрели на наш существующий плагин, который был, по сути, статическим анализатором и формировал документацию на основе описанных в .feature-файлах сценариев. Решили добавить динамики, и для того, чтобы не городить плагин над плагином, приняли решение написать свой собственный.

Привет, Хабр.

Этим расслабленным воскресным вечером мне бы хотелось поговорить на две темы, отчасти взаимосвязанные — о том, что такое и как вообще выглядит инженерный подход в разработке электроники, а также как и зачем писать на Хабр статьи про эту электронику так, чтобы они были приятны и понятны всем.

Навела меня на эту мысль фраза в сегодняшней статье — «Под катом многабукав, но будет инженерненько»; к сожалению, не только под катом не было инженерненько, но и вообще в очень большом проценте статей по теме «как я сделал девайс», публикуемых в последнее время на Хабре, нет ничего инженерного.

Почему?

Потому, что у любого инженера — как и у программиста, врача, юриста и вообще любого профессионала — есть базовая методология работы, без соблюдения которой деятельность из профессиональной превращается в бессистемные метания. Точнее, даже не методология — к методологии мы можем отнести аджайл, ТРИЗ и вот это вот всё, оно у каждого своё — а грубая стратегия, которую можно записать в несколько шагов.

Итак, что же это применительно к электронике?

Привет! Мы тут сейчас делаем игру про викингов, и пока я узнавал про них, вскрылась пара неочевидных деталей. Но пока важное:

• Они дошли до Африки с набегами и поздними поселениями.
• Есть норманская теория основания Руси — мол, это наши предки. Она спорная, куда больше свидетельств о постоянном сотрудничестве народов (читай: почти все варяги = викинги, а Тор и Перун на самом деле почти тот же мужик).
• Эти парни делали самые крутые корабли и самую крутую навигацию седьмого-десятого веков, и уже знали явление поляризации света (вернее, не знали, но использовали).
• Они же ввели прямую демократию, которая потом стала альтингом (и до сих пор работает в Исландии).
• Очень много вещей в быту совпадает или похоже на то, что делали наши славянские предки.

То есть, можно ещё раз упростить, сказав, что викинги были тяжеловооружёнными технологичными пиратами. Такой пиратский спецназ. И они запустили кучу исторических процессов. И ещё у них огромный культурный слой саг, который вам до сих пор аукается в кинотеатрах.

Отправной точкой поисков было другое: парень из Новой Зеландии, упоровшийся по викингам, сделал крутую игру. Так вот, правильно ли он смог передать сеттинг?

Меня зовут Артём Несмиянов, я фулстек-разработчик в Яндекс.Практикуме, занимаюсь в основном фронтендом. Мы верим в то, что учиться программированию, дата-аналитике и другим цифровым ремёслам можно и нужно с удовольствием. И начинать учиться, и продолжать. Любой не махнувший на себя рукой разработчик — всегда «продолжающий». Мы тоже. Поэтому рабочие задачи воспринимаем в том числе как формат учёбы. И одна из недавних помогла мне и ребятам лучше понять, в какую сторону развивать наш фронтенд-стек.

Кем и из чего сделан Практикум

Команда разработки у нас предельно компактная. На бэкенде вообще всего два человека, на фронтенде — четыре, считая меня, фулстека. Периодически к нам в усиление присоединяются ребята из Яндекс.Учебника. Работаем мы по Scrum с двухнедельными спринтами.

17 мая в московском «Инфопространстве» прошла первая профессиональная конференция для PHP-разработчиков PHP Russia 2019. После долгой паузы они получили полностью заточенную под них площадку; в анонсе мы сравнили её со стадионом, какого у пиэйчпишников, одной из команд «высшего IT-дивизиона», не было. И первый свой сезон «стадион» встретил как минимум достойно, с тем отличием от футбольного прообраза, что тут сложно провести строгое разделение между игроками и фанатами.

Хотите научиться добавлять в свою 3D-игру текстуры, освещение, тени, карты нормалей, светящиеся объекты, ambient occlusion и другие эффекты? Отлично! В этой статье представлен набор техник затенения, способных поднять уровень графики вашей игры на новые высоты. Я объясняю каждую технику таким образом, чтобы вы могли применить/портировать эту информацию в любом стеке инструментов, будь то Godot, Unity или что-то иное.

В качестве «клея» между шейдерами я решил использовать великолепный игровой движок Panda3D и OpenGL Shading Language (GLSL). Если вы пользуетесь таким же стеком, то получите дополнительное преимущество — узнаете, как использовать техники затенения конкретно в Panda3D и OpenGL.

Вольный пересказ лекции Александра Ковальского с нашей прошедшей QIWI Кухни для дизайнеров

Жизнь классических дизайн-студий начинается примерно одинаково: несколько дизайнеров делают примерно одни и те же проекты, а значит и их специализация примерно одинакова. Тут все просто — один начинает учиться у другого, они обмениваются опытом и знаниями, совместно делают разные проекты и находятся в одном инфополе.



Сложности начинаются в тот момент, когда появляются новые бизнес-юниты, модель студии меняется на модель агентства или продуктовой команды. Растет число специалистов, а их скиллы перемешиваются настолько сильно, что уследить за ними становится практически невозможно. Мы столкнулись с этой проблемой, когда помимо традиционного веб-дизайна у нас появились команды сервисного дизайна и брендинга, началось формирование зарубежной UX-команды. Встал вопрос, как оцифровать их знания, привести к единой системе и сделать для каждого индивидуальный план прокачки навыков.

Всем привет! Решил вот посмотреть на SDL 2, но на русском ничего толкового не нашел. Решил написать свое, питаясь вдохновением отсюда.

Установку SDL 2 я пропущу, а начну сразу с написания программ, итак:

Ваше первое окно

Привет! Меня зовут Наташа, я UX-исследователь в компании, которая занимается проектированием, дизайном и исследованиями. Кроме участия в русскоязычных проектах (Рокетбанк, Точка и многое другое), мы пытаемся выходить и на зарубежный рынок.

В этой статье я расскажу, на что стоит обратить внимание, если у вас есть желание вывести свой проект за пределы СНГ или сделать что-то сразу с упором именно на англоязычных пользователей, а от чего лучше воздержаться как от факторов, из-за которых вы просто потратите время и деньги.



Об исследованиях зарубежной аудитории и полезных инструментах, о подходах к интервью и выбору респондентов, об этапах этого пути, о нашем личном опыте — под катом.

Накануне нашей конференции по мобильной разработке Mobius мы делимся с Хабром ссылкой на бесплатную YouTube-трансляцию (под катом) и рассказываем, какие именно доклады в неё попадут (спойлер: они в основном «андроидные»).

А ещё рассказываем обо всём остальном на конференции, что в открытую трансляцию не попадёт. Что можно получить, только придя туда лично?

При выполнении запросов в ClickHouse можно обратить внимание, что в профайлере на одном из первых мест часто видна функция LZ_decompress_fast. Почему так происходит? Этот вопрос стал поводом для целого исследования по выбору лучшего алгоритма разжатия. Здесь я публикую исследование целиком, а короткую версию можно узнать из моего доклада на HighLoad++ Siberia.

Данные в ClickHouse хранятся в сжатом виде. А во время выполнения запросов ClickHouse старается почти ничего не делать — использовать минимум ресурсов CPU. Бывает, что все вычисления, на которые могло тратиться время, уже хорошо оптимизированы, да и запрос хорошо написан пользователем. Тогда остаётся выполнить разжатие.



Вопрос — почему разжатие LZ4 может быть узким местом? Казалось бы, LZ4 — очень лёгкий алгоритм: скорость разжатия, в зависимости от данных, обычно составляет от 1 до 3 ГБ/с на одно процессорное ядро. Это уже существенно больше скорости работы дисковой подсистемы. Более того, мы используем все доступные ядра, а разжатие линейно масштабируется по всем физическим ядрам.

Всех приветствую.

По следам предыдущих статей по логическим анализаторам на Хабре решил таки закончить свой "фундаментальный" труд.

«Четвёрку» крупнейших мобильных операторов в США могут обязать выплатить абонентам компенсацию за продажу их геолокационных данных сторонним организациям.

Судебные разбирательства уже начались.