Apache Kafka — распределённый программный брокер сообщений, применяемый в обработке в реальном времени данных большого объёма. К отличительным особенностям Apache Kafka можно отнести: надёжность, масштабируемость и высокую производительность. В докладе разберём основные архитектурные особенности и сценарии использования Apache Kafka. Рассмотрим неочевидные моменты и грабли, которые мы собрали на пути Востока.
студент ЭТФ, сети связи и системы коммутации
Почему B-деревья быстрые?
B-дерево — это структура, помогающая выполнять поиск в больших объёмах данных. Она была изобретена более сорока лет назад, однако по-прежнему используется в большинстве современных баз данных. Хотя существуют и более новые структуры индексов, например, LSM-деревья, B-дерево пока никто не победил в обработке большинства запросов баз данных.
После прочтения этого поста вы будете знать, как B-дерево упорядочивает данные и выполняет поисковые запросы.
Многопоточность в Java
Наиболее очевидная область применения многопоточности – это программирование интерфейсов. Многопоточность незаменима тогда, когда необходимо, чтобы графический интерфейс продолжал отзываться на действия пользователя во время выполнения некоторой обработки информации. Например, поток, отвечающий за интерфейс, может ждать завершения другого потока, загружающего файл из интернета, и в это время выводить некоторую анимацию или обновлять прогресс-бар. Кроме того он может остановить поток загружающий файл, если была нажата кнопка «отмена».
Еще одна популярная и, пожалуй, одна из самых хардкорных областей применения многопоточности – игры. В играх различные потоки могут отвечать за работу с сетью, анимацию, расчет физики и т.п.
Давайте начнем. Сначала о процессах.
Как используется странная инструкция popcount в современных процессорах
В большинстве используемых сегодня процессорных архитектур есть инструкция под названием
popcount
, сокращённо от 'population count'. Она делает следующее: подсчитывает количество установленных битов в машинном слове. Например (возьмём 8-битные слова для простоты), popcount(00100110)
равно 3, а popcount(01100000)
равно 2.Вас это может сильно удивить, как и меня, но это всё, что она делает! Кажется не очень полезным, правда?
Когда 'a' не равно 'а'. По следам одного взлома
Надо сказать, что приятель мой вполне себе UNIX-пользователь: может сам поставить систему, установить mysql, php и сделать простейшие настройки nginx.
И есть у него десяток-полтора сайтов посвященных строительным инструментам.
Один из таких сайтов, посвященный бензопилам, плотненько сидит в ТОПe поисковиков. Сайт этот — некоммерческий обзорник, но кому-то поперек горла и повадились его атаковать. То DDoS, то брутфорс, то комменты напишут непотребные и шлют абузы на хостинг и в РКН.
Неожиданно всё стихло и это затишье оказалось не к добру, а сайт начал постепенно покидать верхние строчки выдачи.
То была присказка, дальше сама админская байка.
Время близилось ко сну когда раздался звонок телефона: «Сань, ты не глянешь мой сервер? Мне кажется меня хакнули, доказать не могу, но ощущение не покидает уже третью неделю. Может мне просто пора лечиться от паранойи?»
5 ошибок начинающего лида
У каждого тимлида есть своё кладбище сотрудников управленческих ошибок. Каждый день публикуются новые статьи «5 ошибок начинающего разработчика», «7 примеров того, как не надо управлять процессами», «100 и 1 способ укладываться в сроки». И это круто!
Чужие грабли экономят ваше время, делают вас смелыми, похлопывают по плечу и наглядно дают понять, что не один вы такой «я сделяль», и все это проходили.
Ezblock Pi — программирование без программирования, в этот раз для фанатов Raspberry Pi
Краудфандинговый проект: Ezblock Pi.
Суть проекта: среда графического программирования для Raspberry Pi в тандеме с платой расширения.
Платформа: Kickstarter.
Адрес проекта: kickstarter.com/ezblock.
Авторы: Джорджанн Чанг, Рэгги Лау.
Локация: США, штат Делавэр, Уилмингтон.
Поймай меня, если сможешь. Версия директора
В действительности, «поймай меня, если сможешь» — это такая игра. Я вижу эту игру каждый день, и даже участвую в ней. И чувствую себя примерно так же, как герой фильма Спилберга – тот, которого Том Хэнкс играет. Я чувствую себя идиотом. Беспомощным идиотом, которого обманывают, глядя в глаза, каждый день. У меня есть власть, но все, что я могу с ее помощью сделать – уволить. Хотя, и это не помогает – приходит новый сотрудник, и игра начинается снова.
Слышали, наверное, такое красивое высказывание: если вы пригласили на работу квалифицированного специалиста, то надо делать то, что он говорит, а не говорить ему, что делать. А вы пробовали делать то, что говорят эти квалифицированные специалисты? Я пробовал. И скажу прямо: это полная чушь.
Как повысить продуктивность команды в несколько раз
Большинство людей видит продуктивность, исходя из парадигмы: чем больше ты производишь, чем больше делаешь, тем выше твоя продуктивность. Но истинная продуктивность есть функция двух элементов: полученного результата и затраченных ресурсов. Поддерживать баланс между результатом и ресурсами часто бывает довольно непросто. Однако в этом балансе и заключается вся суть. Он приводит к сбалансированности краткосрочного и долгосрочного.
Любой руководитель, будь то руководитель группы разработки или руководитель отдела, должен заботиться о повышении продуктивности работы своей команды. Но как это сделать разумно? Можно ли повысить продуктивность работы команды, например, в 10 раз?
Сегодня я попробую рассказать мою точку зрения на этот вопрос. Если вам интересно, добро пожаловать под кат!
Окей, Google: как пройти капчу?
В данной статье я хочу рассказать о своем опыте автоматизированного решения капчи компании «Google» — «reCAPTCHA». Хотелось бы заранее предупредить читателя о том, что на момент написания статьи прототип работает не так эффективно, как может показаться из заголовка, однако, результат демонстрирует, что реализуемый подход способен решать поставленную задачу.
Криптовалюта: живет или умирает?
Часть 1. Пузыри как пугало для новичков
«Криптомания» 2017 года была колоссальной. Хотя криптовалюты существуют с 2009 года, многие узнали о них именно в 2017 — на фоне ошеломительного роста курсов и явного ощущения революции. Многим новичкам казалось, что курсы будут расти вечно. Они были готовы покупать цифровые валюты по любой цене, считая любые спады локальными, а рост — глобальным.
Но конец года приподнёс неприятный сюрприз: рынок вдруг начал рушиться. В первом квартале многие надеялись, что это лишь «коррекция», но обвал продолжался. Если в начале 2018 года биткоин (BTC) стоил рекордные $20 000, то к сентябрю он подешевел до $6300, то есть втрое. А «героический» эфир (ETH), который летом 2017 чуть не обогнал по капитализации BTC, подешевел вовсе впятеро: с $1300 до $250.
Как правильно оптимизировать разделы каталога в интернет-магазине: пошаговая инструкция
В этой статье мы решили поделиться своим видением об идеальной оптимизации категорий интернет-магазина: разберем каждый пункт, а в конце статьи вас ждет шаблон-шпаргалка.
Как заменить лампочку на рабочем месте так, чтобы тебя не уволили?
Уже три года я живу и работаю в Германии. В декабре прошлого года в нашем кабинете перегорела одна из ламп дневного света. Но не просто перестала светить, а как это часто бывает у люминесцентных ламп со стартером, стала постоянно гаснуть и включаться снова с характерным щелчком. Мои коллеги сразу же позвонили секретарю, та вызвала электрика. Через три дня секретарь сказала, что лампу поменяют нескоро, так как их нет на складе и нужно заказывать. Меня эта ситуация категорически не устраивала. Это моргание раздражало очень сильно.
У нас на этаже есть кладовая, где стоят точно такие же лампы. Только в эту кладовку люди ходят раз в неделю. Самое простое решение – заменить лампу в кабинете на лампу из кладовки. А когда придут новые, сделать нормально.
Вообще эту лампу поменять очень легко. У меня были такие лампы и дома, и на работе. Я, будучи админом, проворачивал этот фокус с подменой ламп много раз.
Я взял барный стул и попросил коллегу-немца подвинуться – лампа висела прямо над его рабочим местом. Нильс спросил, что я задумал, и я поделился с ним своей идеей. Он радостно воскликнул: «Классно, мы будем тебе очень благодарны, а то она уже всем надоела!», а потом шепотом добавил: «… но я бы не советовал тебе этого делать!»
Как сделать костыль для Тинькофф Инвестиций своими руками или уведомления об action required for take profit / stop loss
update: 22.03.2019, Брокер выкатил мажорную версию 3.0.0 в Google Play, в которой take profit/stop loss все-таки появились.
6 полезных ресурсов и сервисов для потенциальных эмигрантов в США, Германию и Канаду
С недавних пор я активно заинтересовался темой переезда за границу, и в связи с этим изучил существующие сейчас сервисы, которые оказывают помощь в переезде ИТ-специалистам. К моему удивлению, далеко не так много проектов помогают потенциальным иммигрантам. Пока что я отобрал шесть сайтов, которые показались мне интересными.
Как сделать мобильную игру командой из 2 человек с нулевым бюджетом и получить фичеринг в Google Play
Мы с мужем давно хотели делать игры вместе, но времени на это никогда не хватало. Мы оба работали: он — UI-программистом в геймдеве, я — продакт-менеджером в social media, затем в финтехе, и сил на собственную игру не оставалось.
Год назад мы переехали в Канаду и решили, что это хороший шанс попробовать себя в качестве инди-разработчиков. Муж, правда, быстро нашёл работу в AAA игре, но мне это не удалось, и времени вдруг появилось очень много.
Как мы придумывали
Хотя у нас было множество идей (и даже прототипов) интересных и сложных игр, мы решили начать с чего-то очень простого, чтобы потратить как можно меньше времени на разработку и как можно быстрее получить бесценный опыт релиза и продвижения инди-игры. Поэтому после некоторых раздумий мы остановились на мобильном пазле с честной физикой.
Мы сами довольно много играем и всегда отмечаем то, что нам нравится, и что — не очень. Основной момент, который нас раздражает в современных мобильных казуалках — это однообразие их механик, обилие попапов с предложениями что-нибудь купить и длинными описаниями, а также перенасыщенный UI с кучей каких-то плашек, бабблов и объёмных шрифтов. Поэтому в нашей игре мы постарались сделать всё наоборот.
Как давать обратную связь: 9 правил
Подробную обратную связь стоит давать сотруднику минимум раз в полгода. К ней стоит подходить ответственно – чтобы не отбить желание работать, а помочь решить проблемы, а то и стимулировать на новые свершения. Разобрались, какие правила стоит соблюдать, когда даете фидбек.
Мобильная разработка: от идеи до оценки стоимости
Мобильных разработчиков часто спрашивают, сколько будет стоить реализовать ту или иную идею. Например, сделать аналог «Убер» или «Авито». При такой постановке вопроса трудно оценить предстоящие трудозатраты, что создает большой разброс цен у разных разработчиков и недоверие со стороны заказчика.
Ещё одной проблемой является недостаточная проработка идеи. Зачастую заказчик видит общую концепцию приложения, но слабо представляет детали. Это приводит к лишним затратам на обсуждение и переписывание требований.
Эта статья адресована в первую очередь тем, кто задумался о заказе собственного приложения. В ней я отвечу на распространенные вопросы и дам несколько советов, которые помогут вам проработать идею и не потратить лишнего.
Вы узнаете:
- сколько стоит создать приложение по вашей идее;
- из каких этапов состоит разработка;
- как составить бриф и получить оценку без ТЗ;
- нужно ли рисовать прототипы и как это лучше сделать;
- стоит ли пользоваться конструкторами приложений;
- нужно ли создавать под проект нативное приложение, или можно обойтись кроссплатформенным;
- как спланировать сроки релиза, чтобы выпустить приложение вовремя.
Сегодня пройдет первый матч между OpenAI и профессионалами Dota 2 (люди победили). Разбираемся, как работает бот
[UPD 2] Команда Pain Gaming победила OpenAI Five. Матч длился 53 минуты и закончился со счетом 45-41 по фрагам в пользу ботов. Запись игры можно посмотреть на Twitch тут. Начало на 7:38:00
Сегодня вечером, 22 августа, перед началом очередного дня плей-офф The International, в рамках шоу-активностей пройдет первый показательный матч между профессиональными игроками и ботом OpenAI Five. Информация о матчах появилась на официальном сайте Dota 2 в разделе с расписанием игр плей-офф The International. Всего OpenAI сыграет три матча за три дня с про-игроками.
Знаменательно это событие тем, что год назад бот уже «расправился» Даниилом Ишутиным в противостоянии 1x1 solo mid mirror SF, а несколько недель назад одолел «сборную солянку» из комментаторов и бывших про-игроков.
На этот раз разработке компании, которая спонсируется Илоном Маском и другими видными бизнесменами из IT-сектора предстоит встретиться с более серьезным противником: The International ежегодно собирает лучшие команды мира, так что ботам будет непросто. Пока команда разработчиков не сообщала, будут ли действовать все старые ограничения по пикам и механикам, которые были актуальны в игре против людей в начале месяца, но о них стоит напомнить.
- пул из 18 героев в режиме Random Draft (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor);
- без Divine Rapier, Bottle;
- без подконтрольных существ и иллюзий;
- матч с пятью курьерами (ими нельзя скаутить и танковать);
- без использования скана.
В комментариях к нашей прошлой публикации на эту тему разгорелось множество споров о методах обучения нейросетей. На этот раз мы принесли немного наглядных материалов о том, как работает бот OpenAI и как это выглядит с точки зрения людей.
Как сдать тест MTCNA (Mikrotik) на 100%
Я вчера (14-04-2018) сдал тест на MTCNA на 100% и поделюсь с Вами как я достиг этого.
Информация
- В рейтинге
- Не участвует
- Откуда
- Пермь, Пермский край, Россия
- Дата рождения
- Зарегистрирован
- Активность