Как стать автором
Обновить
11
0
Никита Назаров @shaddyk

Технический директор HFLabs

Отправить сообщение

Как перейти на многонодовую архитектуру без боли. Или почти без боли

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров3.2K

Есть у нас флагманский продукт под названием «Единый клиент», с которым работают десятки энтерпрайз-клиентов, оперирующих в нем сотнями миллионов записей. Продукт массивный, обвешанный аналитикой и различными сложными сервисами. В какой-то момент большая часть клиентов захотела получить общий uptime в 99,9%, чего сложно достичь без резервирования решения. И мы начали погружаться в эту тему практически с нуля.

В этом материале хочу поделиться нашим опытом перехода с одной ноды на 10+, расскажу о технических нюансах и решениях, которые мы использовали, а также про всякие боли в процессе перехода.

Читать далее
Всего голосов 13: ↑12 и ↓1+16
Комментарии0

«Тесла» на минималках, или За какими изобретениями из прошлого охотились шпионы

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров1.2K

В начале XX века в Москве только зарождалось электрическое общественное транспортное сообщение. Но по городу уже бегали омнибусы с электродвигателями — своего рода предшественники нынешней «Теслы». Позже их изобретатель Ипполит Романов уехал в Европу, где тоже строил свои электрокары — сначала в Австрии, а потом в Британии. 

О технических изобретениях первой половины прошлого века московским айтишникам рассказала Инна Крылова — историк, культуролог, куратор проекта «МосПромАрт», старший научный сотрудник Музея Москвы, член Экспертного совета по промышленному наследию. Лекция прошла в рамках закрытого проекта HFLabs Club, на который мы приглашаем в качестве лекторов ученых и популяризаторов науки, а в качестве гостей — постоянных клиентов HFLabs. В этот раз мероприятие было организовано совместно с экскурсионным бюро «Москва, которой нет».

Именно эту лекцию провели не в офисе, а в пабе. В паузах были ещё и дегустации пива, щедро сдобренные историями о разных его сортах. А все потому, что наша лектор оказалась не только историком, но и сомелье с 15-летним стажем, членом Российской ассоциации сомелье! 

Всё, о чём рассказывала Инна Крылова, пересказывать не будем — просто приходите сами на её лекции. Сегодня с разрешения Инны публикуем часть доклада — о том, над чем работали московские изобретатели транспортных средств и что у них в итоге получилось.

Читать далее
Всего голосов 7: ↑5 и ↓2+3
Комментарии12

Как перестать бояться и собрать все маркетинговые каналы коммуникации в одной платформе

Время на прочтение14 мин
Количество просмотров1.8K

Привет, Хабр! Эксперт комьюнити #Сарафан компании GlowByte Александр Долгих расскажет историю из личного опыта о том, как решалась задача интеграции целевого маркетинга и множества самых разных каналов в одном из ведущих банков России (спойлер: о создании собственной централизованной платформы). Все персонажи вымышлены и совпадения случайны (улыбка). 

Читать статью
Всего голосов 16: ↑15 и ↓1+17
Комментарии0

Разыскиваются единороги, или Как я съездил в Astana Hub

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров4K

Привет, Хабр! Меня зовут Тимур, и прямо сейчас я живу в Казахстане. После того, как пробыл тут несколько месяцев, обнаружил, что ИТ-сообщество в стране на подъёме, и есть довольно интересное место — Astana Hub. А когда я загуглил, как оно всё выглядит, забыть уже не смог. 

В Сколково был, в Иннополисе был — пора расширять географию, подумал я. Тем более, что уже давно хотелось познакомиться с местными специалистами, получить нетворкинг и оценить потенциал для сотрудничества. 

Думаю, что многие задумывались если не о релокации целых команд, то хотя бы о личном переезде в соседнюю страну. Этот текст поможет понять, что может предложить Казахстан и Astana Hub и что тут есть интересного. 

Читать далее
Всего голосов 18: ↑13 и ↓5+12
Комментарии3

Как небольшой IT-компании запустить обучающий курс: рассказываем о своём опыте

Время на прочтение7 мин
Количество просмотров1.9K

Один из мифов по поводу MDM-систем — «ну что там делать-то, данные взяли, записи объединили, вот тебе и готово. А вы, мол, за работу миллионы хотите. Мы сами всё за полгода сделаем». 

Чтобы объяснить, как всё обстоит на самом деле, мы в HFLabs придумали образовательный курс по клиентским данным в энтерпрайзе. Сегодня расскажу о том, как мы создавали курс, где ошибались и что меняли в процессе. Надеюсь, будет полезно небольшим компаниям, которые, несмотря ни на что, всё ещё задумываются о развитии собственных образовательных проектов.  

Читать далее
Всего голосов 13: ↑11 и ↓2+12
Комментарии2

Совместные конфиденциальные вычисления на пальцах

Время на прочтение5 мин
Количество просмотров4.2K

В этой небольшой заметке я хочу затронуть тему совместных конфиденциальных вычислений и попробовать кратко изложить суть этих подходов и развеять несколько неоднозначностей, сложившихся в трактовке этого термина в современном информационном поле. Надеюсь получиться ?

Начну немного издалека, я в целом интересуюсь темой распределенной обработки данных с сохранением конфиденциальности, в частности активно смотрю на развитие такого направления, как Federated Learning. Часто попадаются статьи и материалы на эту тему, в которых наблюдаю некоторую терминологическую путаницу, тк термины Federated Learning и Confidential Computing часто используют как синонимы, но это не совсем так. Может быть я не совсем прав, но набор методов, для "обучения" (learning) и для "вычислений" вообще-то отличаются и не являются подмножеством друг друга. Поэтому в первую очередь хочу высказаться про мое понимание их фундаментальной разницы:

Читать далее
Всего голосов 9: ↑9 и ↓0+9
Комментарии5

Совместные конфиденциальные вычисления: как работает технология, которая через 5 лет может изменить мир

Время на прочтение5 мин
Количество просмотров6.1K


Привет, Хабр! Это моя первая статья здесь, и для начала я хотел бы познакомиться.

Я возглавляю Data Science подразделение компании Platforma. Моя команда занимается разработкой моделей машинного обучения и глубокой аналитикой. Мы создаем продукты на основе продвинутых методов машинного обучения и искусственного интеллекта, являющиеся внутренним «движком» цифровых сервисов. На выходе в Platforma мы создаем инструменты для бизнеса на основе больших данных: от сервисов персонализации и геопространственного анализа до дистанционной оценки имущества. Но сегодня поговорим о задаче, которую бизнесу еще только предстоит решить.


В цифровом мире не получится конкурировать с крупными компаниями, опираясь только на собственные данные. Даже если вы Сбер или Яндекс. Это приведет и потере доли рынка. Чтобы видеть максимально полную картину, нужно комбинировать разные источники, в том числе и базы данных партнеров. Но прямо обменяться данными не получится — российские и международные законы жестко регулируют этот процесс. Раскрытие данных пользователей, все дела. Именно здесь на сцену выходят алгоритмы конфиденциальных вычислений и MPC — технология, которая позволяет делать сводную аналитику легально, без риска раскрытия и «слива» данных.
Читать дальше →
Всего голосов 11: ↑10 и ↓1+15
Комментарии12

Глубокое обучение. Федеративное обучение

Время на прочтение6 мин
Количество просмотров9.8K
imageПривет, Хаброжители! Мы недавно сдали в типографию книгу Эндрю Траска (Andrew W. Trask), закладывающую фундамент для дальнейшего овладения технологией глубокого обучения. Она начинается с описания основ нейронных сетей и затем подробно рассматривает дополнительные уровни и архитектуры.

Предлагаем на обзорно ознакомится с отрывком «Федеративное обучение»

Идея федеративного обучения зародилась из того, что многие данные, содержащие полезную информацию для решения задач (например, для диагностики онкологических заболеваний с использованием МРТ), трудно получить в количествах, достаточных для обучения мощной модели глубокого обучения. Кроме полезной информации, необходимой для обучения модели, наборы данных содержат также другие сведения, не имеющие отношения к решаемой задаче, но их раскрытие кому-либо потенциально может нанести вред.

Федеративное обучение — это методика заключения модели в защищенную среду и ее обучение без перемещения данных куда-либо. Рассмотрим пример.
Читать дальше →
Всего голосов 7: ↑6 и ↓1+5
Комментарии13

ФИАС и семь смертных граблей разработчика

Время на прочтение4 мин
Количество просмотров75K
Чтобы нормально работать с почтовыми адресами, сайты подключают справочник адресов налоговой службы (ФИАС). На dadata.ru это сделали уже пять тысяч интернет-магазинов, CRM и стартапов.

А мы поглядели на проблемы клиентов, подумали и собрали увесистый комплект граблей, по которым любят ходить разработчики в обнимку с ФИАСом.



Грабли во всей их красе
Всего голосов 25: ↑21 и ↓4+17
Комментарии15

[видео] Как поставить человека на место: 10 реальных вопросов про давление в переговорах

Время на прочтение2 мин
Количество просмотров229K
Видео про 8 способов противостояния формуле нужды оказалось неожиданно популярным, набрав 8,000 просмотров за два дня. Мы решили продолжить тему.

Несколько дней назад мы провели опрос среди наших читателей на тему того, какие вопросы в плане переговоров их волнуют. Получили несколько сотен ответов, привычно утонув в их анализе. Но когда вынырнули, то обнаружили, что многих людей волнует именно тема противостояния давлению в переговорах.

Мы отобрали 10 самых любопытных, на наш взгляд, вопросов в этой теме и снова заперли в студии Дмитрия Коткина, руководителя Санкт-Петербургской школы переговорщиков ШиП и нашего хорошего друга, чтобы он рассказал, что конкретно делать:



10 реальных ситуаций, которые удалось осветить — под катом:

Читать дальше →
Всего голосов 157: ↑138 и ↓19+119
Комментарии62

Сравнение сервисов для автодополнения адресов в форме

Время на прочтение3 мин
Количество просмотров93K
Автодополнение адреса


На Хабре не раз поднимался вопрос автодополнения адресов в форме (раз, два, три).

Но вот и перед мной появилась задача реализовать такое автодополнение для небольшого интернет магазина. Критерии были такие:
  • Автодополнение адресов только Москвы
  • Автодополнение адреса одной строкой
  • Решение должно быть бесплатно (лимит запросов не менее 1000 в сутки)
  • Возможность подключить без дополнительных JS библиотек. (Я использую AngularJS Bootstrap-UI, в котором есть директива Typeahead, реализующая автодополнение формы)
  • Стопроцентный uptime не обязателен


Но какой источник данных выбрать? Я выбрал целых четыре, и решил их сравнить: в одном углу ринга заморские Google Geocode и Google Autococomplete, а в другом отечественные КЛАДР в облаке и DaData подсказки.

DISCLAIMER: Автор никак не причастен к разработчикам ни одного из представленных сервисов.
Интересно? Тогда прошу под кат
Всего голосов 56: ↑53 и ↓3+50
Комментарии56

Делаем адресные формы более привлекательными

Время на прочтение6 мин
Количество просмотров50K


Одно из основных направлений работы нашей компании — очистка и стандартизация клиентских данных. Наш софт может привести в порядок любую базу данных с информацией о клиентах: исправить ошибки и опечатки, восполнить недостающую информацию, обогатить данные дополнительными сведениями, устранить дубликаты.

К сожалению, однократной очистки часто бывает недостаточно: нужно не допустить попадания плохих и неполных данных в базу в будущем. Именно для решения этой задачи был разработан сервис подсказок, о котором мы писали ранее. Изначально подсказки предназначались для операторов, которым приходится вводить большое количество адресов, и были призваны ускорить их работу и сократить количество ошибок.

Однако, позже мы поняли, что сервис может быть полезен всем, кто так или иначе работает с клиентскими данными. Ниже я постараюсь показать, что могут подсказки, и как с их помощью сделать ввод адресов на вашем сайте удобным и очень простым процессом.

Итак, приступим!
Всего голосов 73: ↑61 и ↓12+49
Комментарии108

Как мы тестируем рекламные технологии Яндекса, и как этому научиться

Время на прочтение5 мин
Количество просмотров28K
Меня зовут Константин Власов, и я руковожу в Яндексе службой управления качеством баннерной системы. Как вы можете догадываться, тестирование быстроменяющейся системы таких масштабов, как наши рекламные технологии, со всеми базами данных, репликацией компонент, протоколами взаимодействия между подсистемами, а также при довольно частых релизах, — непростое дело. При этом тестировать все нужно очень тщательно, ведь любая ошибка потенциально может принести серьезный ущерб бизнесу компании. И речь тут идет не только о репутационных издержках, но и о потере реальных денег.

image

Сегодня я хочу рассказать об этом чуть подробнее, а тех, кому станет интересно, позову научиться тестировать такие комплексные системы и попробовать все это на практике.

Начнем, конечно же, с рассказа о том, что мы тестируем. В Яндексе есть два рекламных направления: контекстная и медийная реклама.
Читать дальше →
Всего голосов 64: ↑50 и ↓14+36
Комментарии27

Подсказки: API для ввода почтовых адресов и ФИО одной строкой

Время на прочтение2 мин
Количество просмотров28K
Если вам когда-нибудь приходилось разрабатывать форму регистрации или оформления заказа, то вы знаете, что для получения из формы качественных данных нужно прикрутить множество проверок для ФИО, почтовых адресов, e-mail, телефонов. При этом так уж исторически сложилось, что разработчики пишут код валидации информации каждый раз заново. Ну а потом эти проверки приходится еще и поддерживать, а на поддержку, как известно, приходится 80% усилий.

Кроме того, чем сложнее форма для ввода, и чем больше в ней валидируется информации, тем больше вероятность, что она будет глючить, и как результат — будет неудобна для пользователя.

Так не должно быть.

Читать дальше →
Всего голосов 42: ↑40 и ↓2+38
Комментарии62

Online redo logs или Событие контрольной точки в Oracle

Время на прочтение7 мин
Количество просмотров57K
Довольно часто случается такая неприятность, что в alert.log базы одно за другим сыпятся сообщения типа «Checkpoint not complete». Стандартный совет в этом случае: «увеличьте количество и/или размер redo логов». А дальше вопрос, кто такие эти redo логи и с чем их едят.
Читать дальше →
Всего голосов 7: ↑6 и ↓1+5
Комментарии2

Экранирование (или что нужно знать для работы с текстом в тексте)

Время на прочтение10 мин
Количество просмотров228K
SQL инъекции, подделка межсайтовых запросов, поврежденный XML… Страшные, страшные вещи, от которых мы все бы хотели защититься, да вот только знать бы почему это все происходит. Эта статья объясняет фундаментальное понятие, стоящее за всем этим: строки и обработка строк внутри строк.
Читать дальше →
Всего голосов 76: ↑51 и ↓25+26
Комментарии115

Делаем сами Single-Side Arduino c COM-портом на борту

Время на прочтение3 мин
Количество просмотров63K
Занимаясь электроникой и микроконтроллерами, я прекрасно осознаю, что было бы неплохо иметь под рукой готовую отладочную плату. С ее помощью можно быстро проверить какой-нибудь сервопривод, датчик и т.д., а то и собрать на ней целиком весь проект. Именно поэтому решил самостоятельно изготовить Arduino.

Создатели знаменитой платформы позаботились о любителях DIY и подготовили для этого специальную одностороннюю версию платы. Также в интернете есть весьма подробные инструкции о том, как изготовить ее в домашних условиях. К сожалению, у этой платы есть несколько недостатков, а именно: подключение только через COM-порт и питание исключительно от адаптера. Я решил устранить и получил в итоге вот такую, симпатичную плату:

image

Конечно, идея не новая, и на просторах интернета не раз звучала идея прикручивания виртуального COM-порта к Single-Side Board, но готового проекта я нигде не встречал.

Всех, кто когда-нибудь мечтал сделать для себя Arduino самостоятельно, прошу под кат.
Читать дальше →
Всего голосов 38: ↑31 и ↓7+24
Комментарии23

Практическое использование термистора с Arduino

Время на прочтение2 мин
Количество просмотров99K
image

Здравствуй, Хабрасообщество. После прочтения нескольких статей на хабе Arduino я загорелся заполучить эту игрушку. И вот недавно получил посылку с платой. Затем побаловался со светодиодами и захотел чего-нибудь посерьёзнее. Решил сделать простейший термометр, используя всего термистор, резистор на 10 кОм и LCD дисплей. Кому интересно что получилось — прошу под кат.
Читать дальше →
Всего голосов 27: ↑22 и ↓5+17
Комментарии26

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Работает в
Дата рождения
Зарегистрирован
Активность