Как стать автором
Обновить
6
0
Dmitrii Barsukov @mrsombre

Tech Lead

Отправить сообщение

System Design 101

Уровень сложностиСредний
Время на прочтение42 мин
Количество просмотров108K



О сложных системах простыми словами.


В шпаргалке на высоком уровне рассматриваются такие вещи, как протоколы коммуникации, DevOps, CI/CD, архитектурные паттерны, базы данных, кэширование, микросервисы (и монолиты), платежные системы, Git, облачные сервисы etc. Особую ценность представляют диаграммы — рекомендую уделить им пристальное внимание. Полагаю, шпаргалка будет интересна всем, кто хоть как-то связан с разработкой программного обеспечения и, прежде всего, веб-приложений. Буду признателен за помощь в уточнении/исправлении понятий, терминологии, логики/алгоритмов работы систем (в рамках того, что по этому поводу содержится в оригинале), а также в обнаружении очепяток.


Выражаю благодарность Анне Неустроевой за помощь в редактировании материала.


Возможно, немного другой формат шпаргалки покажется вам более удобным.


System Design (сборник на английском языке).

Читать дальше →
Всего голосов 79: ↑79 и ↓0+79
Комментарии17

Google: «У нас нет преимущества перед открытым кодом, и у OpenAI тоже нет»

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров27K

Утекший внутренний документ Google утверждает, что открытый исходный код AI обойдет Google и OpenAI.

В Google много обсуждали OpenAI. Кто первым преодолеет следующий рубеж? Каким будет следующий шаг? Но неприятная правда заключается в том, что мы не готовы выиграть эту гонку вооружений, и OpenAI тоже. Пока мы ссорились, третья сторона тихо забирала наш обед. Я, конечно, говорю об открытом исходном коде. Проще говоря, они опережают нас. То, что мы считаем "основными открытыми проблемами", уже решено и находится в руках людей. Достаточно назвать лишь несколько примеров...

Читать далее
Всего голосов 41: ↑36 и ↓5+44
Комментарии38

Оптимизация строк в ClickHouse. Доклад Яндекса

Время на прочтение7 мин
Количество просмотров12K
Аналитическая СУБД ClickHouse обрабатывает множество разных строк, потребляя ресурсы. Для ускорения работы системы постоянно добавляются новые оптимизации. Разработчик ClickHouse Николай Кочетов рассказывает о строковом типе данных, в том числе о новом типе, LowCardinality, и объясняет, как можно ускорить работу со строками.


— Сначала давайте разберемся, как можно хранить строки.
Читать дальше →
Всего голосов 12: ↑10 и ↓2+14
Комментарии0

ClickHouse: как устроен MergeTree

Время на прочтение8 мин
Количество просмотров35K

Моя команда использует ClickHouse как хранилище для 100 млрд записей с трафиком по 300 млн в сутки и поиском по таблице. Я расскажу об устройстве движка таблиц MergeTree. Рассказ буду вести, показывая физические данные, а не абстрактные схемы.


image

Читать дальше →
Всего голосов 33: ↑33 и ↓0+33
Комментарии1

Эффективное использование ClickHouse. Алексей Миловидов (Яндекс)

Время на прочтение24 мин
Количество просмотров30K


Так как ClickHouse является специализированной системой, при его использовании важно учитывать особенности его архитектуры. В этом докладе Алексей расскажет о примерах типичных ошибок при использовании ClickHouse, которые могут привести к неэффективной работе. На примерах из практики будет показано, как выбор той или иной схемы обработки данных может изменить производительность на порядки.

Всего голосов 19: ↑17 и ↓2+21
Комментарии4

ClickHouse для продвинутых пользователей в вопросах и ответах

Время на прочтение44 мин
Количество просмотров35K

В апреле инженеры Авито собирались на онлайн-посиделки с главным разработчиком ClickHouse Алексеем Миловидовым и Кириллом Шваковым, Golang-разработчиком из компании Integros. Обсуждали, как мы используем систему управления базами данных и какие сложности у нас возникают.


По мотивам встречи мы собрали статью с ответами экспертов на наши и зрительские вопросы про бэкапы, решардинг данных, внешние словари, Golang-драйвер и обновление версий ClickHouse. Она может быть полезна разработчикам, которые уже активно работают с СУБД «Яндекса» и интересуются её настоящим и будущим. По умолчанию ответы Алексея Миловидова, если не написано иное.


Осторожно, под катом много текста. Надеемся, что содержание с вопросами поможет вам сориентироваться.


Читать дальше →
Всего голосов 25: ↑24 и ↓1+32
Комментарии3

Заблуждения Clean Architecture

Время на прочтение15 мин
Количество просмотров430K
Превращаем круги в блоки

­­ 


На первый взгляд, Clean Architecture – довольно простой набор рекомендаций к построению приложений. Но и я, и многие мои коллеги, сильные разработчики, осознали эту архитектуру не сразу. А в последнее время в чатах и интернете я вижу всё больше ошибочных представлений, связанных с ней. Этой статьёй я хочу помочь сообществу лучше понять Clean Architecture и избавиться от распространенных заблуждений.

Читать дальше →
Всего голосов 58: ↑56 и ↓2+54
Комментарии203

Как и зачем S7 создает собственную ракету

Время на прочтение8 мин
Количество просмотров24K

Несколько месяцев назад стало известно, что в группе компаний S7 уже два года работает «Центр разработок С7» или S7 R&D. Эта компания занимается разработкой легкой ракеты, а в перспективе и средней, для запусков с «Морского старта» или наземных площадок.

«Центр разработок С7» располагается на пути из Москвы в аэропорт Домодедово. Будущее предприятие занимает несколько цехов, где планируется производство ракет. Пока эти цеха полупустые, но сейчас идет активное освоение технологий, которые должны значительно упростить и удешевить производство ракет.

Читать далее
Всего голосов 80: ↑79 и ↓1+105
Комментарии46

SQLite — не игрушка

Время на прочтение7 мин
Количество просмотров83K

Рассказываю, почему SQLite отлично подойдет вам в повседневной работе. И неважно, разработчик вы, аналитик, тестировщик, админ или продакт-менеджер.

Читать далее
Всего голосов 189: ↑187 и ↓2+235
Комментарии89

Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению и новый запуск

Время на прочтение9 мин
Количество просмотров148K

Недавно OpenDataScience и Mail.Ru Group провели открытый курс машинного обучения. В прошлом анонсе много сказано о курсе. В этой статье мы поделимся материалами курса, а также объявим новый запуск.



UPD: теперь курс — на английском языке под брендом mlcourse.ai со статьями на Medium, а материалами — на Kaggle (Dataset) и на GitHub.


Кому не терпится: новый запуск курса — 1 февраля, регистрация не нужна, но чтоб мы вас запомнили и отдельно пригласили, заполните форму. Курс состоит из серии статей на Хабре (Первичный анализ данных с Pandas — первая из них), дополняющих их лекций на YouTube-канале, воспроизводимых материалов (Jupyter notebooks в github-репозитории курса), домашних заданий, соревнований Kaggle Inclass, тьюториалов и индивидуальных проектов по анализу данных. Главные новости будут в группе ВКонтакте, а жизнь во время курса будет теплиться в Slack OpenDataScience (вступить) в канале #mlcourse_ai.

Всего голосов 80: ↑79 и ↓1+78
Комментарии24

VPN везде и всюду: IPsec без L2TP со strongSwan

Время на прочтение10 мин
Количество просмотров331K
image
достаточно сильный лебедь

Если вы когда-либо искали VPN, который будет работать на десктопах, мобильных устройствах и роутерах без установки дополнительного ПО и перепрошивки роутера, вы, вероятно, выбирали между PPTP и L2TP+IPsec. У протокола PPTP имеются проблемы с безопасностью и прохождением через брандмауеры и NAT, так что в 2015 году его уже использовать не стоит, а использование L2TP излишне, т.к. L2 VPN, по моему мнению, для обычного удаленного доступа не нужен практически никогда.

Удивительно, что в интернете не так-то просто можно найти информацию о настройке чего-то помимо L2TP+IPsec в транспортном режиме, учитывая, что это обширный стек протоколов, который можно конфигурировать буквально как душе угодно, поэтому я попытаюсь устранить такое несовершенство мира.

Небольшое введение в мир IPsec

Вообще говоря, не совсем правильно называть IPsec VPN. IPsec не предназначен для построения «виртуальных частных сетей», а создан для шифрования или защиты от подмены передаваемых по IP данных. Это специальный слой поверх IP, который, в зависимости от режима и настроек, работает по-разному. В отличие от привычного VPN, который создает новый интерфейс в системе, на который вы, как это чаще всего бывает, назначаете IP-подсеть из диапазона частных адресов (т.е. создаете новый сетевой сегмент), и через который маршрутизируется трафик в зашифрованном виде, IPsec просто шифрует трафик магическим образом между «внешними» интерфейсами сервера и клиента.
Читать дальше →
Всего голосов 50: ↑49 и ↓1+48
Комментарии166

101 способ приготовления RabbitMQ и немного о pipeline архитектуре

Время на прочтение18 мин
Количество просмотров45K

Павел Филонов (во время выступления работал в Positive Technologies)


Павел Филонов

В данном докладе я хочу поговорить о пересечении RabbitMQ и Pipeline архитектуры, и о том, как оно связанно с работой нашей компании.

Сначала немного в качестве пролога. Это приятная часть.



Сценка, разворачивающаяся в будний день в офисе, наводит нас на очень приятное размышление. Перед нами встает шикарная задача, новая система. Мало что так сильно будоражит ум инженера, как просьба разработать новую систему. Не починить что-то старое, не адаптировать что-то старое, а именно что-то создать, в каком-то смысле практически с нуля.

Вместе с такой задачей приходит и целая серия проблем.
Всего голосов 50: ↑46 и ↓4+42
Комментарии30

Обзор расширения OPCache для PHP

Время на прочтение33 мин
Количество просмотров126K


PHP — это скриптовый язык, который по умолчанию компилирует те файлы, которые вам нужно запустить. Во время компилирования он извлекает опкоды, исполняет их, а затем немедленно уничтожает. PHP был так разработан: когда он переходит к выполнению запроса R, то «забывает» всё, что было выполнено в ходе запроса R-1.

Очень маловероятно, что на production-серверах PHP-код изменится между выполнением нескольких запросов. Так что можно считать, что при компилированиях всегда считывается один и тот же исходный код, а значит и опкод будет точно таким же. И если извлекать его для каждого скрипта, то получается бесполезная трата времени и ресурсов.
Читать дальше →
Всего голосов 56: ↑55 и ↓1+54
Комментарии25

Email-рассылка для B2B: основные принципы создания эффективных писем

Время на прочтение6 мин
Количество просмотров23K


Email маркетинг становится надежным каналом продвижения для многих компаний b2b (от английского варианта «business to business» — «бизнес для бизнеса»). Данная модель предполагает деловые взаимодействия не с конечным потребителем, а с компаниями. Специфика email маркетинга для b2b значительным образом отличается от b2c. В чем же проявляются эти отличительные особенности и как с ними работать, мы попробуем разобраться в нашей статье.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии3

Пользователи читают текст о вашей компании: Как это происходит на самом деле

Время на прочтение8 мин
Количество просмотров5.1K
image

Вы написали статью или сделали посадочную страницу. Рассказываем, что вас ждет, когда на нее придут пользователи.

Люди делят текст на блоки и сканируют только их


Если вы написали статью, скорее всего, ее не прочитают внимательно. В интернете люди предпочитают не читать, а «сканировать» текст — пробегаться по нему и цепляться за интересные отрывки. Это обнаружила Nielsen Norman Group еще в 2008 году.
Читать дальше →
Всего голосов 13: ↑10 и ↓3+7
Комментарии8

​«Как преуспеть в бизнесе, нарушая все правила» — объясняем книгу Дэна Кеннеди

Время на прочтение7 мин
Количество просмотров14K


Сейчас выпускается множество книг и видео-курсов, создаются тренинги и семинары, посвященные достижению успеха в бизнесе и личной-жизни.

Но существуют ли вообще какие-то секреты успеха, или же все это лишь хитрый способ привлечь внимание публики?

Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии9

Телефонные продажи. Этапы продаж. Установление контакта. Выявление потребностей

Время на прочтение9 мин
Количество просмотров38K
image
Да, фото не глянцевое, но зато здесь отдел продаж именно такой, какой есть в реальности.

Обширный гид по телефонным продажам для b2b, часть 1 из 4. В этой части: предыстория, знакомство с экспертом, общие сведения о телефонных продажах.

Перед тем, как я начал вести проект Videolom, я работал в отделе телефонных продаж на позиции менеджера по продажам. Сам отдел назывался УТП (Управление телефонных продаж), а подразделение называлось CBP (англ. Credit by phone), и формально оно должно было обрабатывать входящие звонки, но по факту большая часть звонков была исходящей, как и подразделения TLM (Телемаркетинг), но речь не об этом.

Там, во время работы, я познакомился со многими людьми с разных позиций (как такие же менеджеры, как я, так и управляющие). Среди них я повстречал массу мастеров своего дела. Это были люди, которые могут поднять продажи любой, даже самой неумелой группы и люди, способные продать что угодно и кому угодно.

Я собрал опыт всех этих людей, свой опыт, информацию из других источников, мнение эксперта. Всё это дало мне возможность написать обширный гид по телефонным продажам. Статья поделена на четыре части:

  1. Предыстория, знакомство с экспертом, основные понятия, этапы продаж, установление контакта, выявление потребностей;
  2. Презентация продукта, работа с возражениями, завершение сделки;
  3. Как составить скрипт продаж. Как обойти секретаря;
  4. Бонус: общий список ошибок менеджеров по продажам + решения к каждому пункту.

Ладно, хватит вступления. Держите полезность!

Читать дальше →
Всего голосов 17: ↑16 и ↓1+15
Комментарии29

7 практических советов по продаже SAAS продуктов на рынке B2B

Время на прочтение4 мин
Количество просмотров3.9K
Менеджер по развитию Ringostat Евгений Латанский о том, какими личными качествами нужно обладать для эффективных продаж и как в этом может помочь SkypeCall.

image

1. Успех в продажах обеспечивает модель «win-win»


Для эффективных продаж мало знать все функции сервиса, нужно еще и быть немного аналитиком. Это поможет быстро разобраться с потребностями бизнеса, который хочет установить себе call tracking и найти общие точки для взаимовыгодного сотрудничества.

Компании, чаще всего, обращаются к нам, но не до конца понимают, что им может дать наш инструмент. Зато они хорошо представляют, какую проблему нужно решить. Моя задача – во всем разобраться и сделать предварительную оценку перспектив сотрудничества. Для того, чтобы работа приносила удовольствие и все было «гладко» во взаимоотношениях с клиентами, важно говорить с ними на одном языке.
Читать дальше →
Всего голосов 10: ↑9 и ↓1+8
Комментарии0

10+ основных и эффективных способов рекламы своего продукта или услуги в Интернете

Время на прочтение7 мин
Количество просмотров357K


Когда вы осознали, что хотите продавать определенный товар или услугу, и создали свой магазин, самое время приступать к их продвижению. В этой статье мы предложим вам эффективные способы рекламы и продвижения товара, которые существуют на данный момент, а также расскажем как ими пользоваться.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии1

Каналы обращения в Help Desk. Исследование сайтов ИТ сервисных компаний России

Время на прочтение4 мин
Количество просмотров5.2K
Последние 8 лет в России ознаменовались взрывным ростом интереса к построению продаж, организации соответствующих процессов, внедрению CRM-ок, использованию сервисов и систем, которые по маркетинговым заявлениям «Удвоят продажи», «на 300% увеличит конверсию» и т.д. Быстрые победы — вот чего хотели владельцы компаний и инвесторы. При этом в погоне за очередным “лидом” многие забыли о том, что долгосрочные отношения складываются годами и процесс продажи является всего лишь отправной точкой. Реальность последних 1,5 лет заставила всех немного одуматься и начать внедрять Help Desk системы и автоматизировать постпродажное обслуживание.

Многие эксперты рынка твердят о том, что «жирные» годы закончились.
«Давайте признаем – кризис пришел к нам надолго. Покупателей больше не станет. Реклама больше не работает. Переждать не получится.» — Михаил Токовинин

Есть ли выход? Пожалуй, это не сиюминутные продажи и большой чек, а долгосрочные отношения и борьба за каждого клиента, в том числе за счет качества оказываемых услуг.

На зрелом рынке затраты на привлечение нового клиента растут, а расходы, связанные с удержанием почти всегда остаются на невысоком уровне. В подтверждении приводим показательную статистику из книги «Сервис как конкурентное преимущество» Джона Шоула, признанного эксперта в сервисном обслуживании:
  • в зависимости от отрасли, привлечение нового клиента обходится в 5-10 раз дороже, чем удержание уже существующего
  • сокращение оттока клиентов на 5-10% может принести компании до 75% дополнительной прибыли

Служба поддержки

Мы проверили готовность небольших ИТ-сервисных компаний России к новым изменившимся реалиям и сохранению текущих клиентов. Для тех, кто хочет сэкономить свое время дадим спойлер: «Не готов. Совсем». Остальных — милости просим под кат.
Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии1
1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Новосибирск, Новосибирская обл., Россия
Дата рождения
Зарегистрирован
Активность