Введение

Разворачивая очередную систему, столкнулись с необходимостью обрабатывать большое количество разнообразных логов. В качестве инструмента выбрали ELK. В данной статье пойдёт речь о нашем опыте настройки этого стека.

Не ставим цели описать все его возможности, но хотим сконцентрироваться именно на решении практических задач. Вызвано это тем, что при наличии достаточно большого количества документации и уже готовых образов, подводных камней достаточно много, по крайней мере у нас они обнаружились.

Хабровчане, делюсь исследованием. В марте искали лучшего оператора электронного документооборота. Ну, как лучшего. Выбирали того, чей сервис больше подходит именно нашей компании. За неделю пришлось изучить 7 наиболее известных – сравнили их по параметрам: от возможностей интеграции с 1С до качества техподдержки. Но обо всём по порядку…

По тону голоса сразу было ясно, что вице-президент по технологиям был недоволен. Он практически рычал на меня. Он только что закончил беседовать с соискателем по имени Ананд, которого я ему направила, и звонил мне, чтобы сообщить о своём отказе.

Всего за несколько минут до этого мне звонил Ананд и восторженно рассказывал, как замечательно прошло интервью. Его опрашивали почти весь день, он встречался с различными руководителями из разных частей организации, включая, под конец, и вице-президента (ВП) по технологиям. Я помогала этой компании создавать новую «платформенную» стратегию, поэтому я пыталась определить подходящих кандидатов для работы в ней, и решила, что Ананд туда отлично впишется.

Однако у ВП с Анандом оказались удивительно разные мнения по поводу их встречи. Ананд сказал, что он задавал гораздо больше вопросов, чем обычно, уточнял детальную информацию по стратегии, что помогло ему понять сложность задачи, стоящей перед компанией. Все беседы с сотрудниками показались ему завлекающими и полными идей. ВП же рассказал мне, что вопросы, которые задавал Ананд, показались ему «слишком раздражающими».

Привет, Хаброжители! Цель этой книги — дать вам знания, с помощью которых вы без колебаний присоединитесь к любому проекту, использующему эту библиотеку. Книга предназначена для всех, кто заинтересован в изучении Vue.js и имеет опыт работы с JavaScript, HTML и CSS. От вас не требуются глубокие знания этой области, но понимание основ, таких как массивы, переменные, циклы и HTML-элементы, не помешает.

Под катом представлен отрывок в виде главы «Vuex», описывающий: что такое состояние; использование геттеров; реализация мутаций; добавление действий; работа со вспомогательными методами Vuex; модули и настройка проекта.

Вы сможете сходу ответить на вопрос, сколько ИТ-систем у вас в компании? До недавнего времени мы тоже не могли. Поэтому сейчас расскажем о нашем подходе к построению единого перечня ИТ-систем компании, который нужен был для решения следующих задач:

1. Единый словарь для всей компании. Точное понимание для бизнеса и для ИТ, какие системы есть в компании.
2. Перечень ответственных. Кроме получения списка ИТ-систем, нужно было понять ответственных за каждую систему, как со стороны ИТ, так и со стороны бизнес-подразделений.
3. Классификация ИТ-систем. Со стороны ИТ-архитектуры нужно было классифицировать существующие ИТ-системы по этапу развития, по используемым технологиям и т.д.
4. Расчёт затрат на ИТ-системы. Для начала надо понять, что такое ИТ-системы, потом придумать алгоритм отнесения затрат. Скажу сразу, многое по этому пункту у нас получилось, но об этом в другой статье.

«Не важно, что ты делаешь, важно, как ты это делаешь». Это простое наблюдение из жизни часто применяется к инициативам и технологиям в области ИТ. Желание делать все хорошо и даже очень хорошо, быстро и продуктивно, становится первым шагом на пути к цифровизации. Но, решив сделать этот шаг, все-таки стоит задуматься о том, как его сделать.

Все очень просто: если хотите, чтобы инновационная задумка удалась, нужно подготовить почву для ее успешной реализации. Хотите, чтобы ваша ИТ-инициатива взлетела? Наведите порядок: наладьте планирование и мониторинг имеющихся ИТ; согласуйте ИТ-стратегию с бизнес-стратегией и требованиями; учитывайте все риски, затраты и потребности при принятии решений.

Пришло время составлять резюме для переезда в другую страну?

Тогда заходи, присаживайся, наливай кофеек. Я расскажу, как это сделать.

Я хочу поговорить с вами о том, почему мы чаще чиним сантехнику, чем пишем про неё диссертации, о разных подходах к обучению программированию и о том, как мы пробуем применить один из них в нашем новом продукте Hyperskill.

Если вам не по душе длинные вступления, то переходите сразу к параграфу про программирование. Но так будет менее весело.

Если сегодня приходишь в МФЦ по любому вопросу, уйма времени уходит на ожидание: пока сотрудник введёт информацию из разных документов в требуемые формы, поставит какие-то галочки, отправит какие-то запросы… А представьте себе прекрасное будущее: так же приходишь в МФЦ, даёшь паспорт, его сканируют, и дальше происходит магия — программный робот всё парсит, мгновенно рассылает запросы в разные базы данных, агрегирует ответы и через несколько минут выдаёт результат/ответ/справку/новый документ, попутно зарегистрировав его в анналах.

Скажете, несбыточные фантазии? Да почему же несбыточные — подходящие технологии уже готовы и практически обкатаны. Это RPA (Robotic Process Automation). Термин появился в 2012 году благодаря компании Blue Prism. Она 17 лет назад стала пионером в области автоматизации сервисов управления офисными операциями. Правда, в то время к этой идее не относились серьёзно и крупный бизнес считал ее скорее утопической, чем реальной.

Но всё изменилось с появлением систем искусственного интеллекта. Именно они в корне изменили отношение к RPA.

Стремительный рост значимости информационных технологий для бизнеса требует все больше внимания к организации и реализации предоставления ИТ-услуг. На сегодняшний день информационные технологии используются не только для решения локальных задач в организации, также они задействованы в разработке ее бизнес-стратегии. Важность этих задач требовала разработки принципиально нового подхода к проблеме систематизации накопленной информации. Для этих целей была создана библиотека ITIL, описывающая лучшие практики предоставления услуг в сфере ИТ. Таким образом специалисты в сфере ИТ получили возможность использовать в своей работе лучшие наработки, повышая качество предоставления услуг.

Введение

В связи с тем, что близится 2020 год и «час хэ», когда нужно будет отчитаться об исполнении приказа Минкомсвязи о переходе на отечественное ПО (в рамках импортозамещения), да не простое, а из реестра Минкомсвязи, мне прилетела задача о разработке плана, собственно, по исполнению приказа Министерства связи и массовых коммуникаций №334 от 29.06.2017. И начал я разбираться.

Первая статья была о том, как не надо было делать «Вертолетам России». И вызвала она столько хайпа, под ней было написано столько комментариев, что я, честно говоря, был немного в шоке…

Так что, как было обещано, пришла пора начать «цикл статей о том, как мы приказ исполняли и боролись с обстоятельствами». Уж не знаю, насколько длинным будет этот цикл, но есть желание описать весь процесс от начала до конца, но времени на это не хватает, ибо написание статей занимает гору времени, а семью кормить надо =)

Первая статья будет посвящена изучению существующих вариантов и их поверхностному анализу, чтобы составить схему изучения вариантов на практике. Ибо прежде чем собирать стенд для испытаний надо понимать, что на нем испытывать.
Итак, прошу под кат.

В данной статье я хочу рассказать про две возможности NGINX Ingress, связанные с отображением персонализированных страниц с ошибками, а также о существующих в них ограничениях и способах их обойти.

Часть 1. Общий алгоритм поиска

Введение

Поиск пути — это одна из тех тем, которые обычно представляют самые большие сложности для разработчиков игр. Особенно плохо люди понимают алгоритм A*, и многим кажется, что это какая-то непостижимая магия.

Цель данной статьи — объяснить поиск пути в целом и A* в частности очень понятным и доступным образом, положив таким образом конец распространённому заблуждению о том, что эта тема сложна. При правильном объяснении всё достаточно просто.

Учтите, что в статье мы будем рассматривать поиск пути для игр; в отличие от более академических статей, мы опустим такие алгоритмы поиска, как поиск в глубину (Depth-First) или поиск в ширину (Breadth-First). Вместо этого мы постараемся как можно быстрее дойти от нуля до A*.

Развивая любой продукт, будь то видеосервис или лента, истории или статьи, хочется уметь измерять условное «счастье» пользователя. Понимать, делаем мы своими изменениями лучше или хуже, корректировать направление развития продукта, опираясь не на интуицию и собственные ощущения, а на метрики и цифры, в которые можно верить.

В этой статье я расскажу, как нам удалось запустить продуктовую статистику и аналитику на сервисе с 97-миллионной месячной аудиторией, получив при этом чрезвычайно высокую производительность аналитических запросов. Речь пойдёт о ClickHouse, используемых движках и особенностях запросов. Я опишу подход к агрегации данных, который позволяет нам за доли секунды получать сложные метрики, и расскажу о преобразовании и тестировании данных.

Сейчас у нас около 6 миллиардов продуктовых событий в сутки, в ближайшее время дойдём до 20–25 миллиардов. А дальше — не такими быстрыми темпами поднимемся до 40–50 миллиардов к концу года, когда опишем все интересующие нас продуктовые события.

1 rows in set. Elapsed: 0.287 sec. Processed 59.85 billion rows, 59.85 GB (208.16 billion rows/s., 208.16 GB/s.)

Подробности под катом.

Чуть более месяца назад в Москве состоялась крупнейшая конференция постгресового сообщества PGConf.Russia 2019, собравшая в МГУ свыше 700 человек. Мы решили выложить видео и расшифровку лучших докладов. Выступление Ивана Фролкова с разбором типичных ошибок при работе с PostgreSQL было отмечено лучшим на конференции, поэтому мы начнем с него.

Для удобства мы разбили расшифровку на две части. В этой статье речь пойдет о непоследовательном именовании, о constraints, о том, где лучше сосредоточить логику — в базе или в приложении. Во второй части будут разобраны обработка ошибок, конкурентный доступ, неотменяемые операции, CTE и JSON.



В нашей компании я занимаюсь поддержкой клиентов по вопросам, связанным с приложениями, то есть помогаю в случаях проблем с соединениями, с оптимизацией запросов и прочими подобными вещами. Насмотрелся я приложений самых разных. Чего я только не видел! Может быть даже больше, чем хотелось бы. Часть из того, что я буду рассказывать, относится не только к PostgreSQL, а к любой базе, но кое-что прежде всего к PostgreSQL.

Главный вывод, который я смог сделать из того, что я видел, довольно неожиданный: фактически любое приложение при должной настойчивости можно заставить работать. Был замечательный проект (я не могу упоминать все компании, с которыми мы работали), в котором еще более замечательное приложение создавало таблицы миллионами. Выглядело это так: в понедельник система работает неплохо, а уже в пятницу она практически не работает. На выходные дни запускают VACUUM FULL, и в понедельник она опять работает хорошо. Оказывается, над PostgreSQL можно вот так издеваться, и всё это довольно долго будет жить и работать. Другой товарищ сделал странную вещь: у него всё было построено на триггерах, процедур не было вообще. То есть большую часть таблиц трогать нельзя, сделать что-либо не получалось, но и эта база жила.

Графики, отчеты и аналитика – все это так или иначе присутствует в back-office любого, даже совсем маленького, предприятия. Когда в обычных таблицах в Excel/Numbers/Libre становится уже тесно, но data все еще не очень big, традиционные решения для внутренних потребностей компании часто строятся с помощью реляционных баз данных, таких как PostgreSQL, MySQL или MariaDB.

Эти базы данных бесплатны, благодаря SQL удобно интегрируются с остальными компонентами в системе, они популярны и с ними умеют работать большинство разработчиков и аналитиков. Нагрузку (трафик и объемы) они могут переварить достаточно объемную, чтобы спокойно продержаться до того момента, когда компания сможет позволить себе более сложные (и дорогие) решения для аналитики и отчетов.

Как обычно происходит код-ревью? Вы отправляете пул-реквест, получаете обратную связь, вносите исправления, отправляете фиксы на повторный ревью, затем получаете одобрение, и происходит мерж. Звучит просто, но на деле процесс ревью бывает очень трудоемким.

Представьте, что у вас есть пул-реквест с сотнями строк изменений. Ревьюер должен потратить немало времени, чтобы полностью прочитать код и понять предлагаемые изменения. В результате весь процесс от создания пул-реквеста до его утверждения может занять несколько дней — в этом мало приятного и для ревьюера, и для автора изменений. И велики шансы, что в итоге ревьюер все равно что-то упустит. Или проверка может быть слишком поверхностной, а в худшем случае пул-реквест вообще может быть сразу отклонен.

Получается, что чем объемнее пул-реквест, тем меньше пользы будет от его проверки.

Знание только одного подхода к веб скрапингу решает проблему в краткосрочной перспективе, но все методы имеют свои сильные и слабые стороны. Осознание этого экономит время и помогает решать задачу эффективнее.



Многочисленные ресурсы рассказывают об единственно верном методе извлечения данных с веб-страницы. Но реальность такова, что для этого можно использовать несколько решений и инструментов.

• Какие есть варианты программного извлечения данных с веб-страницы?
• Плюсы и минусы каждого подхода?
• Как использовать облачные ресурсы для увеличения степени автоматизации?

Статья поможет получить ответы на эти вопросы.

Бороться и искать. Найти и перепрятать

Достаточно популярная поговорка во времена Союза.

Вот и сейчас, те у кого сервер 1С в локальной сети мечтают вынести его в облако, а те у кого в облаке прикупить свой в локальную сеть.

7 декабря 2018 г. AlexandrSurkov пригласил желающих: Яндекс открывает Облако. Архитектура новой платформы

Как у обычного пользователя у меня не нашлось чем занять этот ресурс, но как 1С-ник я подумал: А пуркуа бы и не па ? И попробовал положить в облако от Яндекса 1С Предприятие.

Тестирование Яндекс.Облако Compute Cloud для 1С Предприятие оставило у меня приятное впечатление.

Возможно кто-то повторит его и внесет больше ясности в настройки виртуальных серверов, использованию API и так далее. Интересующихся прошу продолжить чтение…

В 2018 году Python укрепил свои позиции популярности среди программистов и вошел в Top 3 самых популярных языков на github. Все больше и больше людей переходит на светлую сторону…то есть Python. Появилось еще большее количество разработчиков, которые интересуются данным языком и ведут разработку своих проектов с его помощью. Одним из популярных направлений для Python является web-разработка. Хочется, чтобы не только процесс разработки был удобным и быстрым, но и сами проекты могли похвастаться скоростью и стабильностью работы.