User
Всем привет! Это мой дебют на Хабре с переводом классной статьи по теме инжиниринга данных.
Оригинал статьи:
From Data Driven to Driving Data— The dysfunctions of Data Engineering
О том, как дата инженерам перестать быть сервисной командой в компаниях, "управляемых данными", и перебраться за руль в этом сложном процессе.
Пошаговое руководство написания чат-бота на языке Python.
Установим Python и библиотеки на Debian, подключим PostgreSQL, получим вопросы и ответы, подключим морфологию и нормализуем слова, запустим чат-бота в Telegram.
Голая практика и полный листинг с комментариями.
Бывает, что в жизни мы сталкиваемся с непониманием, встречая незнакомцев по одежке, а книжки выбирая по обложке. То же самое случается и с животным миром. Нет, сегодняшний пост не про мимикрию — о ней вы можете почитать здесь. Сегодня мы поговорим об одном из самых недооцененных и страдающих от предрассудков насекомых — сером кузнечике.
Привет, Хабр! У нас продолжается распродажа в честь черной пятницы. Там вы найдете много занимательных книг.
Возможен вопрос: а что такое метакласс? Если коротко, метакласс относится к классу точно как класс к объекту.
Метаклассы – не самый популярный аспект языка Python; не сказать, что о них воспоминают в каждой беседе. Тем не менее, они используется в весьма многих статусных проектах: в частности, Django ORM[2], стандартная библиотека абстрактных базовых классов (ABC)[3] и реализации Protocol Buffers [4].
Это сложная фича, позволяющая программисту приспособить под задачу некоторые самые базовые механизмы языка. Именно по причине такой гибкости открываются и возможности для злоупотреблений – но нас это уже не удивляет. С большими возможностями приходит большая ответственность.
В этот раз речь пойдет о немного более сложных вещах, таких, как управление состоянием, компоненты высшего порядка и Gamepad API.
Как вообще-то передвигать персонажа (который есть набор отдельных 3D-объектов) в пространстве? Я уже рассказывал ранее в 4 шаге о том, об объединении объектов в группу. Еще раз: вы можете перемещать группу с линейной скоростью; в сумме с подходящей анимацией это будет выглядеть как ходьба или бег, в зависимости от вашей задумки.
Язык Си - один из наиболее влиятельных языков программирования за всю историю. Он стал незаменимым инструментом разработки операционных систем, сместив с этого пьедестала языки ассемблера. Изучение Си обязательно для любого уважающего себя программиста. Этот язык любим за свою внешнюю простоту и ненавидим за беспощадность к ошибкам. Благодаря нему у нас есть ядро Linux и тысячи уязвимостей в нём же в придачу.
Попробуем понять, что же такое этот противоречивый язык Си - благословение или проклятие?
Теория графов - один из основных инструментов математики, который используется для представления множеств и связей между ними. Любая сфера науки, в том числе криптография, включает в себя анализ данных, поэтому модель имеет широкое практическое применение. В данной статье рассматриваются задачи из теории графов, которые лежат в основе современных криптографических протоколов.
Основатель Postoplan Алексей Божин переехал из России сначала в Черногорию, потом — в Сербию. Сейчас он снова собирает чемодан, но куда — пока держит в тайне, даже от родных. Зато нам он рассказал о стартапе на €1 млн, сотрудничестве с разработчиками по всему миру, опыте переезда на Балканы и интеграции без знания языка. Передаем ему слово.
Плох тот дата сайентист, который не представляет, как будут использоваться его модели в конечных продуктах, как они помогут бизнесу увеличить чистую прибыль, улучшить клиентский опыт или любой другой ключевой показатель в компании. Часто задачи приходят от продуктовых подразделений, но в случае, когда главным компонентом продукта является модель машинного обучения, без экспертного взгляда специалиста не обойтись. В этой статье рассмотрим, как можно принести пользу компании за счет данных кассовых чеков ОФД.
Если вы в общих чертах представляете, как устроена современная угольная электростанция с высоким КПД, то японцы вас все равно удивят. Такого последовательного наслоения технологий сейчас нет нигде: в одном месте собраны и газификация угля, и котлы сверхвысокого давления, и топливные элементы. Плюс улавливание СО2.
Зачем все это? Думаю, японцы понемногу догадываются (добродушный сарказм), что всевозможные ветряные парки дают энергию лишь 20% времени в году. А в остальные «счастливые моменты» дома все равно чем-то надо топить. Желательно чем-то «зеленым», маневренным и недорогим, чтобы экономика не треснула. А еще они «догадываются», что энергетике нужен переходный период ко всему «зеленому», а не политические заявления о резком перескоке на ВИЭ и нравоучения шведских школьниц (Грета, привет).
Под катом рассказ японского профессора о том, что делают и что уже сделали в направлении «зеленого угля». А также про то, как все это устроено.
Кадр из мультфильма «Смешарики: 132 серия (Пылесос)»
При проведении различной ad-hoc аналитики или же создания интеграций между DS решением и внешними системами очень часто приходится использовать REST API для получения данных. Ситуация, когда все помещается в один запрос — идеальна, но редка как единорог. Как правило, приходится тянуть большие объемы, тянуть по частям и в режиме многоходовок, возможно, с использованием курсоров. Внешняя система может лечь при большой нагрузке или же там включатся механизмы пропуска запросов (троттлинг). Вопросы «почему у меня не работает» и «как мне сделать, чтобы работало» возникают с завидной регулярностью.
Ниже приведен блочный разбор типового скрипта для получению данных из внешней системы через REST API. Его можно рассматривать как первое приближение решения задачи подобного класса.
Является продолжением серии предыдущих публикаций.
Мы в red_mad_robot регулярно запускаем Робопрактики — бесплатные образовательные мероприятия, где рассказываем про технологии, методологии, подходы и процессы, которые используем в разработке digital-продуктов. Проводим их для QA-инженеров, мобильных и бекэнд-разработчиков — это один из наших способов делиться знаниями и практическим опытом, а также находить и прокачивать новых ребят. А самых сильных практикантов приглашаем работать в компанию. Рассказываем, как это было, и делимся опытом и полезными материалами.
Хочу поделиться личным опытом (об/м)учения в Яндекс.Практикуме на курсе "Веб-разработчик", и почему, вернувшись на год назад в прошлое, я бы никогда не стал там учиться даже за бесплатно.
Для начала расскажу о причинах, по которым я решил войти в IT (спойлер: и в итоге всё-таки вполз), и почему я выбрал именно Яндекс.Практикум.
Получив 2 красных диплома, которые теперь лежат на полке, я понял, что дипломированный инженер-строитель никому не нужен, т. к. с поиском работы по специальности в моём городе (областном центре) было тяжко. В итоге, отработав полгода рабочим на строительном комбинате и разочаровавшись в высшем образовании вообще и в своей специальности в частности, я задумался о смене профессии на более:
1) прибыльную (на комбинате я получал 24 тысячи в месяц);
2) перспективную (в IT действует меритократия, а в строительной сфере без связей, которых у меня нет, далеко на уедешь и высоко не взлетишь);
3) интересную и интеллектуальную.
У меня есть старший брат – веб-разработчик с 10-летним стажем, за плечами которого опыт разработки в Яндексе, TopTal и нынешняя работа senior-программистом в Amazon. Я специально так подробно рассказываю о своём брате, т. к. далее эта информация понадобится для понимания контекста.
Брат, видя, как я страдаю от невозможности реализовать себя в профессии, на обучение которой потратил 8 лет, предложил попробовать себя в IT-сфере и посоветовал найти подходящие IT-курсы по профессии веб-разработчик, а он будет меня менторить.
Почему я выбрал именно веб? Потому что по личному опыту брата и его друзей-айтишников порог входа в веб ниже, чем в других IT-профессиях. И мне, как визуалу, важно видеть результаты своего труда (чертежи, запроектированные и построенные здания). И как раз фронтенд-разработка предоставляет эту возможность.
Привет, Хабр! Меня зовут Андрей Перепелкин. Я руководитель группы бэкенд-разработчиков, вошел в IT более 15 лет назад, 10 лет занимаюсь Java и около 4 плотно работаю с микросервисами.
В этой статье я расскажу, как:
— мы организовали разработку микросервисов так, чтобы вынести инфраструктуру из продуктового проекта и управлять ей отдельно;
— создали общее поле разработки для независимых команд, получить единый стиль кода и контролировать качество;
— встраиваем микросервисы в инфраструктуру и собираем метрики и логи, не загружая этим разработчиков.
В 1994 году Питер Шор, математик из Bell Labs в Нью-Джерси, доказал, что квантовый компьютер способен решать некоторые задачи экспоненциально быстрее, чем классический компьютер. Вопрос был в том, можно ли построить квантовый компьютер? Скептики утверждали, что квантовые состояния слишком хрупкие - окружающая среда неизбежно перемешает информацию в квантовом компьютере, сделав его совсем неквантовым.
Год спустя Шор ответил. Классические схемы измеряли отдельные биты для проверки на наличие ошибок, но этот подход не работал бы для квантовых битов или «кубитов», поскольку любое измерение разрушило бы квантовое состояние и, следовательно, вычисления. Шор нашел способ определить, произошла ли ошибка, без измерения состояния самого кубита. Код Шора положил начало области квантовой коррекции ошибок.
Раздел квантовой коррекции ошибок расцвел. Большинство физиков видят в нём единственный путь к созданию чрезвычайно мощного квантового компьютера. «Без коррекции ошибок мы не сможем масштабировать квантовые компьютеры до такой степени, чтобы они могли решать действительно сложные задачи», - сказал Джон Прескилл, физик из Калифорнийского технологического института.
Как и в случае с квантовыми вычислениями в целом, одно дело разработать код, исправляющий ошибки, и совсем другое - реализовать его на работающей машине. Но в начале октября исследователи под руководством Криса Монро, физика из Университета Мэриленда, сообщили, что они продемонстрировали многие ингредиенты, необходимые для работы схемы Шора с исправлением ошибок.
Управление техническим долгом в архитектурном процессе современного банка — это не локальная задача его архитекторов. Это стратегический механизм, который при правильной реализации позволит непрерывно улучшать ИТ-ландшафт и, в конечном итоге, обеспечит достижение результатов, запланированных как ИТ-стратегией, так и бизнес-стратегией банка. Недостаточно техдолг просто записать — его жизненный цикл и формируемые показатели наглядно демонстрируют, что с ИТ не так и что с этим делать.