Понадобилось мне недавно нарисовать в Python данные на карте, благо в данных есть координаты. Казалось бы, что может быть сложного... Но обо всем по порядку.
st0ne_c0ld @st0ne_c0ld
User
Безопасность веб-приложений
10 min
Порой мы халатно относимся к безопасности, не выделяем для неё достаточно времени, потому что "да что может случиться". На примере Васи, нашего веб-разработчика, мы покажем, что лучше ей не пренебрегать. Хотя бы базовыми её принципами.
Готовимся к собеседованию по PHP: Что такое «DI», «Container», «Auto-wiring» за семь простых шагов
10 min
Статья написана для начинающих разработчиков на языке PHP, чтобы помочь им усвоить понятия, нужные для понимания того, как устроены и работают современные фреймворки на PHP: Dependency Injection, Container, Auto-wiring.
Автор надеется, что прочтение статьи поможет вам разобраться в этих вопросах и подготовиться к собеседованию или освоению нового фреймворка.
Статья продолжает цикл статей под условным названием "Готовимся к собеседованию".
Как мы системы в инфраструктуре банка с помощью ManageIQ подружили
11 min
Пару лет назад главными трендами были автоматизация, DevOps-практики и ускорение поставки ценностей на рынок. Банк Хоум Кредит решил не отставать и взял курс на развитие технологий, тем более что по опенспейсу всё громче разносился недовольный шепоток пользователей, уставших по несколько дней ждать новых ресурсов для своих важных проектов.
Мы решили начать с процесса согласования заявок подразделениями, который, как и во многих крупных компаниях, требовал сил и времени. В качестве первой задачи выбрали процесс создания виртуальной машины безотносительно среды виртуализации. Составляя список задач, мы поняли, что нужно будет интегрироваться с другими системами, используемыми в инфраструктуре нашего банка, например по API.
С чего начать учить ребенка робототехнике: интервью с создателем «РОББО Клубов»
9 min
Естественное стремление айтишника — приобщить ребенка к программированию и робототехнике как можно раньше. О том, как это сделать и с чего начинать, мы спросили Павла Фролова, основателя компании «РОББО» и сети образовательных клубов «РОББО Клуб», а с недавнего времени — и сети частных школ ROBBO Academy Future Skills.
Павел собаку съел на обучении детей разных возрастов сложным техническим концепциям. Под катом — о том, как лучше преподнести технические знания ребенку, а также о его личном подходе к школьному образованию.
Павел собаку съел на обучении детей разных возрастов сложным техническим концепциям. Под катом — о том, как лучше преподнести технические знания ребенку, а также о его личном подходе к школьному образованию.
Принимаем 10 000 ивентов в Яндекс.Облаке. Часть 2
14 min
И снова здравствуйте! Продолжаем нашу серию статей про то, как мы щупали Яндекс.Облако.
Давайте вспомним план, по которому мы с вами двигаемся:
1 часть. Мы определились с ТЗ и архитектурой решения, написали приложение на golang.
2 часть (вы сейчас здесь). Выливаем наше приложение на прод, делаем масштабируемым и тестируем нагрузку.
3 часть. Попробуем разобраться, зачем нам нужно хранить сообщения в буфере, а не в файлах, а также сравним между собой kafka, rabbitmq и yandex queue service.
4 часть. Будем разворачивать Clickhouse кластер, писать стриминг для перекладывания туда данных из буфера, настроим визуализацию в datalens.
5 часть. Приведем всю инфраструктуру в должный вид — настроим ci/cd, используя gitlab ci, подключим мониторинг и service discovery с помощью consul и prometheus.
Ну что, переходим к нашим задачкам.
Давайте вспомним план, по которому мы с вами двигаемся:
1 часть. Мы определились с ТЗ и архитектурой решения, написали приложение на golang.
2 часть (вы сейчас здесь). Выливаем наше приложение на прод, делаем масштабируемым и тестируем нагрузку.
3 часть. Попробуем разобраться, зачем нам нужно хранить сообщения в буфере, а не в файлах, а также сравним между собой kafka, rabbitmq и yandex queue service.
4 часть. Будем разворачивать Clickhouse кластер, писать стриминг для перекладывания туда данных из буфера, настроим визуализацию в datalens.
5 часть. Приведем всю инфраструктуру в должный вид — настроим ci/cd, используя gitlab ci, подключим мониторинг и service discovery с помощью consul и prometheus.
Ну что, переходим к нашим задачкам.
Как в компании развивался Python. Доклад Яндекса
19 min
13 лет назад начался эксперимент по использованию Python в больших сервисах Яндекса. Эксперимент получился удачным (кто бы сомневался!) и Python начал свое победное поползновение по сервисам компании. Яндекс.Афиша, Яндекс.Погода — через некоторое время сервисов стало очень много. Вместе с ними начали появляться «лучшие практики» и «устоявшиеся подходы» к решению задач.
В докладе я вспомнил эволюцию Python в компании: от первых сервисов, запаковывавшихся в deb-пакеты и раскатывавшихся на голое железо, до непростого монорепозитория с собственной системой сборки и облаком. Еще в рассказе будут Django, Flask, Tornado, Docker, PyCharm, IPv6 и другие штуки, с которыми мы сталкивались на протяжении этих лет.
В докладе я вспомнил эволюцию Python в компании: от первых сервисов, запаковывавшихся в deb-пакеты и раскатывавшихся на голое железо, до непростого монорепозитория с собственной системой сборки и облаком. Еще в рассказе будут Django, Flask, Tornado, Docker, PyCharm, IPv6 и другие штуки, с которыми мы сталкивались на протяжении этих лет.
Как проверить навыки программирования на Python? Задачи от Яндекса
9 min
Хакатон в Школе бэкенд-разработки
В 2019 году нам потребовалось автоматизированно проверить умение писать Python-код у сотен разработчиков. Так мы отбирали будущих студентов для Школы бэкенд-разработки. Это не то же самое, что предложить решить задачу на листе бумаги, как на собеседовании. С другой стороны, мы также не могли переиспользовать условия задач, уже подготовленные для наших соревнований по программированию. Дело в том, что соревнования с целью определить лучших из лучших — это одно, а отбор специалистов с небольшим опытом в школу — совсем другое. Нам требовались задачи, по решению которых было бы видно, обладает ли разработчик базовыми навыками написания кода и умением грамотно использовать память и время. Вот какие условия мы составили.
Создание roguelike в Unity с нуля
18 min
Translation
Существует не так много туториалов по созданию roguelike в Unity, поэтому я решил написать его. Не с целью похвастаться, а для того, чтобы поделиться знаниями с теми, кто находится на том этапе, на котором я был уже довольно давно.
Примечание: я не утверждаю, что это единственный способ создания roguelike в Unity. Он просто один из. Вероятно, не самый лучший и эффективный, я учился путём проб и ошибок. А некоторые вещи я буду изучать прямо в процессе создания туториала.
Будем считать, что вы знаете по крайней мере основы Unity, например, как создать префаб или скрипт, и тому подобное. Не ждите, что я буду учить вас, как создавать спрайтшиты, об этом есть множество прекрасных туториалов. Я буду делать упор не на изучение движка, а на то, как реализовать игру, которую мы будем создавать вместе. Если у вас возникнут трудности, то зайдите в одно из потрясающих сообществ в Discord и просите о помощи:
Unity Developer Community
Roguelikes
Итак, давайте приступим!
Этап 0 — планирование
Да, всё верно. Первое, что нужно создать — это план. Вам хорошо будет спланировать игру, а мне — спланировать туториал, чтобы спустя время мы не отвлеклись от темы. В функциях игры легко запутаться, прямо как в подземельях roguelike.
Мы будем писать roguelike. В основном мы будем слушаться мудрых советов разработчика Cogmind Джоша Ге, приведённых здесь. Сходите по ссылке, прочитайте пост или посмотрите видео, а потом возвращайтесь.
Какова же цель этого туториала? Получить крепкую простую базовую roguelike, с которой потом можно будет экспериментировать. В ней должна быть генерация подземелий, движущийся по карте игрок, туман видимости, враги и предметы. Только самое необходимое. Итак, игрок должен иметь возможность спускаться вниз по лестницам на несколько этажей. допустим, на пять, повышать свой уровень, совершенствоваться, а в конце сражаться с боссом и побеждать его. Или умирать. Вот, собственно, и всё.
Разбор: что такое фундаментальный анализ
5 min
Recovery Mode
Фундаментальный анализ (FA) — это метод измерения внутренней стоимости ценной бумаги путем изучения взаимосвязанных экономических и финансовых факторов. При фундаментальном анализе изучается все, что может повлиять на стоимость ценных бумаг: макроэкономические факторы (состояние экономики и состояние конкретной отрасли бизнеса) микроэкономические факторы (эффективность управления компанией).
Конечная цель инвестора в том, чтобы узнать стоимость, которую он сможет сравнить с текущей стоимостью ценной бумаги. Так инвестор увидит, является ли ценная бумага недооцененной или переоцененной. Впоследствии он принимает решение о ее покупке/продаже.
Данный метод противоположен техническому анализу. В техническом анализе прогнозируется вектор цен, исходя из исторических рыночных данных (цена и объем). Недавно портал Investopedia опубликовал интересную статью о том, что такое фундаментальный анализ и как его применять. Мы подготовили для вас адаптированную версию данного материала.
Golang + Phaser3 = MMORPG — Клиент и Сервер
6 min
В прошлой статье мы сделали с вами заготовку, так сказать основу, на чем будет создаваться наша вселенная, визуализация с помощью консоли может быть и выглядит хорошо, но текстовые символы это скучно и не очень красиво, в этой статье мы займемся визуализацией наших тайлов с помощью Phaser.js
В прошлой статье наш проект выглядел так:
Теперь мы будем использовать и другие инструменты для веб-разработки, надеюсь у вас установлен Node.js и npm, если нет, то срочно установите. И так открываем терминал и запускам:
Кто такой наставник и какими гибкими навыками он должен обладать
7 min
В одном из недавних опросов Хабр Карьеры мы выяснили, что почти половина ИТ-специалистов планирует менять работу в ближайшее время. Индекс лояльности таких сотрудников был равен минус 46, в то время как у тех, кто не планировал менять работу — плюс 28.
Помимо прочего, мы спрашивали, есть ли в вашей компании наставничество. Посмотрев отдельно тех, у кого наставничества нет, мы обнаружили, что их индекс лояльности равен минус 41. То есть респонденты были близки к тому, чтобы поменять работу в ближайшее время.
На наш взгляд, полученная информация критически важна для работодателя. Если он будет понимать, что такое наставничество и как оно работает, научится его внедрять и управлять им, то получит лояльных мотивированных сотрудников, снизит текучку и уменьшит расходы на рекрутинг и адаптацию.
Поэтому сегодня мы чуть углубим наше понимание наставничества: поделимся аналитикой нашего нового опроса, который провели недавно совместно с Яндекс.Практикумом.
Посмотрим, какие гибкие навыки (soft skills) считаются самыми важными для работы в ИТ, какие из них встречаются чаще, а какие реже. Уточним, кто такой наставник, какими навыками он должен обладать и насколько наставничество распространено. Увидим, каких гибких навыков ждут от джунов и как оценивают их на собеседовании. И наконец, узнаем, можно ли учиться гибким навыкам и наставничеству.
Реализация алгоритмической теории игр на Python с Nashpy
4 min
Translation
Теория игр — это метод изучения стратегических ситуаций, когда результаты зависят не только от ваших действий, но и от того, что предпримут другие.
Что такое стратегическая ситуация? Вспомним типы рыночных структур: есть совершенная конкуренция, когда все компании являются ценообразующими, то есть им не нужно беспокоиться о стратегии формирования цены, и есть монополия, когда на рынке только одна компания, которая устанавливает свои цены. Так вот: все, что между совершенной конкуренцией и монополией, является стратегической ситуацией.
Алгоритмическая теория игр находится на стыке теории игр и компьютерной науки и направлена на изучение и создание алгоритмов для стратегий.
Под катом короткий рассказ про то, как можно задействовать теорию игр на Python при помощи библиотеки Nashpy.
Что такое стратегическая ситуация? Вспомним типы рыночных структур: есть совершенная конкуренция, когда все компании являются ценообразующими, то есть им не нужно беспокоиться о стратегии формирования цены, и есть монополия, когда на рынке только одна компания, которая устанавливает свои цены. Так вот: все, что между совершенной конкуренцией и монополией, является стратегической ситуацией.
Алгоритмическая теория игр находится на стыке теории игр и компьютерной науки и направлена на изучение и создание алгоритмов для стратегий.
Под катом короткий рассказ про то, как можно задействовать теорию игр на Python при помощи библиотеки Nashpy.
Что я узнал, протестировав 200 000 строк инфраструктурного кода
10 min
Подход IaC (Infrastructure as Code) состоит не только из кода, который хранится в репозитории, но еще людей и процессов, которые этот код окружают. Можно ли переиспользовать подходы из разработки ПО в управление и описание инфраструктуры? Будет не лишним держать в голове эту идею, пока будете читать статью.
Дневник Тома Хантера: «Собака Баскервилевых»
5 min
Затянуть с подписанием — обычное дело для любой крупной компании. Исключением не стал договор между Томом Хантером и одним сетевым зоомагазином на основательный пентестинг. Предстояло проверить и сайт, и внутреннюю сеть, и даже рабочий Wi-Fi.
Неудивительно, что руки зачесались еще до того, как были улажены все формальности. Ну просто посканировать сайт на всякий случай, вряд ли такой известный магазин, как «Собака Баскервилевых», допустит промахи уже здесь. Спустя пару дней Тому все-таки доставили подписанный оригинал договора — в это время за третьей кружкой кофе Том из внутренней CMS с интересом оценивал состояние складов…
Источник: Ehsan Taebloo
Неудивительно, что руки зачесались еще до того, как были улажены все формальности. Ну просто посканировать сайт на всякий случай, вряд ли такой известный магазин, как «Собака Баскервилевых», допустит промахи уже здесь. Спустя пару дней Тому все-таки доставили подписанный оригинал договора — в это время за третьей кружкой кофе Том из внутренней CMS с интересом оценивал состояние складов…
Источник: Ehsan Taebloo
Подборка датасетов для машинного обучения
6 min
Привет, читатель!
Меня зовут Рушан, и я автор Telegram‑канала Нейрон. Не забудьте поделиться с коллегами или просто с теми, кому интересны такие статьи.
Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов.
Меньше слов, больше данных.
Меня зовут Рушан, и я автор Telegram‑канала Нейрон. Не забудьте поделиться с коллегами или просто с теми, кому интересны такие статьи.
Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов.
Меньше слов, больше данных.
Подборка датасетов для машинного обучения:
- Данные смертей и сражений из игры престолов — этот набор данных объединяет три источника данных, каждый из которых основан на информации из серии книг.
- Глобальная база данных терроризма — Более 180 000 террористических атак по всему миру, 1970-2017.
- Биткойн, исторические данные — данные биткойнов с интервалом в 1 минуту с избранных бирж, январь 2012 г. — март 2019 г.
Автоматическая фотостудия, часть 1
8 min
Полтора года назад я просматривал блог одного из успешных российских фотографов-портретистов с узнаваемым стилем и в голову закралась мысль, а почему бы просто не поставить камеру на штатив, один раз поставить в студии свет, выставить все настройки камеры и сделать автоматическую обработку фотографий с заданным профилем? Фотографии в блоге были великолепные, но очень похожи друг на друга.
Осторожный переезд в Нидерланды с женой и ипотекой. Часть 2: подготовка документов и переезд
16 min
Итак, за примерно год (май 2017 — февраль 2018) я, программист C++, нашел-таки работу в Европе. Я десятки раз откликался на вакансии в Англии, Ирландии, Швеции, Нидерландах и даже в Португалии. Я раз двадцать беседовал по телефону, скайпу и прочим системам видео связи с рекрутерами, и несколько меньше — с техническими специалистами. Я ездил в Осло, в Эйндховен и три раза в Лондон на финальные интервью. Все это подробно описано здесь. В итоге я получил один оффер и принял его.
Оффер этот был из Нидерландов. Работодателям в этой стране относительно просто пригласить работника из-за рубежа (не из Евросоюза), поэтому бюрократической волокиты немного, а сам процесс оформления занимает всего несколько месяцев.
Но всегда можно самому себе создать сложности. Что я и сделал, чем затянул свой переезд еще на месяц. Если интересно почитать о хлопотах (нет, не сильно приятных) связанных с переездом IT семьи в Западную Европу — добро пожаловать под кат.
Оффер этот был из Нидерландов. Работодателям в этой стране относительно просто пригласить работника из-за рубежа (не из Евросоюза), поэтому бюрократической волокиты немного, а сам процесс оформления занимает всего несколько месяцев.
Но всегда можно самому себе создать сложности. Что я и сделал, чем затянул свой переезд еще на месяц. Если интересно почитать о хлопотах (нет, не сильно приятных) связанных с переездом IT семьи в Западную Европу — добро пожаловать под кат.
HBO, cпасибо что напомнил… «Чернобыльская аптечка» беларуского фармацевта
20 min
Tutorial
Что бы ни сказали — не станем спорить
Что бы ни дарили — не станем верить
Егор Летов «Как листовка»
Думаю не стоит лишний раз говорить о нашумевшем сериале Чернобыль и эффективности такого «сериального» воздействия на массы. Особенно на массы, проживающие на территориях, показанных в фильме. Выход каждой новой серии сопровождается всплеском публикаций в FB. В каждой из которых горечь, страх, боль. Что в такой ситуации я могу сделать ("кто виноват и что делать?")? Могу только описать свой взгляд на терапию лучевых поражений. Спасибо родненькой кафедре химии высоких энергий и проф. Шадыро О.И., которые пестовали в своих лабораториях нас, непутевых фармацевтов-радиохимиков. Надеюсь своей статьей честь этой, легендарной некогда, кафедры я не опорочу.
Ну и пишу, пишу, потому что стали забывать… Пугающе быстро стали забывать. Сначала в аптеках исчез йодид калия (я уж не говорю про описываемые в статье антидоты), потом так же неотвратимо исчезли льготы у ликвидаторов, знания у людей и т.д. и т.п.
В общем, спасибо, сценаристы HBO, за то, что всколыхнули Память. Мой посильный вклад — под катом. Рейтинг доступных (и не очень) антидотов, способных сработать при радиационном выбросе. В закладки — класть строго ВСЕМ! И прочитал сам — перекинь другу.
Что бы ни дарили — не станем верить
Егор Летов «Как листовка»
Думаю не стоит лишний раз говорить о нашумевшем сериале Чернобыль и эффективности такого «сериального» воздействия на массы. Особенно на массы, проживающие на территориях, показанных в фильме. Выход каждой новой серии сопровождается всплеском публикаций в FB. В каждой из которых горечь, страх, боль. Что в такой ситуации я могу сделать ("
Ну и пишу, пишу, потому что стали забывать… Пугающе быстро стали забывать. Сначала в аптеках исчез йодид калия (я уж не говорю про описываемые в статье антидоты), потом так же неотвратимо исчезли льготы у ликвидаторов, знания у людей и т.д. и т.п.
В общем, спасибо, сценаристы HBO, за то, что всколыхнули Память. Мой посильный вклад — под катом. Рейтинг доступных (и не очень) антидотов, способных сработать при радиационном выбросе. В закладки — класть строго ВСЕМ! И прочитал сам — перекинь другу.
Введение в машинное обучение
19 min
Tutorial
Полный курс на русском языке можно найти по этой ссылке.
Оригинальный курс на английском доступен по этой ссылке.
Оригинальный курс на английском доступен по этой ссылке.