Pull to refresh
8
0
Алексей Остапов @Ypurek

Test Lead

Send message

Строим аналитическое хранилище данных с готовыми модулями ML на Google BigQuery: просто, быстро, доступно

Reading time10 min
Views11K

Рассказываем как перестать переживать о том, что вы не знаете Hadoop и вывести работу с данными в компании на новый уровень, как быстро и без больших затрат создать в аналитическое хранилище, наладить процессы загрузки туда данных, дать возможность аналитикам строить отчеты в современных BI инструментах и применять машинное обучение.

Читать далее
Total votes 8: ↑6 and ↓2+4
Comments21

Тестируем на проде: Canary Deployment

Reading time11 min
Views29K
Канарейка — маленькая птица, которая постоянно поет. Эти птички чувствительны к метану и угарному газу. Даже от небольшой концентрации лишних газов в воздухе они теряют сознание или умирают. Золотоискатели и шахтеры брали птичек на добычу: пока канарейки поют, можно работать, если замолчали — в шахте газ и пора уходить. Шахтеры жертвовали маленькой птичкой, чтобы выбираться из шахт живыми.



Подобная практика нашла себя и в IT. Например, в стандартной задаче деплоя новой версии сервиса или приложения на продакшн с тестированием перед этим. Тестовое окружение может быть слишком дорогим, автоматизированные тесты не покрывают все, что хотелось бы, а не тестировать и жертвовать качеством рискованно. Как раз в таких случаях помогает подход Canary Deployment, когда немного настоящего продакшн-трафика пускается на новую версию. Подход помогает безопасно проверить новую версию на продакшн, жертвуя малым ради большой цели. Подробнее, как работает подход, чем полезен и как его реализовать, расскажет Андрей Маркелов (Andrey_V_Markelov), на примере реализации в компании Infobip.
Total votes 22: ↑22 and ↓0+22
Comments6

Полезные советы по Python, которых вы ещё не встречали. Часть 2

Reading time7 min
Views37K
Недавно мы опубликовали перевод материала, в котором были приведены полезные советы для Python-программистов. У того материала есть продолжение, которое мы представляем вашему вниманию сегодня.


Читать дальше →
Total votes 51: ↑48 and ↓3+62
Comments24

Строим домашний CI/CD при помощи GitHub Actions и Python

Reading time12 min
Views62K

Как то вечером, придя домой с работы, я решил немного позаниматься домашним проектом. Я сделал несколько правок и сразу захотел поэкспериментировать с ними. Но до экспериментов мне пришлось заходить на VPS, пулить изменения, пересобирать контейнер и запускать его. Тут я и решил, что пора разобраться с непрерывной доставкой.

Читать дальше →
Total votes 33: ↑32 and ↓1+31
Comments15

Хроники книжного голода

Reading time11 min
Views22K
image

Как-то раз, уже на излете СССР я прочитал распечатку отдельных мест знаменитой кулинарной книги 1861 года г-жи Е. И. Молоховец: «Подарокъ молодым хозяйкамъ, или Средство къ уменьшенiю расходовъ в домашнемъ хозяйстве». Рецепты в стиле: «Самую красивую копченую голову старого вепря очистить, сварить, как копченый окорок...» или «Если к вам пришли гости, а у вас ничего нет, пошлите человека в погреб, пусть принесет фунт масла, два фунта ветчины, дюжину яиц, фунт икры, красной или черной и приготовьте легкий ужин по следующему рецепту…» читались уморительно смешно. Людям, не заставшим СССР, наверное, уже не понять над чем я тогда смеялся.

Поздний СССР был удивительным, во многом забавным и парадоксальным обществом тотального дефицита. Искусственно создаваемый властями дисбаланс цен приводил к тому, что многие товары, продававшиеся дешевле рыночной цены, практически никогда не доходили до прилавка, распределяясь среди «своих», сразу переходя на черный рынок.

Но цель этой статьи вовсе не обличение пороков СССР. Я хочу рассказать о личном опыте маленького мальчика, жившего в стране с непредсказуемой историей и неясным будущим. Мальчика, который больше всего на свете любил читать книжки.
Читать дальше →
Total votes 120: ↑113 and ↓7+106
Comments235

Как заставить ваши веб-приложения работать в автономном режиме

Reading time8 min
Views21K
Сила JavaScript и браузерного API

Мир становится все более взаимосвязанным — число людей, имеющих доступ к Интернету, выросло до 4,5 миллиардов.

image

Но в этих данных не отражено количество людей, у которых медленное или неисправное интернет соединение. Даже в Соединенных Штатах 4,9 миллиона домов не могут получить проводной доступ к интернету скорость которого будет более 3 мегабит в секунду.

Остальной мир — те, кто имеет надежный доступ к Интернету — все еще подвержен потере соединения. Некоторые факторы, которые могут повлиять на качество сетевого подключения, включают в себя:

  • Плохое покрытие от провайдера.
  • Экстремальные погодные условия.
  • Перебои питания.
  • Пользователи, попадающие в «мертвые зоны», такие как здания, которые блокируют их сетевые подключения.
  • Путешествие на поезде и проезд туннелей.
  • Соединения, которые управляются третьей стороной и ограничены во времени.
  • Культурные практики, которые требуют ограниченного или отсутствия доступа в Интернет в определенное время или дни.

Учитывая это, ясно, что мы должны учитывать автономный опыт при разработке и создании приложений.
Читать дальше →
Total votes 22: ↑21 and ↓1+20
Comments27

Как запускается сервер

Reading time9 min
Views72K

Запуск сервера — длинная и сложная последовательность действий, зависящая от аппаратной составляющей, настроек и используемого программного обеспечения. Многие, даже опытные и квалифицированные системные администраторы, плохо себе представляют, что именно происходит в процессе запуска сервера, поэтому мы решили разобрать этот процесс детально.
Читать дальше →
Total votes 85: ↑74 and ↓11+63
Comments76

Chaos engineering

Reading time11 min
Views5.7K
Последнее, что хочется увидеть во время дебага кода — это хаос. Но что если этот хаос управляемый и запущен руками самого разработчика? Зачем умышленно устраивать турбулентность в слаженной работе своего приложения, как добиться душевного спокойствия при релизе важных фич и где точно вам пригодится практика хаос-инженерии, читайте в разговоре ведущих подкаста AppsCast с Павлом Осиповым PavelOsipov.


Читать дальше →
Total votes 34: ↑31 and ↓3+28
Comments3

Записки пентестера: случаи на охоте

Reading time4 min
Views16K
image

— Ребята, вы круты! Так нас еще никто не опускал!
— Мы старались.


Да, жизнь охотников за уязвимостями полна специфических комплиментов от заказчиков и не менее специфических ситуаций. За прошедший год мы выполнили более пятидесяти тестов на проникновение в разные компании и, надо сказать, повидали всякое. Один пароль ко всем учеткам и системам, открытое хранение паролей в базе данных, остатки отладочного функционала в боевой среде… Поэтому, когда наши коллеги из JSOC CERT поведали несколько историй по расследованию киберинцидентов, мы в отделе пентеста решили не отставать и показать другую сторону «баррикад»: инфраструктуру заказчика глазами хакера. Сегодня расскажем о наиболее интересных за последнее время внешних пентестах, когда мы должны были проникнуть во внутренний периметр заказчика, имея только список его внешних IP-адресов и доменных имен.
Читать дальше →
Total votes 53: ↑50 and ↓3+47
Comments9

Chaos Engineering: искусство умышленного разрушения. Часть 1

Reading time15 min
Views40K
Прим. перев.: Рады поделиться переводом замечательного материала от старшего технологического евангелиста из AWS — Adrian Hornsby. В простых словах он объясняет важность экспериментов, призванных смягчить последствия сбоев в ИТ-системах. Вы, наверное, уже слышали про Chaos Monkey (или даже применяли подобные решения)? На сегодняшний день подходы к созданию подобных инструментов и их реализация в более широком контексте осуществляются в рамках деятельности, которую называют chaos engineering. Подробнее о ней читайте в этой статье.



«Но за всей этой красотой скрывается хаос и безумие». — Tanner Walling

Пожарные. Эти высококвалифицированные специалисты каждый день рискуют жизнью, борясь с огнем. Знаете ли вы, что перед тем, как стать пожарным, необходимо провести в тренировках минимум 600 часов? И это только начало. Согласно отчетам, пожарные тренируются до 80% своего рабочего времени.

Почему?

Total votes 43: ↑42 and ↓1+41
Comments3

Валютный рынок и финансовая инженерия в Средние века

Reading time6 min
Views34K

«Алчность». Миниатюра из манускрипта. Генуя, ок. 1330 г., Британская библиотека

Как известно, в Средние века Римско-католическая церковь не очень-то жаловала ростовщиков. В наказание за грех ростовщичества можно было схлопотать отлучение от церкви, что гарантировало попадание в ад после смерти. Согласно Данте, на седьмом круге ада ростовщиков (а также богохульников и содомитов) ожидали пустынные горючие пески и огненный дождь. Стоит отметить, что если сегодня мы обычно называем ростовщичеством взимание неоправданно высоких, грабительских, процентов, то в Средневековье Церковь считала грехом и карала за требование любой суммы сверх тела долга, даже самой ничтожной. В довесок грешником становился не только сам ростовщик, но и его должник, согласившийся выплачивать проценты. 

Нужно ли говорить, что средневековые банкиры проявляли недюжинную изворотливость, чтобы кредитовать клиентов в таком неблагоприятном инвестиционном климате? К XIV веку коллективная мысль придумала сразу несколько уловок, чтобы обойти религиозный запрет. 
Читать дальше →
Total votes 117: ↑114 and ↓3+111
Comments62

Способ организации коллективного изучения теории в ходе семестра

Reading time6 min
Views2.2K

Всем привет! Год назад я написал статью про то, как я организовывал университетский курс по обработке сигналов. Судя по отзывам, в статье много интересных идей, но она большая и тяжелочитаемая. И я давно хотел разбить её на более маленькие и написать их понятнее.


Но писать одно и то же два раза как-то не получается. Вдобавок, в этом году дали о себе знать существенные проблемы в организации этого курса. Поэтому я решил написать несколько статей про каждую из идей в отдельности, порассуждать о плюсах и минусах.


Это первая статья — про способ организовать студентов так, чтобы они активно изучали теорию в ходе семестра, а не в последние дни перед экзаменом.

Читать дальше →
Total votes 11: ↑10 and ↓1+9
Comments22

Солнечная электростанция на дом 200 м2 своими руками

Reading time15 min
Views172K
Частенько в сети проскакивают сообщения о борьбе за экологию, развитие альтернативных источников энергии. Иногда даже проводят репортажи о том, как в заброшенной деревне сделали солнечную электростанцию, чтобы местные жители могли пользоваться благами цивилизации не 2-3 часа в сутки, пока работает генератор, а постоянно. Но это всё как-то далеко от нашей жизни, поэтому я решил на своем примере показать и рассказать, как устроена и как работает солнечная электростанция для частного дома. Расскажу обо всех этапах: от идеи до включения всех приборов, а также поделюсь опытом эксплуатации. Статья получится немаленькая, поэтому кто не любит много букв могут посмотреть ролик. Там я постарался рассказать то же самое, но будет видно, как я все это сам собираю.


Total votes 90: ↑90 and ↓0+90
Comments525

Пара слов в защиту монолита

Reading time6 min
Views14K
Сравниваем особенности микросервисной и монолитной архитектуры, их преимущества и недостатки. Статья подготовлена для Хабра по материалам нашего митапа Hot Backend, который прошел в Самаре 9 февраля 2019 года. Мы рассматриваем факторы выбора архитектуры в зависимости от конкретной задачи.
Читать дальше →
Total votes 25: ↑24 and ↓1+23
Comments10

Web tools, или с чего начать пентестеру?

Reading time11 min
Views48K
Продолжаем рассказывать о полезных инструментах для пентестера. В новой статье мы рассмотрим инструменты для анализа защищенности веб-приложений.

Наш коллега BeLove уже делал подобную подборку около семи лет назад. Интересно взглянуть, какие инструменты сохранили и укрепили свои позиции, а какие отошли на задний план и сейчас используются редко.

Читать дальше →
Total votes 46: ↑46 and ↓0+46
Comments8

Подборка датасетов для машинного обучения

Reading time6 min
Views153K
Привет, читатель!

Меня зовут Рушан, и я автор Telegram‑канала Нейрон. Не забудьте поделиться с коллегами или просто с теми, кому интересны такие статьи.

Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов.

Меньше слов, больше данных.

image

Подборка датасетов для машинного обучения:


Читать дальше →
Total votes 66: ↑64 and ↓2+62
Comments6

Фибоначчи на собеседовании

Reading time8 min
Views126K
Вычисление ряда Фибоначчи — это классическая алгоритмическая задача, потому её нередко дают на собеседованиях, когда хотят проверить, что кандидат в принципе хоть как-то умеет в алгоритмы. Предположим, вы тот самый кандидат. Вам дали задание: на языке JavaScript написать функцию fib(n), возвращающую энное число Фибоначчи. Считаем, что нулевое число Фибоначчи — это нуль. Проверка корректности аргумента не требуется. Какие у вас есть варианты?

image
Выбирай мудро
Total votes 183: ↑177 and ↓6+171
Comments135

Docker — это игрушка или нет? Или всё-таки да?

Reading time7 min
Views52K

Всем привет!


Ооочень хочется прям сразу приступить к теме, но правильнее будет немного рассказать про мою историю:


Вступление


Я программист с опытом разработки frontend одностраничных приложений, scala/java и nodejs на сервере.


Довольно долго (уже точно пару — тройку лет), я придерживался мнения, что docker это манна небесная и вообще очень крутой инструмент и абсолютно каждый разработчик должен уметь пользоваться им. А отсюда вытекает, что и у каждого разработчика должен стоять docker на локальной машине. Да что там про моё мнение, вы полистайте вакансии, которые размещаются на том же hh. В каждой второй есть упоминание про docker и если вы им владеете — это будет вашим конкурентным преимуществом ;)


На своем пути я встечался с многими людьми, с их разным отношением к docker и к его экосистеме. Одни говорили, что это удобная вещь, гарантирующая кроссплатформенность. Вторые не понимали зачем им запускаться в контейнерах и какой профит от этого, третьим было вообще пофиг и они не парились (просто писали код и уходили домой — завидую, кстати, им :) )

Читать дальше →
Total votes 111: ↑69 and ↓42+27
Comments310

Другой Github 2: машинное обучение, датасеты и Jupyter Notebooks

Reading time6 min
Views19K


Несмотря на то, что в интернете существует множество источников свободного программного обеспечения для машинного обучения, Github остается важным центром обмена информацией для всех типов инструментов с открытым исходным кодом, используемых в сообществе специалистов по машинному обучению и анализу данных.

В этой подборке собраны репозитории по машинному обучению, датасетам и Jupyter Notebooks, ранжированные по количеству звезд. В предыдущей части мы рассказывали о популярных репозиториях для изучения работ по визуализации данных и глубокому обучению.
Читать дальше →
Total votes 47: ↑45 and ↓2+43
Comments1

Information

Rating
Does not participate
Location
Киев, Киевская обл., Украина
Registered
Activity