Как стать автором
Обновить
12
Карма
0
Рейтинг
Александр @disc

Веб-разработчик

150+ хакерских поисковых систем и инструментов

Блог компании Бастион Информационная безопасность *Поисковые технологии *

Все таргетированные хакерские атаки начинаются с разведки. Социальные инженеры, красные команды и отдельные пентестеры также собирают информацию о своих целях перед тем, как перейти к активным действиям. Им помогают десятки инструментов и хаков. Под катом ссылки на некоторые из них.

Пост состоит из 8 объемных разделов:

1. метапоисковики и поисковые комбайны;

2. инструменты для работы с дорками;

3. поиск по электронной почте и логинам;

4. поиск по номерам телефонов;

5. поиск в сети TOR;

6. поиск по интернету вещей, IP, доменам и поддоменам;

7. поиск данных об уязвимостях и индикаторов компрометации;

8. поиск по исходному коду.

В этом списке собраны инструменты, которые члены нашей команды используют в работе. И все же, эта подборка пригодится не только пентестерам, но и разработчикам, журналистам, HR, маркетологам и всем, кто много ищет в интернете. Знания — это сила. Используйте их во благо.

Читать далее
Всего голосов 64: ↑61 и ↓3 +58
Просмотры 37K
Комментарии 6

Синдром самозванца у айтишников. Немного логики для тех, кто подумывает писать в блоги

Habr Учебный процесс в IT Контент-маркетинг *Карьера в IT-индустрии Управление медиа *

Imposter Phenomenon – это когда человек считает свой успех или результаты работы удачным стечением обстоятельств и не приписывает их своим стараниям или личным качествам. В результате он не готов об этом говорить и делиться полученным опытом.

Среди разработчиков и айтишников – достаточно распространенное явление. По тем источникам, которые мне попадались, да и по собственным наблюдениям, себя недооценивают 60-75% активных и талантливых людей. Проблема эта исключительно психологическая. Т.е. от нее вполне можно избавиться путем определенных логических рассуждений, плюс некоторыми установками, которые вернут человека к объективной реальности. Ну и поскольку я наблюдаю за этими процессами не первый год, хочу поделиться определенными умозаключениями. Вдруг кому поможет.

Читать далее
Всего голосов 44: ↑39 и ↓5 +34
Просмотры 26K
Комментарии 42

Live site review. Разбираем инциденты

Блог компании AvitoTech Тестирование веб-сервисов *Тестирование мобильных приложений *

Нам важно, чтобы Авито стабильно и надёжно работал. Но бывает, что несмотря на наши усилия, что-то ломается. Это может быть железо или какой-то архитектурный компонент под высокой нагрузкой. В этом случае важно починить возникшую проблему как можно быстрее. Для этого у нас есть развесистая система мониторинга и алертов, а также служба круглосуточных дежурных.


Помимо того, чтобы быстро восстановить работу сервиса, важно избежать повторения проблем там, где это возможно. А там, где предотвратить аварии совсем нельзя, — минимизировать ущерб как для пользователей, так и для сотрудников.


Поэтому кроме круглосуточного мониторинга у нас есть процесс разбора инцидентов. И сами пожары на проде, и работы по анализу проблем мы называем live site review или LSR. Я отвечаю за часть работ с LSR после пожаротушения и хочу поделиться нашими наработками.


Читать дальше →
Всего голосов 24: ↑24 и ↓0 +24
Просмотры 7K
Комментарии 7

Пишем движок полнотекстового поиска на Go

Поисковые технологии *Go *
Перевод
Полнотекстовый поиск — один из тех инструментов, которые мы используем практически каждый день, когда ищем какую-то информацию в интернете. Full-Text Search (FTS) — это метод поиска текста в коллекции документов. Документ может ссылаться на веб-страницу, газетную статью, сообщение электронной почты или любой структурированный текст.

Сегодня мы собираемся написать собственный движок FTS. К концу этой статьи он сможет выполнять поиск по миллионам документов менее чем за миллисекунду. Начнём с простых поисковых запросов, таких как «Выдать все документы со словом cat», а потом расширим движок для поддержки более сложных логических запросов.

Примечание: самым известным движком полнотекстового поиска является Lucene (а также Elasticsearch и Solr, построенные на его основе).
Читать дальше →
Всего голосов 47: ↑46 и ↓1 +45
Просмотры 15K
Комментарии 23

Как живется в США «неайтишникам». Другая сторона

Образование за рубежом IT-эмиграция Биотехнологии Изучение языков
image

На Хабре есть не только айтишники. Тут и электрики, и схемотехники, и химики, и маркетологи и кого только нет. И возможность переезда в другую страну в качестве специалиста широкого профиля интересна и им тоже. В довесок к истории Дудя и аналогичным статьям я хочу рассказать свою историю про переезд в США, на противоположный от Калифорнии берег с противоположной от IT профессии. Про жизнь, траты, поиск и смены работы и перспективы. Мне 36, я по образованию биотехнолог, семья — два человека, английский язык — так себе. Живу в Северной Каролине почти два года.

Поскольку написанного вышло много, вот короткая версия. При переезде практически гарантировано снижение социального статуса. Прожить можно на $1500. Средняя зарплата «неайтишника» $30к-50к в год. Средняя стоимость дома $200к. Получить медицинскую страховку бесплатно можно. Много плюшек от государства. Поиск нормальной работы очень нетривиален. Язык сам не учится, но есть бесплатные курсы. Жить комфортно. Наше образование никому не нужно. Очень многие мечтают о карьере в IT.

Важно! Все что я тут пишу это исключительно мой опыт и мое мнение. Я не претендую на истину в последней инстанции, а просто рассказываю как это было у меня, тем более что у всех неайтишных мигрантов весь путь довольно похожий.
Читать дальше →
Всего голосов 335: ↑332 и ↓3 +329
Просмотры 234K
Комментарии 561

Все финансовые рынки мира в API Яху Финанс

Python *Алгоритмы *Node.JS *API *Финансы в IT
В этой статье я расскажу об API агрегатора финансовых данных Yahoo! Finance. В рассказе есть один нюанс — официальное API Яху Финанс было закрыто три года назад, однако практически сразу же появилась его недокументированная работоспособная версия, которая жива до сих пор. Хочу в исследовательских целях рассказать об использовании этой работоспособной версии подробнее.
Тем более, что список рынков, данные с которых можно получать через Яху Финанс огромен. На текущий момент в нем 79 стран, включая и Россию.


Apple Inc. (AAPL) на сайте и в API Яху Финанс
Разбор API Yahoo! Finance
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 60K
Комментарии 40

Руководство Google по стилю в C++. Часть 10

C++ *
Перевод
Часть 1. Вступление

Часть 9. Комментарии
Часть 10. Форматирование
Часть 11. Исключения из правил


Эта статья является переводом части руководства Google по стилю в C++ на русский язык.
Исходная статья (fork на github), обновляемый перевод.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 18K
Комментарии 27

Микросервисы на Go с помощью Go kit: Введение

Go *Микросервисы *
Перевод

В этой статье я опишу использование Go kit, набора инструментов и библиотек для создания микросервисов на Go. Эта статья — введение в Go kit. Первая часть в моем блоге, исходный код примеров доступен здесь.

Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 46K
Комментарии 7

Топ-10 самых распространенных ошибок, которые мне встречались в Go-проектах

Go *
Перевод
Этот пост — мой топ самых распространенных ошибок, которые встречались мне в Go-проектах. Порядок не имеет значения.

image

Неизвестное значение Enum


Давайте взглянем на простой пример:

type Status uint32

const (
	StatusOpen Status = iota
	StatusClosed
	StatusUnknown
)

Здесь мы создаем энумератор с помощью iota, что приведет к такому состоянию:

StatusOpen = 0
StatusClosed = 1
StatusUnknown = 2
Читать дальше →
Всего голосов 26: ↑23 и ↓3 +20
Просмотры 7.8K
Комментарии 7

Дополненная реальность Господина Старшего Консультанта (рассказ)

Читальный зал Научная фантастика

Предисловие


Цикл рассказов «Господин Старший Консультант» я начал публиковать давно, и ранее это могли прочитать только друзья и коллеги. Это первая публикация одного из рассказов цикла на публичном ресурсе, и вообще первая моя публикация на Хабре (не судите строго).

Пролог


Вторая половина 10х годов ознаменовалась бурным развитием технологий виртуальной и дополненной реальности. Множество компаний одновременно выпустили очки VR, шлемы VR, а также очки дополненной реальности (которые позволяют увидеть Вам не только то, что находится в реальном мире, но и то, что находится в виртуальном мире в привязке к реальному).

Нанософт


Солнце, прорываясь сквозь утренний смог, лениво вползало на небосвод. Дэн закончил загрузку в систему последней пачки видеофайлов. Суммарный объем видео и фото материалов с крошкой Сью на его накопителе достигал 5 террабайт. Он похоронил Сью 2 года назад на загородном кладбище, после чего они как-то незаметно разошлись с женой, и он остался жить один, среди пива, компьютеров и старых постеров на стенах.

Последняя разработка компании Нанософт, где работал Дэн, позволяла собрать виртуальный образ из реальных материалов. Пакет программ был новый, на рынок еще не вышел, но инженеры компании могли уже тестировать его под свою личную ответственность. Дэн запустил задачу рассчета нового образа и завалился на диван. Нужно было немного поспать, глаза слезились, мысли путались. В четыре часа утра, после двух суток непрерывной работы, он чувствовал себя полностью разбитым.
Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 2.7K
Комментарии 10

Микросервисы, API и инновации: вся сила API

Блог компании Издательский дом «Питер» Высокая производительность *API *Дизайн Микросервисы *
Перевод
Привет всем!



Сегодня мы хотели предложить вам перевод программной статьи небезызвестного Майка Амундсена, ведущего архитектора из API Academy. В этом сравнительно небольшом тексте Майк толково рассказывает, зачем требуется уделять особое внимание разработке API, и как API делаются правильно.
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 10K
Комментарии 1

Вычисляем по IP: как бороться со спамом в социальной сети

Блог компании Badoo Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *Машинное обучение *Конференции
Спам в социальных сетях и мессенджерах — это боль. Боль и для честных пользователей, и для разработчиков. Как с ней борются в Badoo, рассказал Михаил Овчинников на Highload++, далее текстовая версия этого доклада.


О спикере: Михаил Овчинников работает в Badoo и последние пять лет занимается антиспамом.

В Badoo зарегистрировано 390 миллионов пользователей (данные на октябрь 2017). Если сравнивать размер аудитории сервиса с населением России, то можно сказать, что в нашей стране по статистике каждых 100 млн человек охраняет 500 тысяч полицейских, а в Badoo каждые 100 млн пользователей защищает от спама всего один сотрудник Антиспама. Но даже такое небольшое количество программистов способно защитить пользователей от разных неприятностей в интернете.
Всего голосов 76: ↑72 и ↓4 +68
Просмотры 39K
Комментарии 50

Как перейти на gRPC, сохранив REST

Программирование *API *Go *Разработка систем связи *
Туториал

Многие знакомы с gRPC — открытым RPC-фреймворком от Google, который поддерживает 10 языков и активно используется внутри Google, Netflix, Kubernetes, Docker и многими другими. Если вы пишете микросервисы, gRPC предоставляет массу преимуществ перед традиционным подходом REST+JSON, но на существующих проектах часто переход не так просто осуществить из-за наличия уже использующихся REST-клиентов, которые невозможно обновить за раз. Нередко общаясь на тему gRPC можно услышать "да, мы у нас в компании тоже смотрим на gRPC, но всё никак не попробуем".


Что ж, этой проблеме есть хорошее решение под названием grpc-rest-gateway, которое занимается именно этим — автогенерацией REST-gRPC прокси с поддержкой всех основных преимуществ gRPC плюс поддержка Swagger. В этой статье я покажу на примере как это выглядит и работает, и, надеюсь, это поможет и вам перейти на gRPC, не теряя существующие REST-клиенты.


Читать дальше →
Всего голосов 12: ↑10 и ↓2 +8
Просмотры 84K
Комментарии 16

Как единственная строка древнего кода целых полгода сводила с ума разработчиков MMORPG

Разработка игр *Отладка *Игры и игровые консоли
Перевод

Чаще всего от разработчиков игр можно услышать очень простую фразу: удивительно, что игры вообще выходят. Игры — это усложнённые, неприручённые чудовища, соединённые чем-то вроде цифровой изоленты. Не удивительно, что они разваливаются на части.

Aliens: Colonial Marines была проблемной по многим причинам, но быстро стала всеобщим посмешищем, когда появились подобные виральные клипы, в которых ксеноморфы бессмысленно бродят по уровням. В этом месяце разработчик модов обнаружил, что причиной глупейшего поведения ИИ «чужих» стала одна ошибка в коде игры. (Об этом была статья на Хабре.) Упс. Но это не единственный случай за этот год, когда игра оказывалась унижена из-за упущенной клавиатурной опечатки. В начале 2018 года фанаты обнаружили, что ИИ Civilization VI подозрительно ударяется в религию: дело оказалось в том, что слово «yield» в коде было написано как «yeild».

Поэтому неудивительно узнать, что в разработке игр полно таких моментов.

Леа Миллер несколько лет работала дизайнером в бывшем разработчике MMO-игр Mythic Entertainment. Она занималась сценариями, дизайном контента и систем для Dark Age of Camelot и Warhammer Online: Age of Reckoning. В момент выпуска студия стала получать от фанатов жалобы: игра казалась медленной и малоотзывчивой. Игроки не могли определить, в чём конкретно была причина.
Читать дальше →
Всего голосов 56: ↑56 и ↓0 +56
Просмотры 61K
Комментарии 84

Устаревший код – сторонний код

PHP *Проектирование и рефакторинг *
Перевод
image

В TDD-сообществе существует совет, который говорит о том, что мы не должны использовать mock-объекты для типов, которыми не владеем. Я считаю, что это хороший совет, и стараюсь следовать ему. Конечно, есть люди, которые говорят, что мы вообще не должны использовать mock-объекты. Независимо от того, какого мнения вы придерживаетесь, совет «не имитировать то, что не ваше» – содержит в себе еще и скрытый смысл. Люди часто пропускают его мимо ушей, видя слово «mock» и впадая в ярость.
Читать дальше →
Всего голосов 35: ↑33 и ↓2 +31
Просмотры 13K
Комментарии 35

Рефакторинг программы на Go: ускорение в 23 раза

Блог компании Badoo Высокая производительность *Программирование *Проектирование и рефакторинг *Go *
Перевод


Привет! Меня зовут Марко, я работаю в Badoo в отделе «Платформы». У нас довольно много всего написано на Go, и зачастую это критичные к производительности системы. Именно поэтому сегодня я предлагаю вашему вниманию перевод статьи, которая мне очень понравилась и, я уверен, будет вам очень полезна. Автор пошагово показывает, как он подходил к проблемам производительности и как их решал. В том числе вы познакомитесь с богатым инструментарием, доступным в Go для такой работы. Приятного чтения!

Несколько недель назад я прочитал статью «Хороший код против плохого кода в Go», где автор шаг за шагом демонстрирует рефакторинг реального приложения, решающего реальные бизнес-задачи. Она сфокусирована на превращении «плохого кода» в «хороший код»: более идиоматичный, более понятный, полноценно использующий специфику языка Go. Но автор также заявлял о важности производительности рассматриваемого приложения. Во мне взыграло любопытство: давайте попробуем её ускорить!
Всего голосов 94: ↑93 и ↓1 +92
Просмотры 32K
Комментарии 26

Полный гайд по бэкордеру доменов

Администрирование доменных имен *
Из песочницы
Привет, хабрасообщество. Прошел мой первый успешный захват домена. И сегодня расскажу, что узнал в процессе бэкордера, свои наблюдения и то, как получить хороший занятый домен.

Для чего нужен бэкордер


В популярных доменных зонах (.com, .net, .org) заняты самые короткие и звучные домены.
Существует возможность не пользоваться свободными доменами второго сорта, а перехватить хороший. Часто освобождаются даже трехбуквенные домены, минимальная стоимость которых на вторичном рынке — 17800 $.
Читать дальше →
Всего голосов 23: ↑21 и ↓2 +19
Просмотры 23K
Комментарии 22

27 отличных open source-инструментов для веб-разработки

Блог компании NIX Веб-дизайн *Разработка веб-сайтов *Разработка под e-commerce *Тестирование веб-сервисов *
Перевод


Перевод 27 Amazing Web Development Tools for the Past Year (v.2018)

В 2017-м мы сравнили около 7 500 open source-инструментов для веб-разработки, из которых выбрали 27 лучших (0,4%). Это крайне конкурентный список, в который вошли инструменты, библиотеки и проекты, опубликованные в течение 2017-го. Mybridge AI оценивает их качество на основании популярности, заинтересованности и новизне. Чтобы было понятно, у выбранных продуктов среднее количество звёзд на Github — 5260.

Open source-инструменты могут почти даром повысить вашу продуктивность. Также вы можете чему-то научиться, читая исходный код и создавая что-нибудь на основе этих проектов. Так что рекомендуем уделить время и поэкспериментировать с инструментами из нашей подборки, возможно, какие-то из них прошли мимо вас.
Читать дальше →
Всего голосов 70: ↑55 и ↓15 +40
Просмотры 50K
Комментарии 10

DevConf: как ВКонтакте шел к своей платформе для live-трансляций

Блог компании DevConf Разработка веб-сайтов *Работа с видео *Сетевые технологии *
DevConf 2018 состоится 18 мая в Москве, в Digital October. А мы продолжаем публиковать доклады с прошлогодней конференции. На очереди доклад Алексея Акуловича из ВКонтакте, где он поведает о том, о чем внимательные читатели уже догадались по сабжу.


В 2015 году мы использовали стороннее решение. Мы встраивали(embed) его плеер на сайт как youtube и оно работало. Работало не идеально, но на тот момент оно нас устраивало по объему трансляций, который через него можно было пустить, а также по качеству и задержкам, которые оно давало. Но мы из него довольно быстро выросли.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 3.5K
Комментарии 0

Проблемы при работе с кэшем и способы их решения

Блог компании Badoo Высокая производительность *Разработка веб-сайтов *PHP *
Привет, Хабр!

Меня зовут Виктор Пряжников, я работаю в SRV-команде Badoo. Наша команда занимается разработкой и поддержкой внутреннего API для наших клиентов со стороны сервера, и кэширование данных — это то, с чем мы сталкиваемся каждый день.

Существует мнение, что в программировании есть только две по-настоящему сложные задачи: придумывание названий и инвалидация кэша. Я не буду спорить с тем, что инвалидация — это сложно, но мне кажется, что кэширование — довольно хитрая вещь даже без учёта инвалидации. Есть много вещей, о которых следует подумать, прежде чем начинать использовать кэш. В этой статье я попробую сформулировать некоторые проблемы, с которыми можно столкнуться при работе с кэшем в большой системе.



Я расскажу о проблемах разделения кэшируемых данных между серверами, параллельных обновлениях данных, «холодном старте» и работе системы со сбоями. Также я опишу возможные способы решения этих проблем и приведу ссылки на материалы, где эти темы освещены более подробно. Я не буду рассказывать, что такое кэш в принципе и касаться деталей реализации конкретных систем.

При работе я исхожу из того, что рассматриваемая система состоит из приложения, базы данных и кэша для данных. Вместо базы данных может использоваться любой другой источник (например, какой-то микросервис или внешний API).
Читать дальше →
Всего голосов 62: ↑62 и ↓0 +62
Просмотры 34K
Комментарии 22

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность