Как стать автором
Обновить
9.77

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Как работать с Amazon SP-API: инструкция для начинающих

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров224

Этот текст я написал для людей, которые как и я, ещё 3 месяца назад про Python только слышали. Для тех, кто неплохо знает английский, но иногда хочет простого русского «ща сделаем». Для тех, кто решил написать свой первый запрос для API Amazon и не понимает, почему ничего не работает.

Писать скрипт для Amazon SP‑API — это как пытаться собрать мебель из IKEA без инструкции: сначала ты рад, что купил новинку, а потом мучаешься, пытаясь понять, как это вообще работает. Вернее, в данном случае инструкции есть, но по словам самой же поддержки Amazon она «не полностью отражает возможности сервиса».

В этой статье я расскажу, как выполнить самый простой запрос на получения токена, сформировать любой доступный отчет (зависит от вашего «статуса»), выгрузить и правильно его прочитать.

Небольшое отступление. Возможно, название некоторых переменных, функций или чего бы то ни было ещё, покажутся вам странными. Прошу отнестись с пониманием — я умею писать на C#, но опыта с Python у меня мало и он на уровне «посмотрел два четырехчасовых ролика на Youtube». Я уверен, что можно что‑то оптимизировать, использовать библиотеки и так далее. Но мы рассматриваем первые шаги, которые лично мне было крайне сложно сделать, потому что желание помогать у поддержки Amazon отсутствует, как и внятная инструкция на русском языке (а часто и на английском тоже). Все обсуждают отдельные ошибки, а не работу скриптов в целом.

Читать далее
Рейтинг0
Комментарии0

Новости

Разработка Telegram бота для подготовки к собеседованиям

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров3.1K

Количество выпускников онлайн-школ продолжает расти, однако многие сталкиваются с трудностями при поиске первой работы в IT. Да и джунам, у которых есть небольшой опыт приходится несладко (статистики у меня нет, просто по общим наблюдениям в соц. сетях). У них встает резонный вопрос: Как подготовиться к собеседованию в IT? Хотелось сделать продукт, от которого будет польза при подготовки к собесам, но который бы обходился для меня минимумом затрат.

Кроме того, хотелось разработать свой продукт от идеи и до запуска. В итоге, в ходе разработки я испытал все, даже хайринг людей в команду.

Читать далее
Всего голосов 8: ↑5 и ↓3+4
Комментарии0

Как заработать миллионы на крахе Nvidia?

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров21K

О том, как устроен глобальный рынок чипов, какие изменения на рынке уже происходят, как сильно это может перестроить сектор экономики, и как тут заработать простому человеку.

Читать далее
Всего голосов 25: ↑13 и ↓12+2
Комментарии47

Настройка CI/CD для AWS Lambda с CodePipeline и SAM CLI

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров556

Приветствую! Сегодня я расскажу вам, как настроить CI/CD для AWS Lambda с использованием AWS CodePipeline и AWS SAM CLI. Если вы хотите автоматизировать процесс деплоя серверлесс-приложений и избавиться от рутины, то эта статья для вас.

Читать далее
Всего голосов 8: ↑8 и ↓0+13
Комментарии0

Истории

Как мы разработали приложение для знакомств в Telegram

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.9K

С уходом Tinder из России и Беларуси открылась довольно широкая ниша для приложений специализирующихся на знакомствах. Некоторые из таких приложений пошли в жестокую монетизацию, высасывая из пришедших бедолаг деньги, не рассчитывая на длительный успех, некоторые заняли свою нишу и ведут себя более скромно. Однако по нашему субъективному мнению не все пользователи тиндер нашли для себя замену и все еще жаждут новых знакомств. Поэтому мы решили ворваться в этот рынок и сделать доступное для всех приложение, где каждый смог бы найти для себя кого‑то интересного. Сейчас все расскажем подробнее.

Читать далее
Всего голосов 11: ↑5 и ↓6+3
Комментарии20

Как поднять на VDS свой веб-сервер. Пошаговое руководство для новичков

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров7.3K

Содержание статьи полностью соответствует заголовку: данный материал написан с целью помочь тем, кто никогда еще не устанавливал и не тюнинговал веб-сервер для своего корпоративного сайта или личного блога, передоверяя эту работу техническому специалисту либо используя шаред-хостинг. Автор step-by-step проведет вас через все перипетии данного действа, в результате чего, даже если подобное в новинку, вы без особых проблем (ну, я надеюсь) получите в итоге готовое и безопасное решение.

Читать далее
Всего голосов 11: ↑3 и ↓8+1
Комментарии14

Парсинг Амазона на easy без мам, пап и ипотек

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.3K

Попался мне на глаза на просторах интернета скрипт, который позволяет парсить карточки товаров с Амазона. А мне как раз было необходимо решение подобной задачи.

Я сломал себе голову в поисках того, как спарсить карточки товаров в Амазоне. Проблема в том, что у Амазона используется разные варианты дизайна под различную выдачу, в частности – если необходимо спарсить карточки по поисковому запросу «bags» - карточки будут расположены вертикально, как мне и нужно, а вот если взять, к примеру «t-shirts» - тут уже карточки расположены горизонтально, и с таким расположение скрипт выпадает в ошибку, он отрабатывает открытие страницы, но не хочет скроллить.

Читать далее
Всего голосов 12: ↑6 и ↓6+5
Комментарии9

Использование Verified Permissions для реализации точной авторизации в высоконагруженных приложениях

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров1.3K

Техники оптимизации функции авторизации в современных веб-приложениях.

В статье рассматриваются эффективные подходы к управлению точной авторизацией с использованием Amazon Verified Permissions (читай Cedar Engine). Вы узнаете о техниках пакетной авторизации и кэширования ответов, которые помогут значительно повысить производительность и отзывчивость приложений.

Читать
Всего голосов 7: ↑6 и ↓1+7
Комментарии9

Почему похудеть возможно только с помощью программирования?

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров12K

В этой статье будет две части: техническая, про приложение на Java, написанное для AWS, и демагогически разглагольствующая про похудение, мотивацию и как это связанно с программированием. Если вам интересна только техническая часть, то можете прыгнуть к парраграфу "Техническая часть", а если нет, то приглашаю к части рассужденческой:

Читать далее
Всего голосов 7: ↑4 и ↓3+3
Комментарии14

Сравнение сервисов для анализа документов AWS Textract, Azure Document Intelligence и Ripper Service от Технологики

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров781

Бизнес все чаще и чаще предпочитают отдать искусственному интеллекту извлечение данных из документов: при таком подходе меньше ошибок и выше скорость обработки документов. И все чаще звучит вопрос — каким решением пользоваться и к какому подрядчику пойти за оказанием услуги?

Поэтому мы сделали сравнительный обзор двух популярных решений от лидеров рынка по обработке документов — AWS Textract, Microsoft Azure Document Intelligence и собственного решения Ripper Service. Сравнивали решения по нескольким основаниям: по производительности, по результатам извлечения значений из форм, а также по стоимости.

Надеемся, что данная статья будет полезна руководителям компаний, которые уже задумались о применении ИИ для массовой обработки документов.

Читать далее
Всего голосов 3: ↑2 и ↓1+3
Комментарии1

Terraform: поиск оптимального написания кода

Уровень сложностиСредний
Время на прочтение18 мин
Количество просмотров5.3K

Всем привет и добро пожаловать!

Сегодня хочу поделиться, к каким выводам и рекомендациям я пришёл за несколько лет практического использования Terraform в разнообразных сценариях, как результат его эксплуатации с множеством Terraform Providers (не только облачных), от подготовки окружения под конкретные сервисы до создания инфраструктуры всей компании.

Для начала давайте определим, что такое Terraform.

Terraform - это инструмент, который позволяет безопасно и эффективно создавать, изменять и управлять облачными и локальными ресурсами, и который реализует концепцию "инфраструктура как код" (IaC) - Terraform Intro. Он предоставляет декларативную модель. Это значит, что мы описываем конечное состояние инфраструктуры или конкретного ресурса, и нам не нужно описывать пошаговые инструкции. Он имеет свой язык описания - HashiCorp Configuration Language (HCL). Далее этот код преобразуется в вызовы к API провайдера. О том, как работает Terraform, можно ознакомиться в его официальной документации.

Теперь давайте ответим на вопрос, а нужен ли вообще Terraform. Мой ответ - да. И вот собственно почему:

Читать далее
Всего голосов 10: ↑9 и ↓1+12
Комментарии5

Освоение журналов аудита Kubernetes

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.1K

Kubernetes предоставляет мощный инструмент, позволяющий создавать журналы аудита для каждого действия, запрашиваемого и выполняемого через API Kubernetes.

Понимание того, как настраивать, управлять и интерпретировать эти журналы, критически важно для поддержания безопасности и соответствия требованиям в средах Kubernetes. Конкретно эта статья посвящена исследованию безопасности Kubernetes.

Настройка журналов аудита Kubernetes

Чтобы настроить и активировать журналы аудита Kubernetes, необходимо добавить специальные аргументы в конфигурацию kube-apiserver. Самым важным является аргумент audit-policy-file, который указывает на файл политики аудита. Этот файл определяет, какие события следует регистрировать и уровень детализации этих записей.

Вот необходимые аргументы для включения:

Читать далее
Всего голосов 3: ↑3 и ↓0+6
Комментарии0

Клеточная архитектура

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров9.5K

Клеточная архитектура — это подход к проектированию систем, основанный на принципе изоляции и независимости компонентов. Такая модель позволяет разделить большие и сложные системы на меньшие, самостоятельно функционирующие модули или клетки. Каждая клетка представляет собой законченный функциональный блок с собственным набором ресурсов и зависимостей.

Основная цель такого разделения — минимизация радиуса поражения при возникновении сбоев и упрощение масштабирования системы.

Читать далее
Всего голосов 12: ↑8 и ↓4+7
Комментарии32

Ближайшие события

7 – 8 ноября
Конференция byteoilgas_conf 2024
МоскваОнлайн
7 – 8 ноября
Конференция «Матемаркетинг»
МоскваОнлайн
15 – 16 ноября
IT-конференция Merge Skolkovo
Москва
22 – 24 ноября
Хакатон «AgroCode Hack Genetics'24»
Онлайн
28 ноября
Конференция «TechRec: ITHR CAMPUS»
МоскваОнлайн
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань

Как я сдавал AWS Cloud Practioner в 2024

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров4K

Всем доброго вечера! Сегодня я хочу рассказать о том, как обстоят дела со сдачей экзаменов AWS в 2024 году, как лучше всего готовиться и к чему быть готовым во время подготовки и сдачи сертификата.

Читать далее
Всего голосов 11: ↑6 и ↓5+4
Комментарии10

Что такое Архитектура

Время на прочтение5 мин
Количество просмотров10K

Существует множество определений термина "Архитектура ПО", от устаревших и неформальных до слишком абстрактных и претендующих на остроумие. К примеру, можно упомянуть сайт Института Программной Инженерии (SEI) Университета Карнеги-Меллона, в электронной библиотеке которого есть соответствующий документ.

Читать далее
Всего голосов 10: ↑9 и ↓1+8
Комментарии6

Иммутабельность в механизме Durable Execution: проблемы и решение

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.4K

За последние годы мы наблюдаем всплеск разработки инструментов и платформ, обеспечивающих Durable Execution (устойчивое выполнение). Немного поясню его принцип.

Компьютеры на сегодня достигли таких скоростей, что могут записывать результат каждой нетривиальной задачи в постоянное хранилище. Это, в свою очередь, позволяет им прекрасно восстанавливаться после временного сбоя путём повторного выполнения по журналу всех завершённых задач до момента этого сбоя. Выполнив эти задачи, система спокойно продолжает работу с точки, где она была прервана. При достаточном внимании и осторожности такой механизм можно реализовать с минимальным влиянием на модель программирования или производительность, что, безусловно, очень ценно. Не так ли?
Читать дальше →
Всего голосов 29: ↑28 и ↓1+40
Комментарии0

Плюсы и минусы каждого инфраструктурного решения за четыре года работы в стартапе

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров12K

Последние четыре года я занимался в стартапе руководством инфраструктурой, которая должна была быстро масштабироваться. С самого начала я принял фундаментальные решения, которых компании нужно было придерживаться несмотря ни на что все эти четыре года. В посте я перечислю некоторые из важных решений, принятых мной, расскажу, сожалею ли я о них, или одобряю.
Читать дальше →
Всего голосов 31: ↑28 и ↓3+39
Комментарии6

Настройка Elastic Beanstalk для повышения отказоустойчивости и автоматического масштабирования

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1K

Всем привет! Сегодняшняя статья, как вы увидели в заголовке, посвящена настройке Elastic Beanstalk, а конкретно - балансировщика AWS и количества инстансов TagretGroup в зависимости от нужных нам условий.

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

AWS или Yandex Cloud? Выбираю облачный сервер для своего Pet-проекта

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров5.7K

Привет! Меня зовут Влад, и я software инженер. Сегодня я расскажу вам о своем опыте использования Yandex Cloud в качестве облачного сервера и о том, что из этого вышло. Вот, как всё началось:

Конец декабря, в воздухе витает аромат мандаринов и Нового Года. В предвкушении интересной поездки я открываю приложение РЖД, чтобы купить билет на поезд, и с ужасом обнаруживаю, что все билеты распроданы.

Читать далее
Всего голосов 14: ↑3 и ↓11-8
Комментарии15

Решение Амазон капчи Waf Captcha на полном автомате, имея за плечами практически нулевой опыт в разработке

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров2.2K

Небольшой эпиграф - если вы делаете инструкцию, так делайте ее до конца, а то в инструкции как решить Амазон капчу - джун ногу сломит.

Собственно к чему все это? Да к тому, что когда мне потребовалось решить капчу от Амазон, пресловутую Waf Captcha я пошел копать на сервис, которым постоянно пользуюсь при работе с Кей Коллектором, и некоторыми другими сервисами (2капча - жаль Хабр банит статьи за реферальные ссылки).

Ну и нашел там инструкцию, ссылку на которую собственно и привел выше. Как вам вероятно стало понятно из эпиграфа - я ни черта не понял, вернее я понял, что надо использовать АПИ, но на этом все...

С Селениумом было реально проще.

Главная проблема - малый таймаут, который выделяется на решение со стороны Амазона. Время на решение капчи ограничено и если ответа нет, то капча обновляется (у нее обновляются 2 параметра - iv и context).
Получается, что таймаут свежести капчи около 30 секунд, а за это время необходимо найти на странице параметры, скопировать их, вставить в код скрипта и запустить его, после этого 2капча должна ее решить и вернуть правильный ответ. Я пробовал это сделать пару безуспешных часа, вырабатывал автоматизм действий, но увы, на поиск и замену изменяемых параметров уходит не менее 12-15 секунд, и остается от 15 до 18 секунд мы решение капчи сервисом, что в нынешних реалиях звучит достаточно фантастически.

Тут нужен другой подход, искать и подставлять параметры должен скрипт, но как его написать человеку, который в своей жизни ничего сложнее Ahrefs не видел?

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Комментарии2
1
23 ...

Вклад авторов