Как стать автором
Обновить
При поддержке
6.15
Рейтинг

Serverless *

Технологии бессерверных вычислений

golodnyj Куратор

Подкастер

Сначала показывать
  • Новые
  • Лучшие
Порог рейтинга
  • Все
  • ≥0
  • ≥10
  • ≥25
  • ≥50
  • ≥100

Как писать посты в стиле Артемия Лебедева? Подробный анализ телеграм-канала и кое-что еще

Визуализация данных Машинное обучение *Искусственный интеллект Serverless *


Дисклеймер номер один: 18+. В этой статье присутствует ненормативная лексика, так как автор текстов, которые мы анализируем, не стесняется в выражениях. Мы не хотим никого задеть или оскорбить чьи-то чувства, присутствие мата объясняется лишь объектом нашего исследования.

Все знают телеграм-канал Артемия Лебедева, в котором очень часто можно увидеть хлесткое матерное слово, а некоторые его посты и вовсе неоднозначны. Я и мой коллега Егор решили как следует разобраться в семантике текстов Артемия, скачали все посты телеграм-канала и проанализировали его словарный диапазон. Сегодня мы обсудим важные этапы исследования и, что самое главное, обсудим аналитические выводы о телеграм-канале Артемия Лебедева

Изначально, мы поставили перед собой следующие задачи: собрать тексты всех постов и метаинформацию о них, получить динамику подписчиков на канале, а после провести описательный и семантический анализы собранных данных. Но нам удалось сделать даже больше — в результате мы смогли обучить нейронную сеть на текстах Артемия Лебедева.
Теперь мы можем писать тексты для тг-канала Лебедева без него самого. Правда-правда.
Хотите узнать как?

Читать дальше →
Всего голосов 41: ↑32 и ↓9 +23
Просмотры 17K
Комментарии 15

Новости

Модельная разработка мобильных приложений React Native и сайтов на React Native Web

JavaScript *Разработка мобильных приложений *ReactJS *Управление разработкой *Serverless *
Tutorial

Модельная разработка - это метод разработки мобильных приложений, при котором мы изначально ставим задачу в виде типизируемой модели(схемы) TypeScript и GraphQL, на уровне создания тикета в таск-менеджере.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 2.6K
Комментарии 0

Конвертируй это — с Yandex Message Queue

Serverless *

Довольно прозаичный и понятный в быту термин порой все еще вызывает вопросы в IT. Зачем при разработке приложений использовать очереди или сервисы очередей, чтобы автоматизировать этот процесс? Ответим на этот вопрос практическими примером — напишем в serverless-стеке Yandex.Cloud сервис для конвертации видео в GIF, используя Yandex Message Queue — ту самую очередь.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Просмотры 1.6K
Комментарии 1

Google Cloud Storage для статического сайта общедоступного или с ограничением доступа

Хостинг Разработка веб-сайтов *Google Cloud Platform *Serverless *

Рассмотрим задачу хостинга статичного веб-сайта, например, Leaflet карты с заранее посчитанными данными на ней или статичной 3D модели. Для этих целей можно воспользоваться статическим хостингом файлов на Google Cloud Storage. Кроме того, этот способ позволяет весьма просто ограничить доступ к сайту в веб-интерфейсе Google Cloud, указывая емайлы пользователей, которым доступ разрешен. За счет Google CDN и кэширования файлов можно не беспокоиться об обработке большой нагрузки, а добавление или удаление файлов доступно с помощью консольной утилиты gsutil и в веб-интерфейсе Google Cloud. Также не нужно заниматься получением и обновлением SSL сертификатов и созданием для них доменных имен. Буквально в несколько консольных команд получается масштабируемое и легко поддерживаемое решение с хранением данных в облаке Google и гарантией защиты данных.


Читать дальше →
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 1.1K
Комментарии 0

Инструменты для Serverless: расширяем возможности работы с бессерверными платформами

Облачные сервисы Serverless *

При работе с Serverless есть задачи, для которых базовой функциональности облачных платформ не хватает: использование бессерверных функций со сторонними API, локальная отладка приложения, объединение возможностей нескольких фреймворков. В ответ на эти вызовы появились специальные инструменты — бессерверные фреймворки. Они упрощают запуск проекта, повышают уровень защищённости приложения, а также позволяют быстро внести изменения в стек или архитектуру.

Инструментов для работы с бессерверными технологиями — великое множество, и в некоторых подборках рассматривается аж пятьдесят различных наименований. Но я сосредоточусь именно на фреймворках и расскажу о тех, что показались мне наиболее интересными и актуальными.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Просмотры 2.6K
Комментарии 0

Ох уж эти QR коды

CSS *JavaScript *Программирование *ReactJS *Serverless *

Пандемия, осеннее обострение, зима близко и QR коды на каждом шагу, роботы наступают, рутина работы затягивает. Хочешь покушать покажи картинку. Скучную и квадратную, для робота, не для человека.

Читать далее
Всего голосов 86: ↑83 и ↓3 +80
Просмотры 78K
Комментарии 63

Репликация логов в Object Storage при помощи Yandex Data Streams

Serverless *
Tutorial

Cloud Logging —отличный сервис для просмотра логов. Но у него есть ограничение —время хранения. Сейчас сервис находится в стадии превью, поэтому логи хранятся три дня. После выхода в General Availability это время, скорее всего, увеличится, но ненамного. И это будет небесплатно.

Но что делать, если вам хочется посмотреть историческую информацию или необходимо (например, по юридическим или регуляторным причинам) хранить логи дольше года. А еще бы делать это максимально просто и дешево.

Читать туториал далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 758
Комментарии 0

Экономика бессерверных вычислений

Serverless *
Перевод

Наша исходная задача заключалась в том, чтобы попытаться ответить на ряд актуальных вопросов, в частности: когда целесообразнее использовать AWS Lambda, а когда сервисы AWS EC2. А самое главное — разобраться, какие параметры играют в данном случае наибольшую роль.

Читать перевод далее
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 3.4K
Комментарии 2

Пишем логи из Container Optimized Image в Yandex Cloud Logging при помощи Fluent Bit

Serverless *
Tutorial

В прошлом посте я рассказал, как доставить логи из systemd. Теперь давайте разберёмся, как доставлять логи контейнеризированного приложения.

Читать далее
Всего голосов 18: ↑18 и ↓0 +18
Просмотры 1.4K
Комментарии 0

Холодные запуски AWS Lambda — решение проблемы

Serverless *
Перевод

Холодные запуски могут оказаться губительными для производительности AWS Lambda, особенно если вы создаёте клиентоориентированное приложение, которое должно работать в режиме реального времени. Представьте себе, что пользователь отправил приложению запрос, а ваша функция AWS Lambda ещё не запущена. В таком случае система AWS должна будет сначала развернуть ваш код и запустить новый контейнер — и только после этого выполнит запрос. Соответственно, выполнение запроса может занять гораздо больше времени: Lambda-функция начнёт работать только тогда, когда для неё будет готов контейнер.

Читать перевод далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 1.6K
Комментарии 0

Доставка логов с ВМ из systemd в Yandex Cloud Logging

Serverless *
Tutorial

Одна из самых частых и понятных задач в разработке и эксплуатации — доставка логов. И дальше в статье мы с вами используем Fluent Bit для доставки логов из виртуальной машины в сервис Yandex Cloud Logging.

Читать туториал далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 1.2K
Комментарии 0

Используем serverless для построения аналитики на данных из AmoCRM в Yandex.Cloud

Хранилища данных *Облачные сервисы Data Engineering *Serverless *
Из песочницы

Сегодня почти любая современная компания собирает, хранит и использует данные о своей деятельности, используя облачные технологии. В этой статье вы можете узнать о том, как можно вытащить данные из AmoCRM, обработать их с помощью функций и проанализировать с помощью DataLens. Этот кейс решила команда дата-аналитиков Valiotti Analytics совместно с командой Yandex.Cloud.

 

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 1.8K
Комментарии 3

Бессерверные контейнеры: куда смотреть, когда обычных функций не хватает

IT-инфраструктура *Облачные сервисы Serverless *

При работе с бессерверными функциями разработчикам необходимо подстраиваться под поддерживаемые провайдером языки программирования и библиотеки. Эта проблема решается с помощью бессерверных контейнеров: они позволяют запускать в облаке собственные контейнеры из образа, и у каждого своя изолированная вычислительная среда. В результате мы дополняем стандартные бонусы serverless-подхода, такие как масштабирование и Pay-as-you-go, гибкой настройкой окружения. В этой статье я расскажу, чем бессерверные контейнеры отличаются от бессерверных функций и что сейчас предлагают основные облачные провайдеры. 

Читать далее
Всего голосов 21: ↑21 и ↓0 +21
Просмотры 3.6K
Комментарии 4

Бессерверные вычисления — состояние индустрии

Serverless *
Перевод

Бессерверные вычисления становятся всё более популярны среди организаций любого размера, начиная с облачных стартапов и заканчивая крупными предприятиями. Благодаря бессерверным вычислениям команды разработчиков могут сосредоточиться на продвижении своих идей на рынке, не задумываясь об управлении инфраструктурой, — и платить только за фактически использованный объём ресурсов. При подготовке этого отчёта мы изучили миллионы бессерверных функций, выполняемых в тысячах компаний. Задача наша заключалась в том, чтобы понять, как же используются бессерверные вычисления в реальном мире.

Бессерверные вычисления применяются в широком спектре сценариев — от решения краткосрочных задач до создания ориентированных на пользователей приложений. AWS Lambda — наиболее проработанная и широко используемая FaaS-платформа, основанная на модели «функция как услуга», но далеко не единственная. Распространение таких систем, как Azure Functions и Google Cloud Functions, также идёт впечатляющими темпами. Сегодня бессерверная экосистема вышла уже далеко за пределы модели FaaS и теперь включает десятки сервисов, помогающих разработчикам создавать более быстрые и динамичные приложения. Четверть клиентов Amazon CloudFront уже используют бессерверные периферийные вычисления, а также применяют функции AWS Step Functions для управления прикладной логикой самых разных распределённых компонентов.

В этом отчёте мы расскажем вам о важнейших инсайтах и трендах бессерверного ландшафта.

Читать отчет далее
Всего голосов 23: ↑23 и ↓0 +23
Просмотры 3.9K
Комментарии 2

Calvin: обеспечение принципов ACID для высоконагруженных распределенных систем

Serverless *

Calvin — это подход к фиксации транзакций, который позволяет сохранить принципы ACID в распределенных системах без потери производительности. Впервые он был упомянут в работе Йельского университета в 2012 году. Calvin хорошо вписывается в целый класс бессерверных СУБД. Мы знаем как минимум две системы, в которых он используется: Yandex Database и FaunaDB, но, возможно, есть и другие.

Читать далее
Всего голосов 17: ↑15 и ↓2 +13
Просмотры 3.1K
Комментарии 4

Хранение видео в Yandex.Cloud

Serverless *

Если вам нужно добавить на свой сайт видео, то может возникнуть вопрос, где его хостить и как потом раздавать. В этом посте разберем варианты и рассмотрим примеры использования Yandex Object Storage.

Формат MP4 знаком, наверное, всем. Но если мы хотим показывать видео на сайте эффективно, то стоит задуматься: лучшее ли это решение для нашей задачи — просто выложить все видео одним файлом MP4?

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 4.7K
Комментарии 11

Борьба с холодным стартом serverless-функций: «подогрев» среды и оптимизация запуска контейнеров

IT-инфраструктура *Облачные сервисы Serverless *

Основная претензия при работе с serverless — время холодного старта, которым нельзя управлять «из коробки». Если функция стартует впервые за последние 5–25 минут, скорее всего запуск будет долгим — сотни миллисекунд. Причём статически типизированные языки имеют в разы большее время холодного запуска, которое может достигать нескольких секунд. Разработчики решают это на этапе загрузки своего кода, и им в помощь есть целые библиотеки. Например, они позволяют вызвать функцию заранее. Эти способы действительно сокращают время, но не устраняют проблему полностью и могут работать нестабильно. Параллельно этот вопрос пытаются решить и сами облачные провайдеры. Сегодня поговорим о том, как с холодным стартом справляются и те и другие.

Читать далее
Всего голосов 21: ↑20 и ↓1 +19
Просмотры 2.8K
Комментарии 1

Практика реализации Референсной архитектуры SDLC в Телекоме

Проектирование и рефакторинг *Управление разработкой *Биллинговые системы *Agile *Serverless *
Из песочницы

Практический опыт применения Референсной архитектуры в крупном swap-проекте для мобильного оператора связи.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 778
Комментарии 2

Kafka, RabbitMQ или AWS SNS/SQS: какой брокер выбрать?

Программирование *IT-инфраструктура *Serverless *
Перевод

Четкая работа микросервисных приложений в значительной степени зависит от передачи сообщений и асинхронных операций.

Правильный выбор брокера сообщений — это одно из первых важных решений, которое потребуется принять при разработке взаимодействующих сервисов. Поиск «правильного» решения может превратиться в мучительное сравнение функций и пограничных вариантов, которые мало отличаются друг от друга.

В этой статье я бы хотел немного прояснить ситуацию и рассказать о нескольких наиболее известных брокерах сообщений. Я рассмотрю задачи, под которые они разрабатывались, используемую в них общую модель обмена сообщениями и постараюсь помочь с выбором оптимального варианта.

Читать перевод далее
Всего голосов 25: ↑20 и ↓5 +15
Просмотры 10K
Комментарии 11

Бессерверные БД: зачем переводить Stateful-сервис в Serverless

Анализ и проектирование систем *Администрирование баз данных *Amazon Web Services *Google Cloud Platform *Serverless *

Сегодня бо́льшая часть production-решений продолжает резервировать собственные мощности под базы данных. Да, это надёжно и привычно, но тем не менее всё больше проектов обращается к бессерверным инструментам, в том числе и к базам данных. Создатели находят этим инструментам применение в распределённых приложениях и микросервисах, где важна скорость разработки и возможность масштабирования. 

Бессерверные базы данных развивались последние несколько лет параллельно с бессерверными вычислениями, и сейчас можно условно выделить два типа СУБД: адаптирующие популярные базы данных под бессерверное использование и разработанные под бессерверный режим. В этой статье я расскажу об их особенностях и дам примеры применения.

Читать далее
Всего голосов 24: ↑22 и ↓2 +20
Просмотры 8.8K
Комментарии 49