В предыдущей статье мы обсудили плюсы и минусы использования воркеров для cloud-native разработки. Сегодня же мы настроим и задеплоим полноценное приложение с фронтом, бэком, базой данных, горизонтальным мастшабированием, http/3, капчей и бесплатным поддоменом менее, чем за час.
Итоговый результат можно увидеть тут (только через VPN).
Уже несколько лет человечество активно внедряет автоматизированные системы с участием нейросетей в свою повседневность. Вопреки расхожему мнению, не только компании извлекают из этого выгоду, но и обычные люди. И речь не только о коммерческой выгоде — такие системы могут спасать жизни. Система, о которой мы сегодня расскажем, преследует цель сделать жизнь людей безопаснее и удобнее. Сколько времени человек проводит в общественном транспорте? Какие нарушения совершают водители? Можно ли повысить безопасность поездок за счет нейросетей? Ответы — в этом материале.
В условиях ограничения доступа к самым современным технологиям компании всё чаще стремятся переложить заботу о поддержании работоспособности ИТ-инфраструктуры на профессионалов. И вариантов тут два: либо консолидировать вычислительные ресурсы на собственной технологической площадке, развитием которой будут заниматься своя ИТ-служба, либо отдавать вычислительные ресурсы на аутсорсинг, то есть пользоваться услугами облачных провайдеров. Проще, конечно же, доверить управление ИТ-инфраструктурой сторонним профессионалам, однако надежнее и безопаснее развивать собственные компетенции за счет внедрения современных средств автоматизации управления Центрами обработки данных (ЦОД).
Всем привет. Данная статья не более чем эксперимент. Тем более, что сейчас есть тренд на запуск баз данных в контейнерах т.к. это действительно производительнее и нет лишнего оверхеда в сравнении использования технологий, которые используют виртуализацию. Во многих статьях есть поле манипуляций — это выводы на основе одного бенчмарка или когда надо доказать и обосновать, что принятое решение самое лучшее. В рамках статьи будет проверка работы clickhouse запускаемый в qemu‑kvm, firecracker, containerd.
Всем привет! Хочу поделиться с вами вариантом скрипта для создания экземпляров Nextcloud через Ansible в vCloudDirector. Заодно опишу процесс создания экземпляров Nextcloud. Возможно, у вас тоже бывают подобные задачи, — можете не изобретать ещё один велосипед, вот один из вариантов решения.
Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:
1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.
2. Иметь возможность в любой момент сконвертировать нужную версию из резервной копии в виртуальную машину (в любом формате) и запустить ее на нашем оборудовании (т. е. приземлить виртуальную машину из облака на грешную...).
И так, поехали!
После ухода с российского рынка известных платформ виртуализации мы стали активно искать альтернативные варианты, и особый интерес у нас вызвали азиатские решения. До этого мы уже успели протестировать несколько сервисов, как отечественных, так и зарубежных, и вот нам попался совершенно новый для нашего рынка продукт — HCl от Sangfor. В этом посте рассказываем про наш опыт по установке Hyper Converged Infrastructure.
Пакетный менеджер Homebrew раздаёт 52 миллиона пакетов в месяц. Чтобы это делать, он использует хранилища контейнеров, отлично подходящие для этой задачи. Как это работает?
По данным аналитиков, к 2025 году облачные технологии будут использовать 85% компаний. При этом большая часть IT-инфраструктур будет размещаться в гибридных облаках. Одна из причин популярности гибридных сред — в увеличении количества приложений. Одна среда облачных вычислений не может удовлетворить потребности каждого приложения в месте для хранения, объеме памяти и обработке данных. Например, потребности приложения для анализа данных отличаются от потребностей мобильного приложения для продаж. Чтобы удовлетворить все потребности, компании используют гибридные облачные среды. Обеспечить максимально эффективную работу облачных сред помогает гиперконвергенция.
Суперкомпьютеры уже давно влияют на нашу жизнь способами, о которых большинство из нас даже не догадываются. Результаты, получаемые с помощью высокопроизводительных вычислений, используются в каждодневной рутине любого человека — прогноз погоды, просмотр фильмов, управление онлайн-банкингом и множество других, казалось бы, обыденных действий. Ученые и корпорации используют этих электронных зверей для решения множества прикладных задач.
Статья будет полезна тем, кто использовал свой дата-центр или классический хостинг, но затем столкнулся с миром публичных облачных платформ. Если не продумали все детали при планировании, то проблемы почти неизбежны. Рассккажу, как их избежать.
Всем привет. В своей предыдущей статье я описал общую идею создания площадки, где люди смогут объединяться в одну общую железячную сеть и использовать мощности друг друга. В основе этой идеи лежит идея создания распределенного кластера Kubernetes, к разворачиванию которого я планирую в скором времени приступить.
Но на начальном этапе важно подготовить сеть из однородных линукс машин, на которых стоит абсолютно одинаковый линукс, чтобы не пришлось решать одни и те же проблемы по несколько раз. А это может быть, т.к. все дистрибутивы линуксов имеют свои особенности, например, в плане того, какие модули ядра стоят как модули, а какие вкомпилены в ядро.
Поскольку ожидается, что изъявить желание подключиться к этой сети может любой пользователь с любыми железом и операционной системой (например, не только линукс, но и bsd системы и андроид, который является сильно урезанными линуксом), то хотелось бы иметь скрипт / программу / проект, который сможет сравнять все системы до одинаковых однородных линуксов по причинам, описанным выше. При этом в качестве реального железа может выступать и виртуальное, когда человек на своем оборудовании отрезает под виртуальные нужды часть своих мощностей и отдает их в сеть hardware банкинга.
Платформа DS Works позволяет проводить чемпионаты по обработке и анализу данных. По итогам соревнований организации получают готовое к внедрению решение, а участники — денежные призы и приглашения на работу.
Это интервью с Сергеем Кузнецовым, product owner’ом платформы. Он рассказывает о ходе развития проекта и ближайших соревнованиях.
Многие из вас слышали про мировой успех облачных компаний и таких компаний как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Сейчас мы видим, как отечественное облако активно развивается – Яндекс Облака, Mail.ru облако и Сбербанк тоже работает в этом направлении.
Лично у меня нет опыта работы с отечественным облаками и пока они еще достаточно молодые, но, я очень надеюсь, что они справятся с задачей и у нас появятся конкурентно способные облачные провайдеры.
Сам я занимаюсь задачами аналитики и инжиниринга данных, то есть работаю с buzz words – Big Data, Data Platform, Lakehouse, Data Lake, Data Science, Machine Learning (ML), AI и т. п., в крупных международных компаниях – Amazon, Microsoft, Xbox. Про все эти дела я уже 3 года успешно пишу в своем телеграмм канале Инжиниринг Данных, где уже больше 10 тысяч подписчиков.
Я работаю с облаками с 2014 года, с 2016 по 2020 в Амазоне (почти 5 лет), где принимал участие в знаменитом проекте Rolling Stone по миграции on-premise инфраструктуры для аналитики в облако AWS.
Привет, я Кирилл Шеховцов, технический лидер в SberCloud и ментор хакатонов Сбера. Я знаю, как выглядит внутренняя кухня таких соревнований, чем они интересны и как сделать так, чтобы ваша команда прошла отбор и победила в конкурсе — обо всем этом расскажу сегодня. Эти знания пригодятся вам не только на хакатонах, но и на других тематических соревнованиях — например, на нашем онлайн-чемпионате по анализу данных AI Journey Contest 2021.
Всем привет!
На сегодняшний день данные и всё связанное с ними (ML, AI, DataMining, etc) это самый хайповый тренд в IT-индустрии. Все - от ритейлеров до компаний Илона Маска - работают (или пытаются работать) с данными. Нас в Леруа Мерлен эта волна не обошла стороной - data-driven подход к принятию решений является одним из основных в компании. Следуя ему, мы создали свою платформу данных, которой на данный момент пользуется около 2 тыс.человек, а в минуту обрабатывается примерно 1800 запросов. В этой статье мы (Data-команда Леруа Мерлен Россия) расскажем, как за 2 года построили платформу данных в компании с большим количеством оффлайн-процессов, про ее архитектуру и опыт, который мы получили в процессе создания.
Узнайте, как планировать, внедрять и управлять гибридной инфраструктурой в локальной, мультиоблачной и периферийной средах. Посетите это бесплатное мероприятие под руководством опытного инструктора, предназначенное для ИТ-специалистов, архитекторов, специалистов по инфраструктуре и администраторов баз данных (DBA). На этом обучении вы узнаете, как управлять локальными и облачными ресурсами с помощью единой плоскости управления Azure Arc, включая виртуальные машины Linux и Windows, кластеры Kubernetes и базы данных. Вы также узнаете об основных концепциях, лежащих в основе Azure Stack, и о том, как последовательно создавать, развертывать и запускать приложения для гибридных и периферийных вычислений в ИТ-экосистеме.
Недавно, в нашем Google Cloud блоге, мы анонсировали, что в сервисе Compute Engine появились виртуальные машины A2 на базе графических процессоров NVIDIA Ampere A100 с тензорными ядрами. С их помощью пользователи смогут выполнять машинное обучение и высокопроизводительные вычисления на базе архитектуры NVIDIA CUDA, увеличивая рабочие нагрузки за меньшее время и цену.
В этой статье, мы хотим рассказать подробнее о том, что представляют из себя виртуальные машины А2, об их производительности и особенностях. И рассказать о том, как мы используют эти машины наши коллеги и партнеры.
