Обновить
-6
Алексей@java3000

Администратор windows умеющий в программирование

Отправить сообщение

Инжиниринг исходящего трафика с Edge Fabric. Часть 1

Время на прочтение13 мин
Охват и читатели1.2K

Крупные поставщики контента создают точки присутствия по всему миру, каждая из которых подключена к десяткам или даже сотням сетей. В идеале такая сетевая доступность должна позволять провайдерам обслуживать пользователей лучше, но провайдеры не всегда способны обеспечить достаточную пропускную способность на всех предпочтительных пиринговых маршрутах для обработки пикового трафика. Эти ограничения пропускной способности в сочетании с колеблющимися трафиком и производительностью, а также ограничениями протокола BGP, которому уже больше двадцати лет, затрудняют оптимальное использование этих сетевых возможностей.

Для решения такого рода задач мы в Facebook создали и развернули Edge Fabric — систему на основе SDN (программно‑конфигурируемая сеть), которая обслуживает более двух миллиардов пользователей из десятков точек присутствия на шести континентах. В этой статье мы впервые предоставляем публичную информацию о сетевых возможностях провайдера такого масштаба, а также связанные с этим потенциал и сложности. Мы постарались описать, как Edge Fabric работает в режиме почти‑реального времени, чтобы избежать перегрузки каналов связи в сетевой периферии Facebook.

Читать далее

Гайд по созданию Big Data-проектов в облаке: технологический стек, этапы и подводные камни

Время на прочтение8 мин
Охват и читатели7.1K


Любой специалист, который когда-либо работал с Big Data знает, что в подобных проектах большой не только объем данных. Также это внушительные вычислительные ресурсы, разветвленный технологический стек и мощная инфраструктура. Поэтому Big Data-проекты часто реализовывают в облаке. 

Меня зовут Алексей Бестужев, я архитектор VK Cloud, и в этой статье мы обсудим нюансы и неочевидные особенности запуска процессов при работе с большими данными в облаке. 

Материал подготовлен на основе нашего совместного вебинара с Кириллом Сливчиковым, управляющим партнером компании 7RedLines. 
Читать дальше →

Как определить размер выборки для бутстрэпа старым дедовским способом

Время на прочтение13 мин
Охват и читатели22K

Всем привет! Меня зовут Рома Смирнов. Я работаю продуктовым аналитиком в Lamoda. Как и во многих других продуктовых компаниях, решения о том, раскатывать ли новую фичу, принимаются в Lamoda на основе данных, в частности на основе результатов A/B-тестирования.

Бутстрэп — один из популярных методов обработки результатов тестов. В этой статье я расскажу о том, каким образом можно определить размер выборки при расчете результатов A/B-теста с помощью бутстрэпа.

Читать далее

Как ускорить работу PostgreSQL

Время на прочтение10 мин
Охват и читатели28K

В статье рассказываем, как оптимизировать базу данных PostgreSQL на примере Linux на IBM Z. Опираясь на представленные примеры, вы шаг за шагом узнаете, какие опции и параметры конфигурации улучшат установку PostgreSQL с точки зрения:

Читать далее

Разбираем шаблоны проектирования

Время на прочтение17 мин
Охват и читатели33K

Разработка современных приложений процесс достаточно сложный, требующий глубокого погружения, продумывания процесса взаимодействия компонентов. При этом разрабатывать код непосредственно с нуля конечно можно, но в таком случае процесс выпуска готового решения  займет значительное время, а время как известно самый дорогой ресурс.

Для ускорения проектирования и последующей разработки приложений придумали шаблоны проектирования. По сути, шаблоны проектирования это проверенные и готовые к использованию решения регулярно возникающих в повседневном программировании задач. То есть, это повторяемая архитектурная конструкция, представляющая собой решение проблемы проектирования в рамках некоторого часто возникающего контекста.

Представленный в статье материал предполагает знакомство читателя с основами объектно-ориентированного программирования.

Читать далее

Чтение/запись текста в Telegram канал из Android приложения

Время на прочтение6 мин
Охват и читатели5.2K

Для возможного сокращения временных затрат новичкам на разработку программ подключения приложения Android к Telegram‑ каналу предлагается данный туториал.

В основу предлагаемой программы положен один из способов обмена информацией в запросах Bot API: строка запроса URL. Для запросов используются HTTP методы GET и POST. Прием/передача текстовых данных производится в фоновом режиме посредством класса AsyncTask, задаваемого как внутренний класс основного класса приложения.

Читать далее

Home Assistant: Яндекс Алиса говорит, какие окна у вас не закрыты

Время на прочтение3 мин
Охват и читатели14K

В этой статье разберемся, как в Home Assistant составить красивую фразу на основе статусов сенсоров и передать её в TTS на примере колонки Яндекс.

Читать далее

Выходя за рамки JUnit. Создаем сложные расширения

Время на прочтение8 мин
Охват и читатели3.6K

Переход от JUnit4 к новой версии во многом изменил способ расширения функциональных возможностей тестов. Напомню, что в JUnit4 основным механизмом расширения были правила (Rule), которые могли обернуть выполнение теста в дополнительную логическую обработку (например, в реализации абстрактного класса ExternalResource встраивали два дополнительных вызова методов инициализации (который также мог возвращать объект для взаимодействия с создаваемым окружением, например обертку вокруг Android Activity) и финализации (вызывается после выполнения теста и используется для очистки ресурсов). Модель JUnit 5 существенно дополнена и в этой статье мы рассмотрим как можно создавать собственные расширения для JUnit Platform.

Читать далее

Простой пример написания Dockerfile. Использование многоэтапной сборки

Время на прочтение5 мин
Охват и читатели120K

Всем привет! В данной статье хочу показать простой пример написания Dockerfile, объяснить как это все работает, а также показать на примере использование многоэтапной сборки.

Для понимания данной статьи необходимы минимальные знания Docker, а также для использования примеров - установленный Docker Desktop локально на компьютере.

Вначале немного теории.

Dockerfile - это файл, который содержит инструкции для сборки образа. На основании образа создается и запускается контейнер.

Обратимся к официальной документации https://docs.docker.com/get-started/overview/

Читать далее

PostgreSQL под капотом. Часть 3. Инициализация бэкэнда

Время на прочтение33 мин
Охват и читатели8.5K

Приветствую!

На прошлом шаге мы дошли до входной точки Postgres. Сегодня мы пройдемся по ней до главного цикла. Будут рассмотрены:

— Модули для работы с файлами и файловой системой

— Как SIGUSR1передает множественные значения

— Реализации хэш‑таблиц

— Представление и хранение GUC

и многое другое.

Читать далее

Теория вероятностей в машинном обучении. Часть 1: модель регрессии

Время на прочтение28 мин
Охват и читатели39K

В данной статье мы подробно рассмотрим вероятностную постановку задачи машинного обучения: что такое распределение данных, дискриминативная модель, i.i.d.-гипотеза и метод максимизации правдоподобия, что такое регрессия Пуассона и регрессия с оценкой уверенности, и как нормальное распределение связано с минимизацией среднеквадратичного отклонения.

В следующей части рассмотрим метод максимизации правдоподобия в классификации: в чем роль кроссэнтропии, функций сигмоиды и softmax и как кроссэнтропия связана с "расстоянием" между распределениями вероятностей и почему модель регрессии тоже обучается через минимизацию кроссэнтропии. Затем перейдем от метода максимизации правдоподобия к байесовскому выводу и его различным приближениям.

Данная серия статей не является введением в машинное обучение и предполагает знакомство читателя с основными понятиями. Задача статей - рассмотреть машинное обучение с точки зрения теории вероятностей, что позволит по новому взглянуть на проблему, понять связь машинного обучения со статистикой и лучше понимать формулы из научных статей. Также на описанном материале строятся более сложные темы, такие как вариационные автокодировщики (Kingma and Welling, 2013), нейробайесовские методы (Müller et al., 2021) и даже некоторые теории сознания (Friston et al., 2022).

Читать далее

Мониторинг аномальной активности в операционной системе «Нейтрино»

Время на прочтение8 мин
Охват и читатели3.2K

Активности в операционной системе могут быть самыми разнообразными. Это может быть и запуск нового процесса или потока, и обращение к файловой системе, и выделение памяти, и многое другое. Могут возникнуть ситуации, когда (вследствие действий злоумышленника и\или программной\аппаратной ошибки) эта активность становится аномальной, то есть поведение системы начинает отличаться от ожидаемого. Запуск неизвестного процесса на этапе эксплуатации изделия, потребление процессом необычно большого количества памяти, установка сетевых соединений, которых быть не должно в системе - всё это примеры аномальной активности, возможно требующие внимания со стороны пользователя или разработчика.

О процессе разработки, используемых методах и технологиях рассказываем в данной статье.

Читать далее

Плантации XXI века. Как экономическая катастрофа превратила Венесуэлу в центр новой IT-индустрии

Время на прочтение10 мин
Охват и читатели13K

Это должно было стать временной подработкой — способом получать какие-то деньги во время учебы. Оскарина Фуэнтес Анайя зарегистрировалась на Appen, платформе для маркировки данных с помощью ИИ, когда она еще училась в колледже, рассчитывая получить хорошо оплачиваемую должность в нефтяной индустрии.

Но затем экономика Венесуэлы рухнула. Инфляция резко выросла, и стабильная «нефтяная» работа, которая когда-то была гарантирована, перестала существовать. Подработка перестала быть временной; теперь она стала её основной работой. Благо, австралийская компания с 27-летней историей и огромными прибылями казалась прекрасным вариантом для начала карьеры.

В итоге вышло не так. И теперь, несмотря на угрозы со стороны Appen, Фуэнтес решила официально рассказать о себе. Она хочет, чтобы люди понимали, на что похож ее труд, и как работает эта важная, но незаметная часть глобального конвейера разработки ИИ.

Читать далее

Космическое производство кристаллов для лазеров

Время на прочтение2 мин
Охват и читатели3.4K

Ключевой вопрос космического производства стоит так. Что в космосе можно делать такого, чтобы оно 1) отбивало стоимость вывода на орбиту и возвращения на Землю груза и 2) оно было массовым, чтобы рынок был достаточно большим?

Когда начинают говорить о 3D-печати живой ткани - то, по моим впечатлениям, говорят об этом от отчаяния. Да, с научной точки зрения это очень интересно. Но до того, чтобы что-то такое напечатанное пересаживать живому человеку - мягко говоря ну вот совсем очень далеко.

Читать далее

Оценка стоимости разработки программного продукта, информационной системы, сервиса или задачи

Время на прочтение11 мин
Охват и читатели54K

Оценка стоимости разработки программных продуктов нацелена на получение реальной картины ситуации на основании разных факторов, влияющих на процесс разработки. В статье представлена базовая теория, которую необходимо знать при проведении оценок, несколько основных методов оценки, а также ключевые ошибки. Материал рассчитан на начинающих владельцев продуктов и ИТ-аналитиков.

Читать далее

Пятьдесят лет на стезе программирования. Часть VI. Грустный конец или злато правит миром. 1992-1997 г.г

Время на прочтение14 мин
Охват и читатели22K
Новый 1992 год мы встречали в новой стране. Если в прошлом 1991 году мы жили в Союзе Советских Социалистических Республик и строили развитой социализм, то теперь мы стали жить в Российской Федерации, в России, да ещё в условиях рыночной экономики, дикого капитализма. Наступали «лихие 90-ые». Мы ещё этого не осознавали, мы приступили к опытной эксплуатации стенда имитационного моделирования технических обликов перспективных ракетных комплексов и их подсистем, действий соединений и частей ракетных войск в различных условиях военно-стратегической обстановки и совместного боевого применения группировок РВСН, МСЯС, РКО и ВКС в операции СЯС, сокращённо просто СИМ, нашей вычислительной сети. Самым продвинутым сегментом этой сети была локальная вычислительная сеть нашего отдела:
Читать дальше →

Tenebris — игра для любителей пошаговой тактики

Время на прочтение3 мин
Охват и читатели11K

Всем привет, меня зовут и Петр и я с командой, вот уже несколько лет разрабатываем нашу игру. Уже скоро будет демка в которую смогут поиграть все желающие.

Ссылка на страницу игры в Steam: 

Читать далее

Я провела масштабное исследование, чтобы перевезти собаку и кота за границу. Всё о релокации животных

Время на прочтение17 мин
Охват и читатели14K

Чтобы стать экспертом в этом вопросе, мне пришлось провести целый ряд исследований. В итоге я составила чек-листы по самым популярным странам, собрала советы у ветеринаров и проанализировала успешные и неуспешные кейсы. Делюсь статистикой и полезными ссылками. И конечно, фотографиями котов и собак.

Читать далее

Интеграция Primefaces в приложение на Spring Boot. Часть 4 — Вывод списка данных в виде таблицы

Время на прочтение7 мин
Охват и читатели1.8K

Описывается пример интеграции библиотеки компонентов пользовательского интерфейса Primefaces, построенной на основе фреймворка JavaServer Faces (JSF), в MVC приложение на Spring Boot.

Первая часть
Вторая часть
Третья часть

Читать далее

Не только Neuralink: что такое нейроинтерфейсы и кто кроме Маска разрабатывает их

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели6.6K

В 2019 году Илон Маск объявил, что возглавил очередную инновационную компанию — Neuralink. Она разрабатывает нейроинтерфейсы — системы, которые помогают мозгу напрямую обмениваться сигналом с компьютером. Благодаря эксцентричному миллиардеру, эта технология стала одной из самых обсуждаемых high‑tech тем. В декабре 2022 года и январе 2023 научное и технологическое сообщество вновь обсуждало Neuralink — но на этот раз из‑за очередных задержек и скандалов, которые уже не удалось скрасить визионерским оптимизмом эксцентричного миллиардера.

Как бы то ни было, с момента основания Neuralink нейроинтерфейсы сделали огромный скачок вперед, а Маск — далеко не единственный, кто сегодня занимается этой футуристичной технологией. Рассказываем, зачем нужны нейроинтерфейсы, кто их разрабатывает в 2023 году и когда мы сможем увидеть их широкое применение.

Читать далее

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Десктоп разработчик, Администратор серверов
Младший
От 110 000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения