Pull to refresh
-6
Алексей@java3000

Администратор windows умеющий в программирование

Send message

Гайд по созданию Big Data-проектов в облаке: технологический стек, этапы и подводные камни

Reading time8 min
Reach and readers7.1K


Любой специалист, который когда-либо работал с Big Data знает, что в подобных проектах большой не только объем данных. Также это внушительные вычислительные ресурсы, разветвленный технологический стек и мощная инфраструктура. Поэтому Big Data-проекты часто реализовывают в облаке. 

Меня зовут Алексей Бестужев, я архитектор VK Cloud, и в этой статье мы обсудим нюансы и неочевидные особенности запуска процессов при работе с большими данными в облаке. 

Материал подготовлен на основе нашего совместного вебинара с Кириллом Сливчиковым, управляющим партнером компании 7RedLines. 
Читать дальше →

Как определить размер выборки для бутстрэпа старым дедовским способом

Reading time13 min
Reach and readers22K

Всем привет! Меня зовут Рома Смирнов. Я работаю продуктовым аналитиком в Lamoda. Как и во многих других продуктовых компаниях, решения о том, раскатывать ли новую фичу, принимаются в Lamoda на основе данных, в частности на основе результатов A/B-тестирования.

Бутстрэп — один из популярных методов обработки результатов тестов. В этой статье я расскажу о том, каким образом можно определить размер выборки при расчете результатов A/B-теста с помощью бутстрэпа.

Читать далее

Как ускорить работу PostgreSQL

Reading time10 min
Reach and readers28K

В статье рассказываем, как оптимизировать базу данных PostgreSQL на примере Linux на IBM Z. Опираясь на представленные примеры, вы шаг за шагом узнаете, какие опции и параметры конфигурации улучшат установку PostgreSQL с точки зрения:

Читать далее

Разбираем шаблоны проектирования

Reading time17 min
Reach and readers33K

Разработка современных приложений процесс достаточно сложный, требующий глубокого погружения, продумывания процесса взаимодействия компонентов. При этом разрабатывать код непосредственно с нуля конечно можно, но в таком случае процесс выпуска готового решения  займет значительное время, а время как известно самый дорогой ресурс.

Для ускорения проектирования и последующей разработки приложений придумали шаблоны проектирования. По сути, шаблоны проектирования это проверенные и готовые к использованию решения регулярно возникающих в повседневном программировании задач. То есть, это повторяемая архитектурная конструкция, представляющая собой решение проблемы проектирования в рамках некоторого часто возникающего контекста.

Представленный в статье материал предполагает знакомство читателя с основами объектно-ориентированного программирования.

Читать далее

Чтение/запись текста в Telegram канал из Android приложения

Reading time6 min
Reach and readers5.2K

Для возможного сокращения временных затрат новичкам на разработку программ подключения приложения Android к Telegram‑ каналу предлагается данный туториал.

В основу предлагаемой программы положен один из способов обмена информацией в запросах Bot API: строка запроса URL. Для запросов используются HTTP методы GET и POST. Прием/передача текстовых данных производится в фоновом режиме посредством класса AsyncTask, задаваемого как внутренний класс основного класса приложения.

Читать далее

Home Assistant: Яндекс Алиса говорит, какие окна у вас не закрыты

Reading time3 min
Reach and readers14K

В этой статье разберемся, как в Home Assistant составить красивую фразу на основе статусов сенсоров и передать её в TTS на примере колонки Яндекс.

Читать далее

Выходя за рамки JUnit. Создаем сложные расширения

Reading time8 min
Reach and readers3.6K

Переход от JUnit4 к новой версии во многом изменил способ расширения функциональных возможностей тестов. Напомню, что в JUnit4 основным механизмом расширения были правила (Rule), которые могли обернуть выполнение теста в дополнительную логическую обработку (например, в реализации абстрактного класса ExternalResource встраивали два дополнительных вызова методов инициализации (который также мог возвращать объект для взаимодействия с создаваемым окружением, например обертку вокруг Android Activity) и финализации (вызывается после выполнения теста и используется для очистки ресурсов). Модель JUnit 5 существенно дополнена и в этой статье мы рассмотрим как можно создавать собственные расширения для JUnit Platform.

Читать далее

Простой пример написания Dockerfile. Использование многоэтапной сборки

Reading time5 min
Reach and readers120K

Всем привет! В данной статье хочу показать простой пример написания Dockerfile, объяснить как это все работает, а также показать на примере использование многоэтапной сборки.

Для понимания данной статьи необходимы минимальные знания Docker, а также для использования примеров - установленный Docker Desktop локально на компьютере.

Вначале немного теории.

Dockerfile - это файл, который содержит инструкции для сборки образа. На основании образа создается и запускается контейнер.

Обратимся к официальной документации https://docs.docker.com/get-started/overview/

Читать далее

PostgreSQL под капотом. Часть 3. Инициализация бэкэнда

Reading time33 min
Reach and readers8.5K

Приветствую!

На прошлом шаге мы дошли до входной точки Postgres. Сегодня мы пройдемся по ней до главного цикла. Будут рассмотрены:

— Модули для работы с файлами и файловой системой

— Как SIGUSR1передает множественные значения

— Реализации хэш‑таблиц

— Представление и хранение GUC

и многое другое.

Читать далее

Теория вероятностей в машинном обучении. Часть 1: модель регрессии

Reading time28 min
Reach and readers39K

В данной статье мы подробно рассмотрим вероятностную постановку задачи машинного обучения: что такое распределение данных, дискриминативная модель, i.i.d.-гипотеза и метод максимизации правдоподобия, что такое регрессия Пуассона и регрессия с оценкой уверенности, и как нормальное распределение связано с минимизацией среднеквадратичного отклонения.

В следующей части рассмотрим метод максимизации правдоподобия в классификации: в чем роль кроссэнтропии, функций сигмоиды и softmax и как кроссэнтропия связана с "расстоянием" между распределениями вероятностей и почему модель регрессии тоже обучается через минимизацию кроссэнтропии. Затем перейдем от метода максимизации правдоподобия к байесовскому выводу и его различным приближениям.

Данная серия статей не является введением в машинное обучение и предполагает знакомство читателя с основными понятиями. Задача статей - рассмотреть машинное обучение с точки зрения теории вероятностей, что позволит по новому взглянуть на проблему, понять связь машинного обучения со статистикой и лучше понимать формулы из научных статей. Также на описанном материале строятся более сложные темы, такие как вариационные автокодировщики (Kingma and Welling, 2013), нейробайесовские методы (Müller et al., 2021) и даже некоторые теории сознания (Friston et al., 2022).

Читать далее

Мониторинг аномальной активности в операционной системе «Нейтрино»

Reading time8 min
Reach and readers3.2K

Активности в операционной системе могут быть самыми разнообразными. Это может быть и запуск нового процесса или потока, и обращение к файловой системе, и выделение памяти, и многое другое. Могут возникнуть ситуации, когда (вследствие действий злоумышленника и\или программной\аппаратной ошибки) эта активность становится аномальной, то есть поведение системы начинает отличаться от ожидаемого. Запуск неизвестного процесса на этапе эксплуатации изделия, потребление процессом необычно большого количества памяти, установка сетевых соединений, которых быть не должно в системе - всё это примеры аномальной активности, возможно требующие внимания со стороны пользователя или разработчика.

О процессе разработки, используемых методах и технологиях рассказываем в данной статье.

Читать далее

Плантации XXI века. Как экономическая катастрофа превратила Венесуэлу в центр новой IT-индустрии

Reading time10 min
Reach and readers13K

Это должно было стать временной подработкой — способом получать какие-то деньги во время учебы. Оскарина Фуэнтес Анайя зарегистрировалась на Appen, платформе для маркировки данных с помощью ИИ, когда она еще училась в колледже, рассчитывая получить хорошо оплачиваемую должность в нефтяной индустрии.

Но затем экономика Венесуэлы рухнула. Инфляция резко выросла, и стабильная «нефтяная» работа, которая когда-то была гарантирована, перестала существовать. Подработка перестала быть временной; теперь она стала её основной работой. Благо, австралийская компания с 27-летней историей и огромными прибылями казалась прекрасным вариантом для начала карьеры.

В итоге вышло не так. И теперь, несмотря на угрозы со стороны Appen, Фуэнтес решила официально рассказать о себе. Она хочет, чтобы люди понимали, на что похож ее труд, и как работает эта важная, но незаметная часть глобального конвейера разработки ИИ.

Читать далее

Космическое производство кристаллов для лазеров

Reading time2 min
Reach and readers3.4K

Ключевой вопрос космического производства стоит так. Что в космосе можно делать такого, чтобы оно 1) отбивало стоимость вывода на орбиту и возвращения на Землю груза и 2) оно было массовым, чтобы рынок был достаточно большим?

Когда начинают говорить о 3D-печати живой ткани - то, по моим впечатлениям, говорят об этом от отчаяния. Да, с научной точки зрения это очень интересно. Но до того, чтобы что-то такое напечатанное пересаживать живому человеку - мягко говоря ну вот совсем очень далеко.

Читать далее

Оценка стоимости разработки программного продукта, информационной системы, сервиса или задачи

Reading time11 min
Reach and readers54K

Оценка стоимости разработки программных продуктов нацелена на получение реальной картины ситуации на основании разных факторов, влияющих на процесс разработки. В статье представлена базовая теория, которую необходимо знать при проведении оценок, несколько основных методов оценки, а также ключевые ошибки. Материал рассчитан на начинающих владельцев продуктов и ИТ-аналитиков.

Читать далее

Пятьдесят лет на стезе программирования. Часть VI. Грустный конец или злато правит миром. 1992-1997 г.г

Reading time14 min
Reach and readers22K
Новый 1992 год мы встречали в новой стране. Если в прошлом 1991 году мы жили в Союзе Советских Социалистических Республик и строили развитой социализм, то теперь мы стали жить в Российской Федерации, в России, да ещё в условиях рыночной экономики, дикого капитализма. Наступали «лихие 90-ые». Мы ещё этого не осознавали, мы приступили к опытной эксплуатации стенда имитационного моделирования технических обликов перспективных ракетных комплексов и их подсистем, действий соединений и частей ракетных войск в различных условиях военно-стратегической обстановки и совместного боевого применения группировок РВСН, МСЯС, РКО и ВКС в операции СЯС, сокращённо просто СИМ, нашей вычислительной сети. Самым продвинутым сегментом этой сети была локальная вычислительная сеть нашего отдела:
Читать дальше →

Tenebris — игра для любителей пошаговой тактики

Reading time3 min
Reach and readers11K

Всем привет, меня зовут и Петр и я с командой, вот уже несколько лет разрабатываем нашу игру. Уже скоро будет демка в которую смогут поиграть все желающие.

Ссылка на страницу игры в Steam: 

Читать далее

Я провела масштабное исследование, чтобы перевезти собаку и кота за границу. Всё о релокации животных

Reading time17 min
Reach and readers14K

Чтобы стать экспертом в этом вопросе, мне пришлось провести целый ряд исследований. В итоге я составила чек-листы по самым популярным странам, собрала советы у ветеринаров и проанализировала успешные и неуспешные кейсы. Делюсь статистикой и полезными ссылками. И конечно, фотографиями котов и собак.

Читать далее

Интеграция Primefaces в приложение на Spring Boot. Часть 4 — Вывод списка данных в виде таблицы

Reading time7 min
Reach and readers1.8K

Описывается пример интеграции библиотеки компонентов пользовательского интерфейса Primefaces, построенной на основе фреймворка JavaServer Faces (JSF), в MVC приложение на Spring Boot.

Первая часть
Вторая часть
Третья часть

Читать далее

Не только Neuralink: что такое нейроинтерфейсы и кто кроме Маска разрабатывает их

Level of difficultyEasy
Reading time8 min
Reach and readers6.6K

В 2019 году Илон Маск объявил, что возглавил очередную инновационную компанию — Neuralink. Она разрабатывает нейроинтерфейсы — системы, которые помогают мозгу напрямую обмениваться сигналом с компьютером. Благодаря эксцентричному миллиардеру, эта технология стала одной из самых обсуждаемых high‑tech тем. В декабре 2022 года и январе 2023 научное и технологическое сообщество вновь обсуждало Neuralink — но на этот раз из‑за очередных задержек и скандалов, которые уже не удалось скрасить визионерским оптимизмом эксцентричного миллиардера.

Как бы то ни было, с момента основания Neuralink нейроинтерфейсы сделали огромный скачок вперед, а Маск — далеко не единственный, кто сегодня занимается этой футуристичной технологией. Рассказываем, зачем нужны нейроинтерфейсы, кто их разрабатывает в 2023 году и когда мы сможем увидеть их широкое применение.

Читать далее

Логистическая регрессия: подробный обзор

Reading time5 min
Reach and readers56K


Рисунок 1. Модель логистической регрессии. Источник.


Логистическая регрессия использовалась в области биологических исследований ещё в начале двадцатого века. Затем её стали применять во многих общественных науках. Логистическая регрессия применима, когда зависимая переменная (целевое значение) является категориальной. Подробности в иллюстрациях — в материале, а практика — на нашем курсе, посвящённом Data Science.

Читать дальше →

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Десктоп разработчик, Администратор серверов
Младший
From 110,000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения