Как стать автором
Обновить
7
0
vserge @vserge

Специалист по информационному моделированию

Отправить сообщение

Классификация и регрессия с помощью деревьев принятия решений

Время на прочтение5 мин
Количество просмотров72K

Введение


В данной статье сделан обзор деревьев принятия решений (Decision trees) и трех основных алгоритмов, использующих эти деревья для построение классификационных и регрессионных моделей. В свою очередь будет показано, как деревья принятия решения, изначально ориентированные на классификацию, используются для регрессии.

Деревья принятия решений


Дерево принятия решений — это дерево, в листьях которого стоят значения целевой функции, а в остальных узлах — условия перехода (к примеру “ПОЛ есть МУЖСКОЙ”), определяющие по какому из ребер идти. Если для данного наблюдения условие истина то осуществляется переход по левому ребру, если же ложь — по правому.
Читать дальше →
Всего голосов 64: ↑60 и ↓4+56
Комментарии31

Сертифицируй ЭТО: как получить сертификат ФСТЭК на новейшую версию ПО

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров6K

Привет! Сегодня наш разговор пойдет про сертификацию ФСТЭК и про тонкости этого процесса. Этот пост — не про теорию, а про практику, которая позволила нам получить одобрение ФСТЭК на версию 2.32 (на тот момент являлась новейшей - сейчас есть еще 2.33). Мы расскажем о том, что все это значит для пользователей нашей BI-платформы (из первых уст), а также почему мы уверены, что сертификация — это правильная практика не только “для бумажки”, но и для реальной пользы дела. Надеюсь, многое из этого текста окажется полезно как разработчикам российского ПО, так и его пользователям. Все подробности процесса нашей сертификации, в том числе мучительные — под катом!

Читать далее
Всего голосов 19: ↑18 и ↓1+17
Комментарии12

Database, Data Warehouse и Data Lake: что это и когда следует использовать каждое?

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров7K

Данных становится все больше. Важно уметь эффективно хранить и обрабатывать их для решения сложных бизнес-задач. Одним из первых шагов на пути к успешной стратегии является выбор технологии хранения, поиска, анализа и отчетности по данным. Как выбрать между базой данных, Data Warehouse и Data Lake? Рассмотрим ключевые различия и когда следует использовать каждое.

Читать далее
Всего голосов 9: ↑7 и ↓2+5
Комментарии3

Энергетические комплексы будущего: внедрение возможно в ближайшие 3 года

Время на прочтение7 мин
Количество просмотров11K

Умные электросети и цифровые двойники выводят энергетическую отрасль на новый уровень

Электросети дают сбои во всем мире. Неполадки в их работе оставляют без электричества десятки тысяч человек и ведут к миллиардным убыткам. В таких сферах важно оптимизировать работу за счет новых технологий: уже придумали и начали внедрять умные электросети с цифровыми двойниками. Этот инструмент цифровизации помогает свести риск сбоев к минимуму. 

Рассказываем о том, какую выгоду принесет цифровизация компаниям-энергетикам и потребителям электроэнергии.

Читать далее
Всего голосов 12: ↑8 и ↓4+4
Комментарии19

Управляем умным домом Home Assitant через Алису и без интернета. Часть 1

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров34K

В этой статье я бы хотел рассказать о том, как можно управлять умным домом и всеми устройствами (не только Zigbee) в Home Assistant даже без подключения к интернету.

Читать далее
Всего голосов 38: ↑37 и ↓1+36
Комментарии44

Shiva — Open Source проект на Rust для парсинга и генерации документов любого типа

Уровень сложностиСредний
Время на прочтение3 мин
Количество просмотров9.4K

Идея проекта возникла у меня во время работы над проектом поисковика документов. Существует такая библиотека, как Apache Tika, написанная на Java, которая умеет парсить документы различных типов. Чтобы мой поисковик работал, он должен уметь извлекать текст из документов разных типов (PDF, DOC, XLS, HTML, XML, JSON и т. д.). Сам поисковик я писал на Rust. Но, к сожалению, в мире Rust нет библиотеки, которая умела бы парсить документы всех типов.

Читать далее
Всего голосов 29: ↑26 и ↓3+23
Комментарии31

Внутри S3. Доклад Яндекса

Время на прочтение12 мин
Количество просмотров17K

Привет, я Паша, разработчик в Yandex Infrastructure, и я катаю гусей. С 2019 года я развиваю S3-хранилище как для внутренних пользователей Яндекса, так и для клиентов Yandex Cloud. А «гусём» называется наш бэкенд S3 API: он написан на Go, а из словосочетания Go + S3 получился goose. Возможно, вы также слышали про GeeseFS — это наш высокопроизводительный FUSE-клиент для S3. C его помощью вы можете на своём ноутбуке или виртуалке подмонтировать папку, которая будет работать с бакетом S3. 

Для чего нам «гуси» и прочая орнитология? Яндексовая инсталляция хранилища S3 хранит миллиарды файлов. Это огромные объёмы данных, а также метаданных. Для хранения метаданных мы научились использовать умное шардирование, и теперь сами управляем распределением занятого места и нагрузкой между шардами баз.

Так что сегодня я расскажу, как сделать так, чтобы ни один клиент, даже с самым неудобным паттерном нагрузки, не положил сервис.

Читать далее
Всего голосов 82: ↑81 и ↓1+80
Комментарии52

Актуально ли сегодня ООП?

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров56K

Почти каждый день возникают дискуссии с критикой или восхвалением объектно-ориентированного программирования. «Java устарела!», «Java потрясающая!». В этой статье я проведу прагматичное исследование ООП на 2024 год.

Термин объектно-ориентированное программирование придумал Алан Кэй. Кэй был членом команды PARC, которая изобрела графический интерфейс пользователя, сделавший таким полезным современный Интернет, персональные компьютеры, планшеты и смартфоны. Ещё она изобрела некоторые из объектно-ориентированных языков, на которых мы сегодня реализуем эти GUI.

Если отсечь все эмоции, связанные с ООП, то что останется? По-прежнему ли ООП является эффективным инструментом разработки ПО, или оно превратилось в устаревшее увлечение? Профессионалам важно знать ответ на этот вопрос!
Читать дальше →
Всего голосов 105: ↑85 и ↓20+65
Комментарии179

Книга «Генеративное глубокое обучение. Как не мы рисуем картины, пишем романы и музыку. 2-е межд изд.»

Время на прочтение8 мин
Количество просмотров4.5K
image Привет, Хаброжители!

Генеративное моделирование — одна из самых обсуждаемых тем в области искусственного интеллекта. Машины можно научить рисовать, писать и сочинять музыку. Вы сами можете посадить искусственный интеллект за парту или мольберт, для этого достаточно познакомиться с самыми актуальными примерами генеративных моделей глубокого обучения: вариационными автокодировщиками, генеративно-состязательными сетями, моделями типа кодер-декодер и многим другим.

Дэвид Фостер делает понятными и доступными архитектуру и методы генеративного моделирования, его советы и подсказки сделают ваши модели более творческими и эффективными в обучении. Вы начнете с основ глубокого обучения на базе Keras, а затем перейдете к самым передовым алгоритмам.
Читать дальше →
Всего голосов 12: ↑12 и ↓0+12
Комментарии0

Мега-Учебник Flask Глава 1: Привет, мир! (издание 2024)

Уровень сложностиСредний
Время на прочтение18 мин
Количество просмотров16K

Добро пожаловать! Вы собираетесь отправиться в путешествие, чтобы научиться создавать веб‑приложения с помощью Python и фреймворка Flask. В этой первой главе вы узнаете, как настроить проект Flask. К концу этой главы на вашем компьютере будет запущено простое веб‑приложение Flask!

Начать изучение
Всего голосов 45: ↑45 и ↓0+45
Комментарии11

Мега-Учебник Flask Глава 2: Шаблоны (издание 2024)

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров3.9K

После завершения главы 1 у вас должно получиться простое, но функциональное веб-приложение. Во второй части серии мега-учебника по Flask я собираюсь обсудить, как работать с шаблонами.

Начать изучение
Всего голосов 15: ↑15 и ↓0+15
Комментарии3

Эффект бабочки и рынки (ч.2)

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.9K

Перед прочтением этой публикации, советую ознакомиться с 1 частью.

Часть 1

Бенуа Мандельброт об эффекте бабочки в экономике

Международную экономику можно рассматривать как единую систему, в которой каждая часть влияет на другие. Подобно атмосфере, экономика и рынки - это сложные системы, в которых мы видим только видимые результаты - дождь или солнце, бум или крах. С приходом глобализации и улучшенных коммуникационных технологий экономика стала еще более взаимосвязанной, чем в прошлом. Один эпизод волатильности рынка может вызвать проблемы для всей системы. Эффект бабочки в экономике относится к совокупному воздействию небольших изменений. Как следствие, сделать точные прогнозы на будущее или определить точную причину необъяснимого изменения практически невозможно. Длительные периоды стабильности сменяются внезапным падением и наоборот.

Читать далее
Всего голосов 14: ↑8 и ↓6+2
Комментарии8

ETL c ChatGPT заменит BIM и такие концепции, как openBIM и closedBIM

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2K

🔮 Как инструменты ChatGPT и реверсинжениринга для форматов CAD (BIM) заменят BIM и такие концепции, как openBIM и closedBIM?

📊 Ответ: с помощью методов ETL (ELT), которые давно и успешно используются во всех других отраслях (видео под постом).

Для разработки проектов в CAD‑программах самое важное — понять бизнес‑процессы, для которых они создаются. Эффективный проект требует четко сформулированных требований к данным, включая:

— Сбор данных (Extract извлечение).
— Создание и проверка требований (Transform преобразование)
— Загрузка в необходимые системы или форматы (Load загрузка)

Этот процесс тесно связан с процедурами ETL (Extract, Transform, Load). Во всех других отраслях (кроме строительной) ETL‑процессы играют ключевую роль в обработке и анализе данных, что крайне важно для оптимизации бизнес‑процессов и принятия обоснованных решений.

Читать далее
Всего голосов 6: ↑3 и ↓30
Комментарии12

Делаем код-ревью правильно

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров20K

В начале своей карьеры я как-то работал над одним заказом, создавая платформу сентимент-анализа для социальных сетей. В то время Twitter ещё был Twitter’ом. Наша команда состояла из семи человек, среди которых я был джуниором. Мы были молоды и полны энтузиазма. Наш девиз можно было описать как: «Мы гибкие, быстрые и всё ломаем!». Да, мы действительно гордились своей скоростью. Код-ревью? Я вас умоляю. Мы считали эту практику бюрократическим пережитком корпоративного мира.

И что вы думаете? Через несколько месяцев наша база кода стала подобна минному полю. Причём баги нас волновали меньше всего, хотя их была уйма. Реальная проблема заключалась в том, что никто не мог понять код, написанный другими. У нас во многих местах дублировалась логика, и в модулях использовались разные стили кода. Всё было очень печально.

Тогда до нас дошло! Нужно взять всё под контроль. Код-ревью реально помогают сохранять код читаемым, обслуживаемым и масштабируемым.

Итак, в двух словах: если вы не проводите код-ревью, или делаете их «для галочки», то обрекаете себя на боль, пусть не сразу, но в конечном итоге однозначно. Это можно сравнить с возведением дома на фундаменте из песка. Какое-то время он, может, и простоит, но явно недолго. А в мире стартапов второго шанса у вас может уже не быть.
Читать дальше →
Всего голосов 74: ↑72 и ↓2+70
Комментарии26

Разработка модели системы обогрева дома

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров3.2K

При разработке системы обогрева, важную роль играет описание тепловой модели дома, позволяя позволяет оценить и оптимизировать энергетическую эффективность системы. Тепловая модель представляет собой математическую аппроксимацию поведения тепла внутри дома, учитывая различные факторы - такие, как теплопроводность материалов стен и крыши, размеры помещений, изоляция, а также параметры системы отопления.

Тепловая модель дома позволяет оценить распределение тепла внутри помещений и выявить потенциальные участки перегрева или недостаточного обогрева. Она учитывает теплопотери через стены, окна, двери и другие элементы конструкции дома, а также тепловые источники – например, отопительные приборы и солнечное излучение.

С использованием тепловой модели можно проводить различные расчеты и оптимизации системы обогрева, чтобы достичь комфортных условий внутри дома при минимальных затратах на энергию. Например, модель может помочь определить оптимальное расписание работы системы обогрева, позволяющее поддерживать комфортную температуру в разных зонах дома в зависимости от времени суток и наличия жильцов.

В данной статье будет рассмотрена разработка тепловой модели для системы обогрева дома с использованием программного обеспечения REPEAT. Это ПО позволяет моделировать и анализировать тепловые процессы внутри дома, учитывая различные факторы и параметры. Результаты моделирования могут быть использованы для принятия технологических решений по энергетической эффективности и оптимизации системы обогрева, что в конечном итоге способствует комфорту и экономии ресурсов для домохозяйств.

Ссылка на телеграм-канал REPEAT: https://t.me/repeatlab

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии16

Что такое пространство?

Время на прочтение16 мин
Количество просмотров73K

Не то, что вы думаете


image

Попросите группу физиков и философов определить «пространство», и вы, скорее всего, увязнете в долгой дискуссии, в которой будут встречаться такие глубокие, но бессмысленные комбинации слов, как «сама ткань пространства-времени является физическим проявлением концепций квантовой энтропии, сотканной воедино универсальной природой местоположения». Если подумать, может вам и не стоит затевать глубокие дискуссии между физиками и философами.

Является ли пространство просто бесконечной пустотой, лежащей в основе всего? Или же это пустота между объектами? Что, если пространство – это ни то, ни другое, а вовсе даже и физическая сущность, способная плескаться, будто ванна с водой?

Оказывается, что природа пространства – одна из величайших и самых странных загадок Вселенной. Так что приготовьтесь к… пространным рассуждениям.
Читать дальше →
Всего голосов 29: ↑26 и ↓3+23
Комментарии145

Julia. Метапрограммирование и макросы

Уровень сложностиСредний
Время на прочтение20 мин
Количество просмотров2K

Julia является одним из самых востребованных математических языков программирования. Однако некоторые особенности этого языка, которые обеспечивают гибкость и позволяют расширять её области применения, не столь часто используются программистами. В этой статье пойдёт речь о механизме макросов, который выгодно её отличает от прочих скриптовых языков программирования.

Механизм макросов используется в Julia довольно часто. Макрос при использовании начинается с символа @ и имеет вид @show, @benchmark… А также, в неявной форме, макросами являются регулярные выражения r"[a..z]" (это макрос с полным именем r_str), а также многочисленные другие способы применения, включая примеры Modia.jl / Unitful.jl с макросом u_str, где физическая величина «вшита» в число:

L = 0.8u"m",
m = 1.0u"kg",
d = 0.5u"Nms/rad",
g = 9.81u"m/s^2",

Читать далее
Всего голосов 13: ↑13 и ↓0+13
Комментарии0

Кратко про FP в Julia

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров1.7K

В отличие от императивного подхода, где выражается последовательность операций, функциональное программирование (FP) сосредотачивается на "что" и "как" должно быть вычислено, а не на "когда". Это приводит к более чистому, модульному и легко тестируемому коду.

Juliа поддерживает анонимные функции, замыкания, и имеет систему типов, которая позволяет писать высокооптимизированный код без потери читаемости и удобства.

Читать далее
Всего голосов 16: ↑14 и ↓2+12
Комментарии5

Временные ряды с Julia с библиотекой TimeSeries.jl

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров1.5K

Julia позволяет достигать скорости, сравнимой с C, что делает её хрошим выбором для временных рядов.

Пакет TimeSeriesпредоставляет удобные методы для работы с данными временных рядов в Julia.

Читать далее
Всего голосов 16: ↑15 и ↓1+14
Комментарии2

Figma — простое решение для дизайнера, сложное решение для верстальщика

Время на прочтение6 мин
Количество просмотров217K

Если вы работаете в области web-разработки, то рано или поздно, вам суждено будет познакомиться с Figma. Смиритесь с этим фактом и начинайте изучать. Я же попробую описать данный продукт, с точки зрения повседневного пользователя.
Читать дальше →
Всего голосов 26: ↑19 и ↓7+12
Комментарии41
1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность