Pull to refresh
-6
Алексей@java3000

Администратор windows умеющий в программирование

Send message

ML Q & AI. Глава 5. Уменьшение переобучения при помощи данных

Level of difficultyMedium
Reading time3 min
Reach and readers5.3K

← Предыдущая глава | Следующая глава →

Предположим, что мы обучаем классификатор при помощи обучения с учителем и замечаем, что он страдает от переобучения. Какие существуют основные подходы для уменьшения переобучения путем модификации или дополнения данных?

Переобучение - достаточно широко распространенная проблема в машинном обучении, возникающая, когда модель слишком точно подстраивается под тренировочные данные. В результате она начинает учитывать шум и выбросы, а не взаимосвязи данных. Из-за этого модель хорошо работает на тренировочных данных, но плохо справляется с новыми или тестовыми. В идеале мы бы хотели полностью избежать переобучения, однако на практике это не всегда реально. Поэтому мы стараемся минимизировать его влияние на модель настолько, насколько это возможно.

Наиболее успешные методы, направленные на уменьшение переобучения, основаны на сборе большего количества высококачественных размеченных данных. Однако, если затраты на получение дополнительных размеченных данных оказываются неоправданными, мы можем рассмотреть варианты, такие как аугментация существующих данных или использование неразмеченных данных для предварительного обучения.

Читать далее

Уже завтра! OpenIDE — профессиональные инструменты без ограничений

Level of difficultyEasy
Reading time2 min
Reach and readers32K

Уже завтра, 31 июля состоится публичный запуск OpenIDE — новой мультиязычной среды разработки, построенной на базе IntelliJ IDEA Platform.

Мероприятие пройдет онлайн на YouTube, VK и RUTUBE каналах Spring АйО. Участие абсолютно бесплатное.

Главное — зарегистрироваться, чтобы получить на почту ссылки на трансляцию и файл .ics для добавления события в календарь.

Читать далее

Большое испытание кальциевых аккумуляторов, часть 3: расход воды и КПД заряда

Level of difficultyEasy
Reading time8 min
Reach and readers15K

Привет, Хабр! Мы продолжаем безжалостное тестирование пары аккумуляторов Тюмень Стандарт 6СТ-62L в условиях жёсткого перезаряда и прогрессирующего недозаряда.

Сегодняшний отчёт рассказывает об этапе коррекции плотности электролита, контроле текущего состояния аккумуляторов и их подготовке к последующим тестам.

Читать далее

От хайпа к пользе: как агентный ИИ меняет опыт сотрудников и клиентов

Level of difficultyMedium
Reading time8 min
Reach and readers5.9K

ИИ-инструменты обещают бизнесу революцию, но в реальности всё чаще становятся дорогими игрушками с красивыми демо. Пока компании пытаются встроить генеративные модели в процессы, на сцену выходит агентный ИИ — системы, которые не ждут команд, а сами ставят цели, принимают решения и работают автономно. В статье разберём, как такие агенты уже меняют поддержку, инфраструктуру и внутренние процессы, почему это не про «замену человека», а про усиление, и чем грамотная оркестрация агентов отличается от обычной автоматизации.

Читать далее

MDC в реактивном стеке: как не потерять контекст в Spring WebFlux и Kotlin Coroutines

Level of difficultyMedium
Reading time8 min
Reach and readers10K

Всё больше Java-разработчиков переходят от приложений, использующих синхронный стек, к реактивным решениям на базе Spring WebFlux и Kotlin Coroutines. Такой переход позволяет строить более масштабируемые и устойчивые к высокой нагрузке системы, эффективно используя пул потоков и асинхронное выполнение задач. Однако вместе с преимуществами реактивного подхода появляется и новая неочевидная проблема — потеря MDC-контекста (Mapped Diagnostic Context), который традиционно используется для сквозной трассировки запросов в логах.

Читать далее

На защите GameDev'a: статический анализ и Unity

Level of difficultyMedium
Reading time11 min
Reach and readers9.5K

Геймдев на пике развития, но создаётся ощущение, что игры не становятся лучше. Проблемы с производительностью, баги, вылеты — лишь вершина айсберга. Самый эффективный способ борьбы — выявлять проблемы ещё до их появления, прямо в коде на этапе разработки, не дожидаясь тестирования. В статье поговорим о том, как именно статический анализ может помочь с этим.

Читать далее

Основы успешного агентного кодинга (LLMDD)

Level of difficultyEasy
Reading time3 min
Reach and readers15K

Я постоянно сталкиваюсь со скепсисом относительно самой возможности создания качественного программного продукта при помощи LLM, а когда говорю, что я создаю приложения даже не глядя в код, мне просто не верят. Действительно, при помощи вайб-кодинга в его классическом понимании ничего дельного пока что не построить, но есть несколько основных техник которые я использую, чтобы добиваться качественного результата.

Рассмотрим их в этой короткой статье

Когда State уже не спасает: путь к Statechart

Level of difficultyMedium
Reading time13 min
Reach and readers11K

В мире разработки программного обеспечения управление состоянием объекта - одна из фундаментальных задач. Когда поведение объекта должно меняться в зависимости от его внутреннего состояния, разработчики часто обращаются к паттерну State. Однако здесь и возникает путаница: его нередко отождествляют с более общей концепцией — State Machine (Конечный автомат), а то и вовсе не видят разницы.

Погрузимся в мир управления состояниями — от простого к сложному!

Читать далее

Флюсы и иллюзия чистоты: почему платы умирают молча

Level of difficultyMedium
Reading time7 min
Reach and readers39K

Отмывка плат – вопрос, вызывающий тьму ожесточенных споров. Идет ли речь о способах отмывки, сортах моющих средств, или самой необходимости такой процедуры. Постараюсь прояснить подоплеку бурления на основании скромных теоретических познаний и обильных экспериментов на клиентах.

Читать далее

Настройка сервиса автообнаружения

Reading time8 min
Reach and readers9.5K

В прошлой статье мы обозначили проблему со сложной и иногда контринтуитивной для обычных пользователей настройкой десктопных и, в особенности, мобильных почтовых клиентов для работы с электронной почтой по IMAP и, вместе с тем, заявили, что решение данной проблемы существует. Им является сервис автообнаружения – сервис, позволяющий совместимым почтовым клиентам, таким как Outlook (classic), Thunderbird и ряду других автоматически получать необходимые настройки почты после ввода имени учетной записи и корректного пароля. В данной статье мы расскажем о том, как правильно настроить сервис автообнаружения, какие сценарии его работы в каких случаях следует использовать.

Читать далее

Три слагаемых AGI

Level of difficultyEasy
Reading time6 min
Reach and readers9.2K

Как-то часто стали встречаться статьи нейро-скептиков: людей, которые всю эту движуху вокруг ИИ считают хайпом, пузырем и чем-то явно переоцененным. Скептицизм - это естественно, полезно, и эволюционно-оправдано для человека. Более того, я и сам большой скептик: на все смотрю через призму инженерного снобизма, проф-деформаций и врожденной недоверчивости. И мне, также, трудно самому себе признаться, что весь мой, более чем 20-ти летний опыт в IT - скоро можно будет выбросить на помойку. Я тоже цепляюсь за те логические соломинки, которые мне позволяют надеяться на то, что я останусь в строю.

Но мой персональный нейро-скептицизм простирается еще шире. Он, во многом, касается и возможностей природных нейросетей - наших с вами мозгов. Я очень скептичен в отношении интеллектуальной исключительности человека. Я нахожу чрезмерно самонадеянными высказывания о том, что мы обладаем какой-то уникальной способностью к творчеству и к тому, что мы, в действительности, все-вокруг контролируем. Наш интеллект, мало того, что неравномерно распределен в популяции, так еще и очень нестабилен во времени: мы очень зависимы от стресса, усталости, уровня гормонов и нейромедиаторов... Умнейшие из нас, порой, могут вести себя как полнейшие дураки. И это нормально. А средний по больнице интеллект человечества - хм, даже не знаю как сказать, чтобы не обидеть всю цивилизацию. Даже в отношении свободы воли, в научном сообществе сейчас доминирует идея о том, что ее и нет вовсе.

Читать далее

Лифт-убийца, некомпетентность и причём здесь Ардуинщики

Reading time3 min
Reach and readers99K

Случайно наткнулся на видео про лифт убийцу на Arduino. В этом видео автор показывает, как некая компания выполнила заказ по разработке и установке лифта для инвалидов. То , что там было сделано, это пример преступной некомпетентности разработчиков.

Читать далее

Когда две головы лучше, чем одна: ученые экспериментируют с коллективной работой нейросетей

Level of difficultyMedium
Reading time6 min
Reach and readers8.1K

Сегодня я хочу рассказать о японском стартапе Sakana AI, который изобрел open-source фреймворк TreeQuest. Он позволяет использовать сразу несколько разных больших языковых моделей для того, чтобы получить более точный результат. Еще немного поговорим о Grok4 Heavy.

Но начну я с голубей.

Читать

Универсальная С++ фабрика объектов: для Qt и не только

Level of difficultyHard
Reading time47 min
Reach and readers22K

Привет, Хабр! Меня зовут Михаил Полукаров, я занимаюсь разработкой Desktop-версии корпоративного супераппа для совместной работы VK Teams.

Если вы тоже работали с большими проектами, где активно применяются объектно-ориентированные паттерны проектирования, то наверняка сталкивались с паттернами проектирования Factory Method или AbstractFactory. В процессе разработки я неоднократно ловил себя на мысли, что часто пишу однотипный код таких фабрик, и задумался о том, как можно было бы избежать таких самоповторений. 

В этой статье я покажу, как сделать универсальную фабрику объектов, покрывающую большую часть потребностей, следующую принципам DRY (Don’t Repeat Yourself), а также как можно использовать некоторые «фишки» новых стандартов С++. 

Читать далее

Enabler для AI-агентов — интеграционная платформа MWS OCTAPI

Reading time9 min
Reach and readers6.9K

Привет всем! Меня зовут Александр Бардаш, я CTO интеграционной платформы MWS Octapi. Недавно я выступал с докладом на конференции True Tech Day и рассказывал, как мы строим инженерную основу для AI-агентов, которые не просто отвечают, а действительно помогают: автоматизируют процессы, принимают решения и становятся частью цифровых продуктов, а не остаются на уровне игрушек и прототипов.

Полностью посмотреть доклад можно в True Tech. А ниже — переработка для Хабра. Обсудим единый интеграционный ландшафт: зачем и для кого он нужен, как используется и почему важен для построения бизнеса и внедрения моделей. Поделюсь кейсом, как мы решили проблему сложных композитных сценариев построения и внедрили собственные ИИ-решения, которые серьезно упростили жизнь пользователям. Погнали!

Читать далее

LLM как помощник тестировщика: от экспериментов к ИИ агенту

Level of difficultyEasy
Reading time5 min
Reach and readers11K

Всем привет! На связи Арслан, тимлид команды тестирования компании «Совкомбанк Технологии». В этой статье я поделюсь опытом успешного внедрения методов искусственного интеллекта и больших языковых моделей (LLM) в тестирование программного обеспечения. 

Объясню причины разработки собственных внутренних решений на основе искусственного интеллекта, какие трудности возникли на этом пути, как используем техники промпт-инжиниринга для повышения качества тест-кейсов и каких результатов смогли достичь.

Читать далее

Как запустить стартап, чтобы не остаться в долгах

Level of difficultyMedium
Reading time25 min
Reach and readers7.4K

Собрал для вас 20 ошибок, очевидных и не очень, которые совершают фаундеры, когда вопрос касается финансового планирования их бизнес-проекта.

Каждую ошибку и её последствия описал подробно + написал варианты, которые помогут избежать этих ошибок.

Читать далее

Некоторые замечания об игре в Шахматы против LLM (на примере deepseek)

Reading time6 min
Reach and readers13K

Поскольку LLM (все эти ChatGPT, DeepSeek и т.п.) это языковые модели, которые по идее просто складывают ответ из кусочков фраз, как в калейдоскопе - мы не ожидаем от них чудес логики. Тем больше они нас удивляют пытаясь генерировать ответы на достаточно мудрёные задачи - от генерации и исправления программного кода до, например, игры в шахматы.

Идея с игрой в шахматы хороша тем что на ней легко продемонстрировать и неспециалисту как возможности так и ограничения LLM. Эксперименты на эту тему появились уже давно, например в статье на Хабре же от 2023 года. Там автор на 6м ходу сделал неправильный ход но LLM этого не заметила. Мы кратенько посмотрим есть ли прогресс в этом направлении, попробуем немного изменить подход и потестируем ещё пару игр.

(сразу скажу - несмотря на прошедшие два года и явно принятые разработчиками усилия добиться адекватности мне почти не удалось)

Читать далее

Топ-5 бесплатных нейросетей для транскрибации: лучшие сервисы для перевода аудио и видео в текст

Level of difficultyEasy
Reading time7 min
Reach and readers237K

Нас давно не удивишь тем, что нейросеть за пару секунд расшифровывает двухчасовую лекцию или превращает аудиозаметку в аккуратный текст с заголовками и абзацами. Мы живём в эпоху, где слова больше не нужно набирать вручную. Их достаточно просто произнести, а остальное за алгоритмами.

Сегодня мы решили проверить, как работают пять популярных нейросетевых помощников для перевода аудио в текст. И сделаем это необычным способом — через сказки!

Заинтересовали? Тогда давайте расшифровывать, сравнивать и делиться впечатлениями вместе.

Приятного прочтения!

Читать далее

Патентный анализ биоэлектронных устройств

Level of difficultyMedium
Reading time8 min
Reach and readers6.9K

Биоэлектроника — это междисциплинарная область, которая объединяет принципы и методы биологии и электроники для разработки передовых технологий и устройств для взаимодействия с биологическими системами. Это интеграция электронных компонентов, схем и систем с живыми организмами или биологическими материалами, позволяющая измерять, отслеживать, контролировать или манипулировать биологическими процессами на разных уровнях — от клеточного до уровня всего организма. Биоэлектронные технологии часто включают в себя датчики, исполнительные механизмы, микроэлектронику и инструменты биоинформатики, которые позволяют отслеживать, анализировать и вмешиваться в работу биологических систем в режиме реального времени. Эти технологии находят применение в различных областях, включая медицинскую диагностику, терапевтические вмешательства, нейроинженерию, биосенсорику, регенеративную медицину и персонализированное здравоохранение. О них мы сегодня и поговорим. 

Читать далее

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Десктоп разработчик, Администратор серверов
Младший
From 110,000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения