Обновить
-6
Алексей@java3000

Администратор windows умеющий в программирование

Отправить сообщение

ML Q & AI. Глава 5. Уменьшение переобучения при помощи данных

Уровень сложностиСредний
Время чтения3 мин
Охват и читатели5.3K

← Предыдущая глава | Следующая глава →

Предположим, что мы обучаем классификатор при помощи обучения с учителем и замечаем, что он страдает от переобучения. Какие существуют основные подходы для уменьшения переобучения путем модификации или дополнения данных?

Переобучение - достаточно широко распространенная проблема в машинном обучении, возникающая, когда модель слишком точно подстраивается под тренировочные данные. В результате она начинает учитывать шум и выбросы, а не взаимосвязи данных. Из-за этого модель хорошо работает на тренировочных данных, но плохо справляется с новыми или тестовыми. В идеале мы бы хотели полностью избежать переобучения, однако на практике это не всегда реально. Поэтому мы стараемся минимизировать его влияние на модель настолько, насколько это возможно.

Наиболее успешные методы, направленные на уменьшение переобучения, основаны на сборе большего количества высококачественных размеченных данных. Однако, если затраты на получение дополнительных размеченных данных оказываются неоправданными, мы можем рассмотреть варианты, такие как аугментация существующих данных или использование неразмеченных данных для предварительного обучения.

Читать далее

Уже завтра! OpenIDE — профессиональные инструменты без ограничений

Уровень сложностиПростой
Время чтения2 мин
Охват и читатели32K

Уже завтра, 31 июля состоится публичный запуск OpenIDE — новой мультиязычной среды разработки, построенной на базе IntelliJ IDEA Platform.

Мероприятие пройдет онлайн на YouTube, VK и RUTUBE каналах Spring АйО. Участие абсолютно бесплатное.

Главное — зарегистрироваться, чтобы получить на почту ссылки на трансляцию и файл .ics для добавления события в календарь.

Читать далее

Большое испытание кальциевых аккумуляторов, часть 3: расход воды и КПД заряда

Уровень сложностиПростой
Время чтения8 мин
Охват и читатели15K

Привет, Хабр! Мы продолжаем безжалостное тестирование пары аккумуляторов Тюмень Стандарт 6СТ-62L в условиях жёсткого перезаряда и прогрессирующего недозаряда.

Сегодняшний отчёт рассказывает об этапе коррекции плотности электролита, контроле текущего состояния аккумуляторов и их подготовке к последующим тестам.

Читать далее

От хайпа к пользе: как агентный ИИ меняет опыт сотрудников и клиентов

Уровень сложностиСредний
Время чтения8 мин
Охват и читатели5.9K

ИИ-инструменты обещают бизнесу революцию, но в реальности всё чаще становятся дорогими игрушками с красивыми демо. Пока компании пытаются встроить генеративные модели в процессы, на сцену выходит агентный ИИ — системы, которые не ждут команд, а сами ставят цели, принимают решения и работают автономно. В статье разберём, как такие агенты уже меняют поддержку, инфраструктуру и внутренние процессы, почему это не про «замену человека», а про усиление, и чем грамотная оркестрация агентов отличается от обычной автоматизации.

Читать далее

MDC в реактивном стеке: как не потерять контекст в Spring WebFlux и Kotlin Coroutines

Уровень сложностиСредний
Время чтения8 мин
Охват и читатели10K

Всё больше Java-разработчиков переходят от приложений, использующих синхронный стек, к реактивным решениям на базе Spring WebFlux и Kotlin Coroutines. Такой переход позволяет строить более масштабируемые и устойчивые к высокой нагрузке системы, эффективно используя пул потоков и асинхронное выполнение задач. Однако вместе с преимуществами реактивного подхода появляется и новая неочевидная проблема — потеря MDC-контекста (Mapped Diagnostic Context), который традиционно используется для сквозной трассировки запросов в логах.

Читать далее

На защите GameDev'a: статический анализ и Unity

Уровень сложностиСредний
Время чтения11 мин
Охват и читатели9.5K

Геймдев на пике развития, но создаётся ощущение, что игры не становятся лучше. Проблемы с производительностью, баги, вылеты — лишь вершина айсберга. Самый эффективный способ борьбы — выявлять проблемы ещё до их появления, прямо в коде на этапе разработки, не дожидаясь тестирования. В статье поговорим о том, как именно статический анализ может помочь с этим.

Читать далее

Основы успешного агентного кодинга (LLMDD)

Уровень сложностиПростой
Время чтения3 мин
Охват и читатели15K

Я постоянно сталкиваюсь со скепсисом относительно самой возможности создания качественного программного продукта при помощи LLM, а когда говорю, что я создаю приложения даже не глядя в код, мне просто не верят. Действительно, при помощи вайб-кодинга в его классическом понимании ничего дельного пока что не построить, но есть несколько основных техник которые я использую, чтобы добиваться качественного результата.

Рассмотрим их в этой короткой статье

Когда State уже не спасает: путь к Statechart

Уровень сложностиСредний
Время чтения13 мин
Охват и читатели11K

В мире разработки программного обеспечения управление состоянием объекта - одна из фундаментальных задач. Когда поведение объекта должно меняться в зависимости от его внутреннего состояния, разработчики часто обращаются к паттерну State. Однако здесь и возникает путаница: его нередко отождествляют с более общей концепцией — State Machine (Конечный автомат), а то и вовсе не видят разницы.

Погрузимся в мир управления состояниями — от простого к сложному!

Читать далее

Флюсы и иллюзия чистоты: почему платы умирают молча

Уровень сложностиСредний
Время чтения7 мин
Охват и читатели39K

Отмывка плат – вопрос, вызывающий тьму ожесточенных споров. Идет ли речь о способах отмывки, сортах моющих средств, или самой необходимости такой процедуры. Постараюсь прояснить подоплеку бурления на основании скромных теоретических познаний и обильных экспериментов на клиентах.

Читать далее

Настройка сервиса автообнаружения

Время чтения8 мин
Охват и читатели9.5K

В прошлой статье мы обозначили проблему со сложной и иногда контринтуитивной для обычных пользователей настройкой десктопных и, в особенности, мобильных почтовых клиентов для работы с электронной почтой по IMAP и, вместе с тем, заявили, что решение данной проблемы существует. Им является сервис автообнаружения – сервис, позволяющий совместимым почтовым клиентам, таким как Outlook (classic), Thunderbird и ряду других автоматически получать необходимые настройки почты после ввода имени учетной записи и корректного пароля. В данной статье мы расскажем о том, как правильно настроить сервис автообнаружения, какие сценарии его работы в каких случаях следует использовать.

Читать далее

Три слагаемых AGI

Уровень сложностиПростой
Время чтения6 мин
Охват и читатели9.2K

Как-то часто стали встречаться статьи нейро-скептиков: людей, которые всю эту движуху вокруг ИИ считают хайпом, пузырем и чем-то явно переоцененным. Скептицизм - это естественно, полезно, и эволюционно-оправдано для человека. Более того, я и сам большой скептик: на все смотрю через призму инженерного снобизма, проф-деформаций и врожденной недоверчивости. И мне, также, трудно самому себе признаться, что весь мой, более чем 20-ти летний опыт в IT - скоро можно будет выбросить на помойку. Я тоже цепляюсь за те логические соломинки, которые мне позволяют надеяться на то, что я останусь в строю.

Но мой персональный нейро-скептицизм простирается еще шире. Он, во многом, касается и возможностей природных нейросетей - наших с вами мозгов. Я очень скептичен в отношении интеллектуальной исключительности человека. Я нахожу чрезмерно самонадеянными высказывания о том, что мы обладаем какой-то уникальной способностью к творчеству и к тому, что мы, в действительности, все-вокруг контролируем. Наш интеллект, мало того, что неравномерно распределен в популяции, так еще и очень нестабилен во времени: мы очень зависимы от стресса, усталости, уровня гормонов и нейромедиаторов... Умнейшие из нас, порой, могут вести себя как полнейшие дураки. И это нормально. А средний по больнице интеллект человечества - хм, даже не знаю как сказать, чтобы не обидеть всю цивилизацию. Даже в отношении свободы воли, в научном сообществе сейчас доминирует идея о том, что ее и нет вовсе.

Читать далее

Лифт-убийца, некомпетентность и причём здесь Ардуинщики

Время чтения3 мин
Охват и читатели99K

Случайно наткнулся на видео про лифт убийцу на Arduino. В этом видео автор показывает, как некая компания выполнила заказ по разработке и установке лифта для инвалидов. То , что там было сделано, это пример преступной некомпетентности разработчиков.

Читать далее

Когда две головы лучше, чем одна: ученые экспериментируют с коллективной работой нейросетей

Уровень сложностиСредний
Время чтения6 мин
Охват и читатели8.1K

Сегодня я хочу рассказать о японском стартапе Sakana AI, который изобрел open-source фреймворк TreeQuest. Он позволяет использовать сразу несколько разных больших языковых моделей для того, чтобы получить более точный результат. Еще немного поговорим о Grok4 Heavy.

Но начну я с голубей.

Читать

Универсальная С++ фабрика объектов: для Qt и не только

Уровень сложностиСложный
Время чтения47 мин
Охват и читатели22K

Привет, Хабр! Меня зовут Михаил Полукаров, я занимаюсь разработкой Desktop-версии корпоративного супераппа для совместной работы VK Teams.

Если вы тоже работали с большими проектами, где активно применяются объектно-ориентированные паттерны проектирования, то наверняка сталкивались с паттернами проектирования Factory Method или AbstractFactory. В процессе разработки я неоднократно ловил себя на мысли, что часто пишу однотипный код таких фабрик, и задумался о том, как можно было бы избежать таких самоповторений. 

В этой статье я покажу, как сделать универсальную фабрику объектов, покрывающую большую часть потребностей, следующую принципам DRY (Don’t Repeat Yourself), а также как можно использовать некоторые «фишки» новых стандартов С++. 

Читать далее

Enabler для AI-агентов — интеграционная платформа MWS OCTAPI

Время чтения9 мин
Охват и читатели6.9K

Привет всем! Меня зовут Александр Бардаш, я CTO интеграционной платформы MWS Octapi. Недавно я выступал с докладом на конференции True Tech Day и рассказывал, как мы строим инженерную основу для AI-агентов, которые не просто отвечают, а действительно помогают: автоматизируют процессы, принимают решения и становятся частью цифровых продуктов, а не остаются на уровне игрушек и прототипов.

Полностью посмотреть доклад можно в True Tech. А ниже — переработка для Хабра. Обсудим единый интеграционный ландшафт: зачем и для кого он нужен, как используется и почему важен для построения бизнеса и внедрения моделей. Поделюсь кейсом, как мы решили проблему сложных композитных сценариев построения и внедрили собственные ИИ-решения, которые серьезно упростили жизнь пользователям. Погнали!

Читать далее

LLM как помощник тестировщика: от экспериментов к ИИ агенту

Уровень сложностиПростой
Время чтения5 мин
Охват и читатели11K

Всем привет! На связи Арслан, тимлид команды тестирования компании «Совкомбанк Технологии». В этой статье я поделюсь опытом успешного внедрения методов искусственного интеллекта и больших языковых моделей (LLM) в тестирование программного обеспечения. 

Объясню причины разработки собственных внутренних решений на основе искусственного интеллекта, какие трудности возникли на этом пути, как используем техники промпт-инжиниринга для повышения качества тест-кейсов и каких результатов смогли достичь.

Читать далее

Как запустить стартап, чтобы не остаться в долгах

Уровень сложностиСредний
Время чтения25 мин
Охват и читатели7.4K

Собрал для вас 20 ошибок, очевидных и не очень, которые совершают фаундеры, когда вопрос касается финансового планирования их бизнес-проекта.

Каждую ошибку и её последствия описал подробно + написал варианты, которые помогут избежать этих ошибок.

Читать далее

Некоторые замечания об игре в Шахматы против LLM (на примере deepseek)

Время чтения6 мин
Охват и читатели13K

Поскольку LLM (все эти ChatGPT, DeepSeek и т.п.) это языковые модели, которые по идее просто складывают ответ из кусочков фраз, как в калейдоскопе - мы не ожидаем от них чудес логики. Тем больше они нас удивляют пытаясь генерировать ответы на достаточно мудрёные задачи - от генерации и исправления программного кода до, например, игры в шахматы.

Идея с игрой в шахматы хороша тем что на ней легко продемонстрировать и неспециалисту как возможности так и ограничения LLM. Эксперименты на эту тему появились уже давно, например в статье на Хабре же от 2023 года. Там автор на 6м ходу сделал неправильный ход но LLM этого не заметила. Мы кратенько посмотрим есть ли прогресс в этом направлении, попробуем немного изменить подход и потестируем ещё пару игр.

(сразу скажу - несмотря на прошедшие два года и явно принятые разработчиками усилия добиться адекватности мне почти не удалось)

Читать далее

Топ-5 бесплатных нейросетей для транскрибации: лучшие сервисы для перевода аудио и видео в текст

Уровень сложностиПростой
Время чтения7 мин
Охват и читатели238K

Нас давно не удивишь тем, что нейросеть за пару секунд расшифровывает двухчасовую лекцию или превращает аудиозаметку в аккуратный текст с заголовками и абзацами. Мы живём в эпоху, где слова больше не нужно набирать вручную. Их достаточно просто произнести, а остальное за алгоритмами.

Сегодня мы решили проверить, как работают пять популярных нейросетевых помощников для перевода аудио в текст. И сделаем это необычным способом — через сказки!

Заинтересовали? Тогда давайте расшифровывать, сравнивать и делиться впечатлениями вместе.

Приятного прочтения!

Читать далее

Патентный анализ биоэлектронных устройств

Уровень сложностиСредний
Время чтения8 мин
Охват и читатели6.9K

Биоэлектроника — это междисциплинарная область, которая объединяет принципы и методы биологии и электроники для разработки передовых технологий и устройств для взаимодействия с биологическими системами. Это интеграция электронных компонентов, схем и систем с живыми организмами или биологическими материалами, позволяющая измерять, отслеживать, контролировать или манипулировать биологическими процессами на разных уровнях — от клеточного до уровня всего организма. Биоэлектронные технологии часто включают в себя датчики, исполнительные механизмы, микроэлектронику и инструменты биоинформатики, которые позволяют отслеживать, анализировать и вмешиваться в работу биологических систем в режиме реального времени. Эти технологии находят применение в различных областях, включая медицинскую диагностику, терапевтические вмешательства, нейроинженерию, биосенсорику, регенеративную медицину и персонализированное здравоохранение. О них мы сегодня и поговорим. 

Читать далее

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Десктоп разработчик, Администратор серверов
Младший
От 110 000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения