
Упрощать и искать похожие детали, очень полезный навык! Предлагаю быстро пробежаться и попробовать найти ту самую серебряную пулю в RecSys !
Tech Lead using Angular & .net
Упрощать и искать похожие детали, очень полезный навык! Предлагаю быстро пробежаться и попробовать найти ту самую серебряную пулю в RecSys !
Локальный DeepSeek-R1-0528 на скромном железе? Реально. Со скоростью улитки? Первоначально – да. Но итог моего эксперимента: эту 'улитку' можно заставить работать вдвое быстрее.
Привет, Хабр! Меня зовут Артем Чебыкин, я ML-инженер и автор медиа вАЙТИ. В этой статье я расскажу о том, какой тип компьютера: стационарный, ноутбук или макбук — больше всего подходит для машинного обучения и почему. Также рассмотрим начальный и продвинутый вариант сборки для машинного обучения больших языковых моделей (LLM).
Привет, дорогой Хабр! Давно не общались. Сегодня мы рассмотрим проект с открытым исходным кодом, позволяющий создавать дипфейки, клонировать речь, генерировать видео, удалять текст и объекты, а также получать изображения без фона, прямо на вашем компьютере. Поговорим о Wunjo AI и его возможностях для тех, кто еще не в курсе. В начале статьи ссылки на открытый код GitHub и установочные файлы, чтобы воспользоваться готовыми сборками. А в конце статьи я добавлю видео, в котором расскажу, какие нейронные сети применяются для работы с видео или со звуком, и как эти нейронные сети устроены и работают, либо можно спросить бота в блоге и получить ответ текстом.
Недавно Яндекс изменил процесс отбора кандидатов, теперь перед алгоритмической секцией добавилась секция Advanced Code. Секция заявлена как более близкая к практике, в статье я расскажу правила нового формата.
Автоматический дебаг с помощью языковых моделей уже не новость, и разработчики используют LLM‑модели и среды разработки с интегрированным ИИ, чтобы анализировать код и предлагать исправления. Но что если встроить в этот процесс ещё один мощный инструмент — поиск в интернете?
В этой статье мы рассмотрим необычный подход: автоматический дебаггер, который не просто анализирует код с помощью нейросети, но и при необходимости отправляет сформулированные моделью поисковые запросы в интернете. Если модель не уверена в исправлении, она делает то же, что и человек, — ищет похожие ошибки и готовые решения в сети.
Привет, Хабр! Меня зовут Даниил, работаю в ML-отделе Doubletapp. В статье расскажу про особенности применения больших языковых моделей для оптимизации бизнес-процессов.
Большая языковая модель (LLM) — это тип языковой модели, который способен распознавать и генерировать осмысленные тексты, а также другие сложные типы данных (например, код). Такого рода модели обучаются на огромных массивах данных, чаще всего собранных из открытых источников.
Тем не менее LLM все еще имеют ряд проблем, одной из которых является галлюцинирование (придумывание фактов). Сложно винить модель за то, что она не знает, как устроен тот или иной процесс/продукт в вашей компании, и пытается придумать вразумительный ответ. Поэтому нужно подсказать LLM фактическую информацию, а она уже даст нам понятную человеку персонализированную реплику.
Такая система ответов на вопросы с использованием фактической информации называется RAG (Retrieval Augmented Generation).
Данная статья состоит из двух частей:
• мы рассмотрим построение RAG-системы на основе библиотеки langchain;
• объективно оценим работоспособность созданной системы, используя синтетические данные на русском языке с помощью фреймворка RAGAs.
Это было очень давно, когда я учился классе в десятом. Среди довольно скудного в научном плане фонда районной библиотеки мне попалась книга — Угаров В. А. «Специальная теория относительности». Эта тема интересовала меня в то время, но информации школьных учебников и справочников было явно недостаточно.
Однако, книгу эту я читать не смог, по той причине, что большинство уравнений представлялись там в виде тензорных соотношений. Позже, в университете, программа подготовки по моей специальности не предусматривала изучение тензорного исчисления, хотя малопонятный термин «тензор» всплывал довольно часто в некоторых специальных курсах. Например, было жутко непонятно, почему матрица, содержащая моменты инерции твердого тела гордо именуется тензором инерции.
Краткое и понятное описание подхода RAG (Retrieval Augmented Generation) при работе с большими языковыми моделями.
Вы хотите использовать возможности DeepSeek, передового ИИ-помощника по программированию, прямо на своем локальном компьютере? Независимо от того, создаете ли вы пользовательский рабочий ИИ-процесс или обеспечиваете конфиденциальность данных, самостоятельное развертывание DeepSeek открывает безграничные возможности. Давайте погрузимся в процесс развертывания.
DeepSeek R1 is an exciting AI model that you can run locally without relying on cloud services. In this guide, I’ll show you step-by-step how to set up and run DeepSeek R1 Distilled using Ollama and Open WebUI. By the end, you’ll have a fully functional local AI chatbot accessible via your web browser! If you are ready, then let's get started! ;-)
Визуальный трекинг объектов без обучения – сложная задача, особенно в динамических сценах. Новый метод SAMURAI расширяет возможности SAM-2, интегрируя механизмы моделирования движения и улучшая архитектуру памяти.
SAMURAI использует фильтр Калмана для моделирования движения и стабилизации предсказаний, что позволяет значительно повысить точность трекинга в сложных условиях. Метод превосходит существующие zero-shot методы и демонстрирует конкурентоспособные результаты по сравнению с обучаемыми моделями.
Видеотехнологии применяют очень по-разному. Например, знаете ли вы, что компьютерное зрение уже используется в горно-металлургической отрасли для «контроля рудозасорения на конвейере»?
Честно говоря, мы и сами (организаторы конференции VideoTech) больше знакомы с другими видеовопросами. Например, какой кодек нам использовать для онлайн-трансляции.
Но вот для этого мы и проводим конференцию: чтобы самые разные видеоспециалисты могли обменяться опытом. И о кодеках, и о плеерах, и о компьютерном зрении, и об ультранизкой задержке.
Осталась лишь пара недель до VideoTech 2024, её программа полностью готова, и она действительно пёстрая: темы разнятся от «автоматической вертикализации видео» до «технологий телевидения 90-х». Представляем Хабру описания всех докладов.
Летом мне на глаза попалось руководство по подготовке к экзамену AWS Cloud Practitioner. У меня уже был опыт практической работы с облаком Амазона, но хотелось получше разобраться с новыми технологиями. В июле все сошлось - появилось свободное время и желание расширить знания, а в качестве бонуса получить сертификат.
Перед началом обучения я полагал, что знания у меня уже есть, но их нужно немного освежить. После этого получить начальный сертификат AWS Cloud Practitioner не составит труда. По заверениями Амазон для получения начального сертификата нужно 6 месяцев работы с облаком. По заверениям некоторых блогеров достаточно одного месяца.
Обучаться я начал в лоб — открыл руководство и начал читать, переходя от одной главы к другой. На прочтение одной главы уходил примерно час. В день я читал одну, иногда две главы. После каждой главы нужно было сдать мини-тест из 20 вопросов. На это уходило еще полчаса. Итого 1,5 часа * 12 глав = 12 дней. С этим я успешно справился. Мини-тесты проходил на бумаге, смотрел ответы, анализировал ошибки, снова читал.
В руководстве был спрятан бонус, который я не заметил в начале чтения. Можно зарегистрироваться на сайте и отвечать на вопросы тестов онлайн. Это удобно — вопросы можно перемешивать, проходить тесты несколько раз, видеть аналитику и даже корректировать вопросы, если вдруг нашел ошибку.
Через полторы недели чередования чтения с тестированием я решил, что подготовка прошла успешна. Пришло время сдавать экзамен, но для этого нужно было на него зарегистрироваться. Процесс оказался несложным. Аккаунт AWS у меня уже был, зайдя на aws.training в личный профиль, выбрал центр тестирования и назначил время экзамена.
Добрый день, меня зовут Павел Поляков, я Principal Engineer
в каршеринг компании SHARE NOW, в Гамбурге в ?? Германии. А еще я автор телеграм канала Хороший разработчик знает, где рассказываю обо всем, что обычно знает хороший разработчик.
Сегодня хочу поговорить о принципах лидерства в Amazon. Это перевод оригинальной статьи.
Amazon является одной из самых больших и дорогих технологических компаний в мире. На Amazon работают десятки тысяч разработчиков. Все они получают хорошую компенсацию от 150.000$ в год и выше. Удивительно, но вся внутренняя политика Amazon основывается всего лишь на 16 принципах. 16 коротких фраз, которые определяют как ведет себя хороший сотрудник в Amazon.
Давайте посмотрим что это за принципы и как они помогают разработчикам в Amazon быть наиболее продуктивными.
Вчера мы остановились на инициализации terraform. Сегодня мы поднимем одну машину в дефолтной сети с дефолтными настройками. И Яндекс и aws изначально создают вам одну VPC и подсети в ней.
В Prime Video мы предлагаем нашим клиентам тысячи прямых трансляций. Чтобы гарантировать, что клиенты беспрепятственно получают контент, Prime Video создала инструмент для мониторинга каждого потока, просматриваемого клиентами. Этот инструмент позволяет нам автоматически выявлять проблемы с качеством воспринимаемого контента (например, повреждение блока или проблемы с синхронизацией аудио / видео) и запускать процесс их устранения.
У нашей команды анализа качества видео (VQA) в Prime Video уже был инструмент для проверки качества аудио / видео, но мы никогда не планировали и не проектировали его для масштабной работы (нашей целью было отслеживать тысячи одновременных потоков и увеличивать это число со временем). Подключая к сервису больше потоков, мы заметили, что масштабная эксплуатация инфраструктуры обходится очень дорого. Мы также заметили узкие места в масштабировании, которые мешали нам отслеживать тысячи потоков. Итак, мы сделали шаг назад и пересмотрели архитектуру существующего сервиса, сосредоточив внимание на стоимости и узких местах масштабирования...
Привет, Хабр! Меня зовут Полина Шнайдер, я ML-инженер в лаборатории LISA в ИТМО. Сейчас я разрабатываю систему, которая помогает нашим преподавателям создавать программы учебных курсов. Разработка учебной программы ― творческая работа, во многом завязанная на опыт преподавателя. Но в ней есть большая доля рутины, например, глубокий анализ и проработка тематического плана, которую я и хотела бы автоматизировать с помощью больших языковых моделей, дополненных данными из нашей университетской базы знаний. Надо отметить, что я не просто решаю практическую задачу, а занимаюсь исследованиями. Не все большие языковые модели (особенно облегчённые версии) обладают глубокими знаниями по университетским дисциплинам. Поэтому одной из целей моей работы было выяснить, могут ли модели меньшего размера давать адекватные ответы с дополнительным контекстом из университетской базы.
В этой статье расскажу, что у нас получилось.