All streams
Search
Write a publication
Pull to refresh
134
0.1
Стас Фомин @belonesox

Пользователь

Send message

Как я пытался ускорить анализ 12 000 комментариев с помощью GPU за 50 тысяч, но победил процессор

Reading time4 min
Views12K

История о том, как я хотел провести анализ комментариев, а в итоге получил неожиданный, но полезный опыт с локальным AI.

Недавно передо мной встала задача собрать все положительные комментарии к моим статьям. Веду их учёт в таблице, и там уже вполне серьёзные цифры — больше 300 строк и свыше 10 тысяч комментариев. Основные площадки, где я публикуюсь, выглядят так:

Хабр — 4 497 комментариев

Т‑Ж — 4 186

Смартлаб — 1 998

Пикабу — 726

Вручную искать в этом массиве текста слова поддержки — долго и нудно, а главное — совершенно не масштабируется. Так родилась идея: поручить всё локальной нейросети для анализа тональности. Заодно я хотел на практике разобраться с моделями на основе BERT.

Для этой цели у меня был, как мне казалось, идеальный инструмент: компьютер с Ubuntu 24 LTS, Docker и мощной NVIDIA GeForce RTX 5060 Ti на 16 ГБ. Казалось, что с RTX 5060 Ti на 16 ГБ анализ пройдёт молниеносно. Но на деле именно GPU стал главной точкой отказа — пришлось всё считать на CPU.

Код на GitHub.

Читать далее

Самодельный кластер на мини ПК

Level of difficultyEasy
Reading time3 min
Views10K

В конце 2021 года у меня появилось непреодолимое желание построить свой небольшой домашний вычислительный кластер. Практической задачи на тот момент у меня не было (и до сих пор не появилось), так что подходил исключительно с исследовательским интересом. Вообще, любой домашний кластер можно использовать ради экспериментов, для домашнего хостинга или просто для кайфа от обладания им — мой случай именно третий.

Когда начал изучать чужой опыт, быстро понял, что все строят кластеры на Raspberry Pi. Тогда цены на «малинки» только росли и уже кусались, поэтому решил искать другие варианты.

Вариант с полноценным сервером я сразу отбросил — слишком дорого, громоздко, шумно, и энергопотребление конское, плюс мощности были бы с большим запасом, а мне это было не нужно.

Понял, что мини ПК, именно то, что мне требуется.

Читать далее

Патчим Chrome для работы с YouTube

Level of difficultyEasy
Reading time8 min
Views95K

Салют, Хабр! Я думаю, каждый из вас знаком или, по крайней мере, слышал о такой прекрасной утилите как NoDPI написанной на питоне (большое спасибо @Lord_of_Rings!). Сегодня я хочу представить вам (почти) свою разработку, не требующую ни питона ни прокси. Мы будем патчить прямо на диске библиотеку chrome.dll - входяющую в пакет Chrome на Windows и лежащую в директории "C:\Program Files\Google\Chrome\Application\140.0.7339.208\chrome.dll". Цифры могут меняться в зависимости от версии. Данный патч занимает всего 8 байт и после него у нас появится YouTube.

Читать далее

Началось: Роскомнадзор приступил к проверкам и начал рассылать предпринимателям первые требования по новому закону

Level of difficultyEasy
Reading time5 min
Views177K

1 сентября заработали новые положения закона о персданных. Для всех предпринимателей и компаний это новые правила и ответственность — местами штрафы достигают 15 000 000 рублей.

Подготовиться к нововведениям успели далеко не все.

Сейчас РКН приступил к проверкам и мы уже получили одно из первых «писем счастья». Давайте покажу, на что теперь обращает внимание РКН и как не попасть на новые штрафы.

Читать далее

Говорим с pdf и не только

Reading time6 min
Views3K

В некоторых случаях необходимо исследовать большие объемы информации и затрачивать на это минимум времени. Например, когда мы не хотим читать большой документ целиком, а нам нужно найти ответы на некоторые вопросы. Конечно, это звучит странно. Ведь, чтобы задать вопрос, нужно знать о чем документ :).

Тем не менее, сейчас многие говорят о RAGах. Технология позволяет "говорить" с информацией, которая может храниться в базе, или в огромном текстовом документе. Как правило, речь идет о текстовой информации. Но есть возможность построить RAG на картинках. В этой статье будем говорить именно о такой задаче и легком способе ее решения.

Читать далее

Тихий апокалипсис: я устал читать сгенерированные статьи

Level of difficultyEasy
Reading time6 min
Views25K

Привет, Хабр! Накипело. В последние 3–4 месяца, при поиске интересных статей на Хабр, очень часто замечаю полностью скопированные, не отредактированные статьи, которые генерирует ИИ. Появился некий «новый класс контента», ценность которого равна нулю. Честно, терпел долго, ждал изменений, но с каждым месяцем подобного становится всё больше. Пиком стали подобные «блоги компаний», где выходят статьи с аналогичными паттернами...

В данной статье Вы не найдете ссылок, скриншотов с никами авторов или названиями компаний. Это осознанное решение. Я хочу говорить о системной проблеме, а не о частных случаях.

Читать далее

Что делать, если ваш ноутбук сломался? Как Kasm превратит даже старый планшет в рабочую станцию

Level of difficultyEasy
Reading time9 min
Views4.9K

Когда технические сбои прерывают работу, Kasm Workspaces становится спасением, превращая устаревшие устройства в полноценные рабочие станции через браузер. В статье рассматривается, как платформа решает проблемы сломанных ноутбуков и дефицита оборудования, сравниваются версии (Community, Starter, Enterprise, Cloud), анализируются требования к ресурсам и результаты тестирования на VPS.

Читать далее

RAG-системы на арене: протестировали 5 популярных решений на реальных данных

Level of difficultyMedium
Reading time10 min
Views4.4K

Начнем с боли, знакомой каждому. У любой уважающей себя компании есть своя цифровая «антресоль» — растущая гора DOCX-документов, неструктурированные PDF-файлы, раздувшийся Confluence и километры переписки в почтовых ящиках. Найти там что-то часто попросту невозможно. И тут на сцену выходят LLM и RAG-системы.

Retrieval-Augmented Generation — это технология, которая обещает превратить информационную свалку в упорядоченную библиотеку. Идея простая: даем мощному ИИ доступ к корпоративным знаниям, а поисковик в нужный момент находит релевантный документ и подает его модели. Должен получиться идеальный корпоративный ассистент, который знает все о продуктах, помнит каждую инструкцию и отвечает клиентам мгновенно и без ошибок.

Но есть загвоздка. Что если этот умный помощник, вдруг начнет галлюцинировать?

Мы с командой решили устроить тест пяти RAG-системам на реальных данных. От корпоративных платформ до open-source решений — AutoFAQ Xplain, Yandex, AnythingLLM, Witsy и Onyx. Мы заставили их работать с неудобными форматами, включая отсканированные PDF и устроили слепой экзамен на точность ответов. В роли экзаменаторов выступили два независимых эксперта и две нейросети-оценщика.

В этой статье расскажем:

- Кто наши испытуемые и чем они отличаются под капотом. 
- Как мы построили полосу препятствий из типичных корпоративных документов. 
- Кто споткнулся уже на этапе подключения к данным. 
- И главное — кто оказался самым точным и стабильным.

Результаты вас удивят. Также будет ссылка на GitHub — вы сможете повторить наш эксперимент.

Читать далее

Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Level of difficultyEasy
Reading time20 min
Views2.6K

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.

Читать далее

Большая труба Сида Мейера (как устроен мир в Civilization и моей маленькой 4X-стратегии MyCivGame)

Level of difficultyEasy
Reading time10 min
Views13K

Приветствую тебя, читатель, меня зовут Вадим Бельский, и я уже больше полугода делаю свою небольшую 4-x стратегию MyCivGame, вдохновленную играми Civilization и Total War. Сейчас я расскажу тебе, как устроен мир в нашей любимой игре Civilization, и мы с тобой вместе подумаем, можно ли сделать его лучше (а самое главное, нужно ли это)!

Читать далее

Безопасность и шифрование. Element/Matrix — достойная альтернатива Slack и Mattermost

Reading time6 min
Views51K

Сегодня многие ищут более удобный, дешёвый и безопасный вариант для корпоративных коммуникаций. К сожалению, Slack, Microsoft Teams и другие проприетарные решения не удовлетворяют требованиям по безопасности, а за коммерческие лицензии нужно платить. В качестве альтернативы часто смотрят в сторону бесплатного опенсорсного Mattermost. Но есть вариант получше.
Читать дальше →

Гори гори ясно или как ВСРАТОСЛАВ палит деньги на конференции

Level of difficultyEasy
Reading time6 min
Views2.7K

Так случилось, что из трендов русского ит я выпал где-то за 2-3 года до ковида и шел своей дорогой по рельсам стартапов и неместных бигтехов. Выбравшись из своей ракушки, по стечению обстоятельств я забрел на одну из офлайновых технических конференций ВСРАТОСЛАВА - и данное событие вызвало у меня шквал размышлений и вопросов (буду ждать пояснений в комментариях).

Подробности тут.

Опыт вайбкодинга: как заставить нейросеть работать эффективно

Level of difficultyMedium
Reading time15 min
Views8.5K

Данная статья написана и отредактирована мной вручную, специально, чтобы подчеркнуть ценность ручного труда в эпоху нейросетей.

Сегодня, в начале XXI века, искусственный интеллект уже стал частью нашей повседневности. Мы спокойно спрашиваем у Алисы прогноз погоды, видим тексты и советы от ИИ в поиске, а изображения или даже видеоролики, созданные нейросетью, никого не удивляют.

Параллельно все чаще обсуждают, что крупные языковые модели (LLM), умеющие писать код, якобы скоро заменят программистов и будут сами решать их задачи. По моему опыту — до этого еще далеко. Но при этом нейросети постепенно превращаются в удобный и полезный инструмент для разработчиков.

Ниже я расскажу про собственный опыт работы с такими технологиями, который мы ежедневно применяем в реальных проектах ★5УГЛОВ для наших клиентов.

Читать далее

Fine-tune Qwen3 Embeddings для классификации категорий товаров

Level of difficultyMedium
Reading time4 min
Views4K

Мы взяли размеченный корпус товаров из Web Data Commons, дообучили Qwen3 Embedding с помощью LoRA и получили лёгкий чекпойнт на ~615M параметров, который сопоставляет «сырые» названия товаров с 6 верхнеуровневыми категориями с результатом macro-F1 = 0.836, может работать в реальном времени на одной видеокарте. Код доступен в гитхабе так же английская версия этого поста.

Читать далее

Почему в Linux «Всё есть файл»? Или почему гениальные абстракции UNIX настолько гениальны

Level of difficultyMedium
Reading time21 min
Views103K

– Ваш терминал и ваше интернет соединение – это файл!
– Да что вы такое говорите?
– Скажите ещё, что и мышка в моей руке или жёсткий диск – это тоже файл.
– Абсолютно верно!

На самом деле, с точки зрения Linux – это так.

В этой статье мы докажем это на практике и разберём один из самых неочевидных, но в то же время красивых механизмов UNIX-подобных систем, благодаря которому Linux прошёл проверку временем и стал одной из самых популярных операционных систем в мире.

Читать далее

Разбираем условия Каруша–Куна–Таккера. Решаем сложно простую задачу

Level of difficultyMedium
Reading time6 min
Views4.8K

Если Вы когда‑то учились в вузе на технической специальности или учитесь сейчас (иначе, зачем бы Вам эта статья), у Вас наверняка есть предмет, который назывался примерно так — «Методы оптимизации» / «Введение в оптимизацию» или что‑то похожее. Задачки там примерно такие: «завод производит продукцию k типов, как бы произвести n_1 деталей первого типа,..., n_k деталей k‑го и как можно дешевле». Потом рассказывалось про симплекс‑метод для задач линейного программирования и про метод Лагранжа для задач нелинейного. Про указанные выше условия где‑то упоминается, но без примеров, где‑то сразу абстрактные примеры с матрицами, а может быть Ваш препод и вовсе написал в своей методичке, мол, это выходит за рамки курса. В этой статье предлагаю аккуратно разжевать на простом примере, что такое условия ККТ.

Что нам позволяют найти условия Каруша‑Куна‑Таккера (ККТ)

Проверка условий ККТ позволяет решить условную задачу оптимизации, как линейную так и нелинейную, с ограничениями типа равенств и неравенств. Можно сказать, что ККТ это почти универсальный метод, позволяющий решить большинство «адекватных» задач.

Читать далее

Обзор математики для начинающего ML-инженера

Level of difficultyMedium
Reading time21 min
Views22K

Доступное объяснение основных аспектов высшей математики, которые потребуются ML‑щику разного грейда в рабочих сценариях — без дотошных доказательств и с обилием визуальных и численных примеров.

Читать далее

Мои впечатления от нового AI IDE — Qoder

Level of difficultyEasy
Reading time2 min
Views17K

Alibaba (у которых Qwen, AliExpress и Tmall) на днях представила Qoder — свою пока бесплатную альтернативу Cursor.

Я успел провести с ним сегодня свой рабочий день, и вот мои впечатления. Сравнивать его я буду с Windsurf, т.к. им пользовался дольше остальных.

Читать далее

Galene — простой сервер видеоконференций. Установка на VPS

Reading time5 min
Views11K

Сегодня я расскажу, как установить простой сервер для видеоконференций. Его можно использовать, чтобы звонить родственникам или знакомым в эти непростые времена, или же просто иметь в виду как запасной вариант на случай перебоев с другими более известными сервисами.

Сервер называется Galene, github. Он был разработан во время пандемии в Парижском университете как инструмент для проведения удалённых занятий. Со временем его возможности расширились, и теперь по функционалу он ближе к Jitsi Meet.

Читать далее

Jailbreak ChatGPT-5, системный промпт, и скрытый контекст

Reading time7 min
Views21K

Сегодня рассмотрим недавно вышедшую модель ChatGTP-5.

Посмотрим на сведения которые новая модель скрытно собирает о пользователе, обновленный системный промпт, и под конец покажу рабочий jailbreak.

Читать далее
1
23 ...

Information

Rating
3,081-st
Location
Россия
Date of birth
Registered
Activity