Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 17
Что означает DNB 66 на логотипе сайта?
Сколько по деньгам\токенам обходится такая работа по сбору, переводу и агрегации новостей в месяц?
Это просто моя торговая марка. Дмитрий Н. Балаболин 1966 года.
Там так то написано. Полный сбор если через ИИ то 10 евро в день. Но если сумеешь часть фильтрации перевести в обычный код то я дошел примерно до 3 евро в день
Статистика по последним дням. Это на дипсике но был момент когда движок нырял с дипсика на Клода. который дороже в 10 раз . Дипсик был недоступен через API
Выйти
Новостей за сутки: 144
Новостей за неделю: 1449
Новостей всего: 7215
Размер хранилища: 376 MB (4.1% лимита 9 ГБ)
Русская главная (gzip): 3662 байт / порог 4000 (предел РФ 4096) · 23.08 11:08
Режим ИИ: боевой
Расход API за сутки: $2.43
это 100 лент новостей. сначала на своих языках делается резюме. потом оно фильтруется от дубликатов. потом то что осталось переводится в виде краткого анонса на английский . а уже когда кто-то лезет за подробностями то ему на языке его уже выдается более полный обзор. Ну а если хочешь - то в конце обзора ссылка на оригинал.
Новостей в день от 150 до 350 бывает. Это после чистки дубликатов. А без этого до 500.
Отдельный респект за то, что унесли часть фильтрации из ИИ в обычный код и уронили расход с 10 до 3 евро в день — это, по-моему, главный практический вывод всего кейса, который обычно пропускают. Соблазн «прогнать всё через модель» огромный, а на дистанции именно гибрид «дешёвый детерминированный препроцессинг + ИИ только там, где без него никак» и делает экономику проекта живой.
Пара вопросов из любопытства, раз вы уже набили руку:
Дедупликация у вас на чём — эмбеддинги с порогом косинуса или что-то попроще (шинглы, minhash)? На новостном потоке в 500 штук в день интересно, где у вас проходит граница «дубль / не дубль», потому что почти-дубликаты (та же новость в пересказе двух агентств) — самая больная зона.
И был ли момент, когда переезд движка с дешёвого DeepSeek на Claude из-за недоступности API ощутимо ударил по стоимости за сутки? Держите ли какой-то фолбэк-бюджет на такие переключения?
Мне в отдельный телеграмм канал шлются Алармы. в том числе это если бабки пошли в расход выше нормы. Так что узнаю сразу же что движок перебрался на другой ИИ. Тем более что там для функции мониторинга всех ИИ живы ли у них API почти все ИИ подключены на платный тариф.
Дубликаты сделаны смешно. Если 20 процентов слов в анонсе совпадает то это дубликаты. Поскольку тест всегда на английском анонсе то там нет словоформ поэтому не надо ничего делать. Если был бы русский то тогда я бы обрезал от всех слов по 5 первых букв и потом сравнивал. Покрывает 99.5 процентов случаев. Для сбора новостей это более чем.
Ну еще механика какая новость первая какая последняя и есть не новости а анонсы. надо правильно убирать. Дешевый движок был по 50 центов дипсик. А Клод по 10 евро в сутки. Сейчас дипсики цену поменяли и стало 2.5 доллара в день.
ВОт поначалу как было (в админке видно)
📈 Расход ИИ за 31 дней: 152.77 € · пик/день 13.41 € · сегодня — правый зелёный столбик (наведи на любой — день и €). После отсечения ботов тренд должен пойти вниз.
deepseek-chat — $66.0 · 316205 вызовов (вход 183,921,867 / выход 34,519,995 ток.)
claude-sonnet-5 — $52.02 · 5089 вызовов (вход 3,169,653 / выход 2,834,106 ток.)
kimi-k3 — $13.91 · 701 вызовов (вход 283,411 / выход 870,596 ток.)
seed-2-0-mini-260428 — $0.39 · 2587 вызовов (вход 700,373 / выход 810,598 ток.)
claude-haiku-4-5 — $0.32 · 180 вызовов (вход 308,945 / выход 1,620 ток.)
gemini-flash-lite-latest — $0.0 · 12 вызовов (вход 3,892 / выход 4,122 ток.)
Kimi-K2.6 — $0.0 · 5 вызовов (вход 200 / выход 1,000 ток.)
Дорогие модели (Sonnet/Kimi/Haiku) отключены 14.08 — резерв переводов BytePlus Seed, затем Gemini. Переводы идут батчами по 20 новостей за вызов.
О, вот это красиво — фильтрация дубликатов по английскому анонсу, чтобы обойти словоформы. Не тащить морфологию русского в сравнение, а сравнивать уже на языке, где её почти нет, — это ровно тот случай, когда правильно выбранная точка в пайплайне экономит кучу сложного кода. И каскад «дорогие модели отключаем, остаётся дешёвый резерв + батчи по 20» — по сути ручной роутер по стоимости, которого в коробочных решениях как раз и не хватает.
Спасибо, что так подробно расписали цифры и механику — редко кто делится реальной кухней с расходами по моделям. Утащил себе пару идей.
Вы с ботом общаетесь.
Надо сказать что у меня есть и другое уже тоже на ИИ. Расчет холодильных машин кондиционеров и не только. Если все совать в ИИ то это 1. словить глюк в какой =то момент 2 скоростные POSGRE с полями JSON прекрасно решают множество задач на халяву. И не просто это дешевле а доходит до 500 раз разницы. Голый ИИ это для ленивых ну и кто не особо программер. У таких нет выхода. А у меня стаж 30 лет включая программирование чипов для АСУТП))
в мировой конкуренции надо своих поддерживать. )
пакетный перевод да. и больше 20 уже нет экономии.
Да и вряд ли кто возьмется такой сайт городить со всеми новостями ИИ со всего мира.
У мне то он лично мне новости собирать и на нем несколько отработано методов. день ночь переключать. перевод на 16 языков на лету по кнопке всего сайта включая арабский которы й в другую сторону.
А как монетизируете сие творение? альтруизм конечно дело благородное, но хостинг, ИИ и прочее, хотя бы 0 выйти не помешало бы
хостинг и так оплачен. в итоге затрат будет около 2500 в месяц. это я считаю как себе свою собственную подписку на лучшую новостную ленту по ИИ. типа как на газету подписался. и надо сказать что новости уже мне сэкономили прилично усилий
Явные роботы. Известные поисковые и служебные боты определяются по подписи (User-Agent)
- то есть я могу прикинуться гугл ботом и зайду на Ваш сайт?) об этом я уже ранее в блоге писал почему не лучший вариант и частая ошибка. user agent подделывается за минуту.
рекомендую определять по ASN сетям, они известны или по Reverse DNS.
Я фильтрую на уровне прокси-сервера, нагрузка идет на прокси-сервер, легитимные заходы идут на основной сайт.
боты почти никогда не скроллят
Вы видели ПФ ботов под Яндекс?) Здравствуйте Zennoposter и Bas
Касаемо переводов, чтобы не тратить токены - можно так же переводить через оф.гугл расширение, правда вам нужно отыскать старую версию где это еще работает, стабильно без ограничений и подружить с зенкой.
Большинство краулеров что Вы написали в статье, ходят по HTTP 1.1 достаточно использовать это как якорь для фильтрации, но и блокировать US допустимо.
Спасибо за комментарий. Если появятся явно нелюди то буду внедрять. Но если есть желание прикидываться гуглоботом то почему нет ? ))) это как раз и есть реальный пользователь будет
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Кого обслуживает твой сайт на старте, юзеров или ботов? Как оценить нужную производительность? Реальные измерения