Совет: продумай организацию кода парсеров, что бы было удобно их править. Обязательно в парсере предусмотри контроль за ошибками и изменениями формата, и отслеживай эти ошибки, они твоя основная работа по поддержанию проекта. Хорошо продумай способ хранения информации о тарифном плане, причем обязательно храни его текстовое описание, и сравнивай текст с прошлым значением, это будет одним из маркеров изменения формата хранения (обсосы любят прятать дополнительную важную информацию в извращенно нетривиальном интерфейсе).
p.s. Очень интересно, можно ли прикрутить ИИ для генерации парсеров, что бы он автоматически анализировал изменения на сайте, читал и искал место размещения сам.
я хотел бы осветить одну из "болей"абонентов - «архивные» тарифы. Абоненты годами сидят на устаревших и дорогих тарифах, не зная, что в их же доме уже давно доступны более выгодные предложения от конкурентов.
Что? Я не помню ни дня, что бы архивный тариф опсоса (а я с ними со времен nokia 3310) был хуже по деньгам для клиента... единственное исключение, временные бонусы за переход между провайдерами или покупка симки.
Пару раз я повелся и менял тариф на предлагаемый опсосом
(больше, лучше, всего за +20р), и оба раза меня 'качественно обманывали',.. из последних помню теле2 за апгрейдил мой архив, добавив плюшек но удалив минимальный пакет sms (тогда все опсосы их предлагали, это замылило глаз и не увидел в описании этого), а так как отсылка sms (десятки в месяц и опсос это прекрасно понимал) мне все еще нужна была, в итоге мне приходилось до 100р докидывать к абонентке именно из-за них, а назад никак.
Но в любом случае, каким бы плохим не был когда то сейчас уже архивный тариф, он все еще в разы дешевле любого доступного тарифа (есть 100р 'интернет вещей', но пока мобильный интернет не доломан, на него переходить не спешу).
Единственные, кому архивные тарифы мешают - это сами операторы сотовой связи.
p.s. как вы описываете тариф и главное как их сравниваете?
Задай мне все необходимые вопросы прежде чем давать ответ
ценнейшая рекомендация всем кто вайбкодит, в реальности именно так и происходит, почему люди думают что с ИИ будет по другому.
Следующим шагом вам с ИИ нужно составить план, вот вы тут делаете код, тут занимаетесь usability (собственно интерфейс нужно тоже описывать не абы ка бы, и все должно проходить через жесткий диалог с вами), тут картинки (это не только картинки, но и их размеры, подгонка под интерфейс, банально направление взгляда котика), тут порядок организации файлов и их именование,.. я прямо вижу что об игре у вас смутное представление, ее план тоже нужно составлять (до ТЗ), потом, когда рабочий код создан, нужен цикл тестирования и подгонка гиперпараметров игры...
И так надо делать, даже если у вас пресловутая коровья кликалка (кнопка с картинкой 'коровы', при нажатии говорит му, нельзя нажимать часто, но можно купить возможность кликать чаще,.. помню был такой эксперимент, его автор заработал за недели десятки тысяч баксов)
Провел больше тестов (по 1000, так точнее и меньше разброса), добавив разные направления и модель 1b как от google (в lmstudio именно от гугла нашел только с квантизацией) так и от tencent.
Если честно, тесты меня немного запутали, по ним tescent хоть и чуть больше но и чуть чуть лучше, но если я беру просто абстрактные технические тексты, абзацами, то маленькая 1b tencent-овская модель переводит 'не очень' (выше отличный пример) при этом еще меньше модель от гугла переводит в этих случаях значительно лучше.
Это подтверждает (не в первый раз это замечаю) что открытые китайские модели не чураются заучить тестовые датасеты (не удивлюсь если так делают все компании, пыль в глаза пускать сейчас очень выгодно), что влияет на сырые цифры но никак не влияет на итоговое качество в реальных задачах.
p.s. Если спросить меня, что бы я выбрал для перевода, я бы однозначно выбрал бы гугловскую модель.
правда в процессе обнаружил что я загрузил квантованную версию hy-mt1.5-7b q4km а гугловскую gemma3-4b - q8 поэтому можно ожидать погрешности в 2-3% в любую сторону и скорость неправильно сравнивать (использовалась 2x gtx 4060ti 16gb)
p.s. для языков типа русский метрика chrf полезнее (больше - лучше):
ИИ
Почему chrF часто полезнее для языков типа русского:
У русского много флексий/окончаний, варианты словоформ могут сильно менять BLEU (который по словам), даже если смысл близок.
Символьные n-граммы “прощают” часть морфологических расхождений и лучше ловят частичное совпадение (например, “переводить/переводит/переводил”).
это несравнимые модели, это специализированная, очень легкая llm-ка, у которой есть системный промпт (обычно модели переводчики - просто вход и выход), естественно любая полноценная llm-ка сможет переводить лучше (с хорошим агентом) но только в сотни раз медленнее.
Не 'вернул к жизни сайт alexa.com' а 'поднял на домене alexa.com свой одноименный сервис AI ассистента', заголовок вводит в заблуждение (и это даже не кликбейт).
У всех дёшевых мембранных например механика побела ломалась через 2-3 года (там перетирается крепление скобы выравнивания кнопки), чем позже покупалась тем раньше ломается
Как это можно в принципе сравнивать с малинкой? Процессор там уровня 7500f rysen 5 с видеорядом всего на треть хуже эталонного gtx1650... Питание по шине данных с монитором (т.е. нужен буквально один кабель), своя батарейка... Если это будет стоить меньше $700..$1000 то я буду удивлен.
Но недостаток наверняка есть, я просто вижу как клавиатура ломается и ее починка выходит в треть стоимости всей вундервафли...
Это конечно якобы 'open source', но у модели дикие запреты в лицензии, территориальные (по пользователям, например читателям перевода) - запрет для EU/UK/South Korea, запрет для использования в ряде видов лицензируемой деятельности (типа медицина, финансы, юридические и военные) и классическое типа заражение деривативов этой же лицензией, запреты на использование в обучении других моделей (в т.ч. дистиляция), обязательства по маркировке переводов и если больше 100кк пользователей в месяц нужно запрашивать другую лицензию.
без разделения контента на реальный и сгенерированный, современные технологии обучения, не позволят качественно принять малый объем контента, то чего больше будет портить сильнее (с этим борятся с помощью генерализации, но для этого нужно различать)
О чем я и говорю, это тупо дорого, на столько, что большое количество применений для создаваемого человеком контента, просто перестают иметь смысл.
Скрытый текст
Я приведу пример из другой области - fdm 3d-печать, созданная в 80-ых годах прошлого века тридцать лет находилась в стагнации, из-за невероятно высокой ее стоимости (патенты удерживала компания stratasis производитель монопольно, и до сих пор успешно наказывает мир за попытки эти технологии использовать, из последних к примеру - подогреваемая область печати, патент протух в 2019-ом а производители до сих пор боятся, так как компанию очень любит судиться), о том на сколько отличалась эта цена мир увидел 10 лет назад, когда благодаря одному инженеру а позже китайцам, fdm 3d принтеры стали доступны по невероятно низким ценам, а стоимость отпечаток опустилась до того, что стало выгодно печатать обычные игрушки, когда так до этого цена была на столько неадекватно высокой, что никто, кроме инженеров для прототипирования, об использовании этого и не задумывался.
Высокие цены буквально ограничивают использование чего угодно, никто не будет создавать контент, если для поддержания его распространения придется платить приличную стоимость, никто в здравом уме не будет платить условные 10р только что бы посмотреть на одну картинку, когда одно посещение сайтика с бугагашеньками за 10 минут съест тысячи рублей
А еще, человек будет очень часто ошибаться, а когда ваши клиенты будут финансово заинтересованы пройти эту модерацию, ваш саппот будет сильно перегружен.
Дать людям возможность массово генерировать контент - это единственная на текущий момент экономическая модель получить доход с генеративного ИИ, а создавать такой ИИ очень и очень дорого. Вот и получается, что не дать не могут, а если дать то станет очень плохо.
Не создавать генеративный ИИ (в общем смысле, не только картинки) тоже не получится, там рядом маячит шанс получить настоящий сильный ИИ, так как понимание мира очень хорошо корелирует с качеством этой генерации. А сильный ИИ человечеству нужен.. как единственный (других не знаем) способ развития этого человечества (наверное симбиоз?), иначе деградация, стремительная и разрушительная.
Единственный 'адекватный' но конечно тоже не дающий 100% гарантии способ - это сотрудничество всех топовых компаний для генерации изображений, с индексацией всех сгенерированных для будущего поиска (d2net/r2d2/delf/superpoint/superglue/..) и сотрудничество большинства площадок для публикации контента (они и так монополизированы) для автоматической разметки изображений на участие генерации ИИ (очень широкий кстати термин, например смартфоны уже давно пользуются ИИ улучшаторами, их тоже маркировать? а если этот же смартфон позволил удалить объект с помощью ИИ?)
Открытые модели обычно слабее проприетарных, для них можно изготовить детекторы (тоже ничего не гарантируют но хоть что то), главное детектор в публичный доступ не выкладывать, а проверки делать платными, иначе простым тюнингом локальная модель легко обучается на взлом этих детекторов.
само собой, но это же одноразовый дрон, ему нужно просто продлить жизнь, не удивлюсь что эти лазерные пушки работают на грани временного окна, поймать цель, жечь ее достаточно долго что бы повредить, за секунды... продли это время в 2-3 раза простой алюминевой гальванизацией, поверх тонким прозрачным пластиком,..
Совет: продумай организацию кода парсеров, что бы было удобно их править. Обязательно в парсере предусмотри контроль за ошибками и изменениями формата, и отслеживай эти ошибки, они твоя основная работа по поддержанию проекта. Хорошо продумай способ хранения информации о тарифном плане, причем обязательно храни его текстовое описание, и сравнивай текст с прошлым значением, это будет одним из маркеров изменения формата хранения (обсосы любят прятать дополнительную важную информацию в извращенно нетривиальном интерфейсе).
p.s. Очень интересно, можно ли прикрутить ИИ для генерации парсеров, что бы он автоматически анализировал изменения на сайте, читал и искал место размещения сам.
а зачем пылесосу непрерывное подключение к wifi во время уборки?
Что? Я не помню ни дня, что бы архивный тариф опсоса (а я с ними со времен nokia 3310) был хуже по деньгам для клиента... единственное исключение, временные бонусы за переход между провайдерами или покупка симки.
Пару раз я повелся и менял тариф на предлагаемый опсосом
(больше, лучше, всего за +20р), и оба раза меня 'качественно обманывали',.. из последних помню теле2 за апгрейдил мой архив, добавив плюшек но удалив минимальный пакет sms (тогда все опсосы их предлагали, это замылило глаз и не увидел в описании этого), а так как отсылка sms (десятки в месяц и опсос это прекрасно понимал) мне все еще нужна была, в итоге мне приходилось до 100р докидывать к абонентке именно из-за них, а назад никак.
Но в любом случае, каким бы плохим не был когда то сейчас уже архивный тариф, он все еще в разы дешевле любого доступного тарифа (есть 100р 'интернет вещей', но пока мобильный интернет не доломан, на него переходить не спешу).
Единственные, кому архивные тарифы мешают - это сами операторы сотовой связи.
p.s. как вы описываете тариф и главное как их сравниваете?
стоп, там разве не догадались вместо зарядки, менять аккумулятор (а его уже на станции зарядки заряжать, пока пылесос убирает)?
ценнейшая рекомендация всем кто вайбкодит, в реальности именно так и происходит, почему люди думают что с ИИ будет по другому.
Следующим шагом вам с ИИ нужно составить план, вот вы тут делаете код, тут занимаетесь usability (собственно интерфейс нужно тоже описывать не абы ка бы, и все должно проходить через жесткий диалог с вами), тут картинки (это не только картинки, но и их размеры, подгонка под интерфейс, банально направление взгляда котика), тут порядок организации файлов и их именование,.. я прямо вижу что об игре у вас смутное представление, ее план тоже нужно составлять (до ТЗ), потом, когда рабочий код создан, нужен цикл тестирования и подгонка гиперпараметров игры...
И так надо делать, даже если у вас пресловутая коровья кликалка (кнопка с картинкой 'коровы', при нажатии говорит му, нельзя нажимать часто, но можно купить возможность кликать чаще,.. помню был такой эксперимент, его автор заработал за недели десятки тысяч баксов)
Провел больше тестов (по 1000, так точнее и меньше разброса), добавив разные направления и модель 1b как от google (в lmstudio именно от гугла нашел только с квантизацией) так и от tencent.
gemma3_1b_q4_ru-en: "bleu": 23.13453186053071, "chrf": 47.843819101373086
gemma3_1b_q4_en-ru: "bleu": 18.093831857053072, "chrf": 42.37995811441325
hy-mt1.5-1.8b_q8_ru-en: "bleu": 26.182425314308155, "chrf": 49.46569985088494
hy-mt1.5-1.8b_q8_en-ru: "bleu": 23.030736206959986, "chrf": 44.52493463190264
gemma3_4b_q8_ru-en: "bleu": 28.414742935496218, "chrf": 52.612197045607104
gemma3_4b_q8_en-ru: "bleu": 24.332018142668247, "chrf": 49.66053743893908
hy-mt1.5-7b_q8_ru-en: "bleu": 26.98242052846827, "chrf": 52.832239040177086
hy-mt1.5-7b_q8_en-ru: "bleu": 23.414063264201452, "chrf": 50.6107696536401
Если честно, тесты меня немного запутали, по ним tescent хоть и чуть больше но и чуть чуть лучше, но если я беру просто абстрактные технические тексты, абзацами, то маленькая 1b tencent-овская модель переводит 'не очень' (выше отличный пример) при этом еще меньше модель от гугла переводит в этих случаях значительно лучше.
Это подтверждает (не в первый раз это замечаю) что открытые китайские модели не чураются заучить тестовые датасеты (не удивлюсь если так делают все компании, пыль в глаза пускать сейчас очень выгодно), что влияет на сырые цифры но никак не влияет на итоговое качество в реальных задачах.
p.s. Если спросить меня, что бы я выбрал для перевода, я бы однозначно выбрал бы гугловскую модель.
да, модели от гугла мне тоже нравятся. Но сравнивать нужно конечно не абы как, а каким-нибудь бенчмарком.
p.s. протестировал локально через lmstudio, 7b работает дольше чем 4b гугловская (примерно в 2 раза), я почему то думал что модель MoE...
upd. с помощью ИИ настроил и запустил по быстрому первый попавшийся бенчмарк, на 200 примеров (датасет opus100)
hy-mt1.5-7b:
gemma3_4b:
правда в процессе обнаружил что я загрузил квантованную версию hy-mt1.5-7b q4km а гугловскую gemma3-4b - q8 поэтому можно ожидать погрешности в 2-3% в любую сторону и скорость неправильно сравнивать (использовалась 2x gtx 4060ti 16gb)
p.s. для языков типа русский метрика chrf полезнее (больше - лучше):
ИИ
Почему chrF часто полезнее для языков типа русского:
У русского много флексий/окончаний, варианты словоформ могут сильно менять BLEU (который по словам), даже если смысл близок.
Символьные n-граммы “прощают” часть морфологических расхождений и лучше ловят частичное совпадение (например, “переводить/переводит/переводил”).
это несравнимые модели, это специализированная, очень легкая llm-ка, у которой есть системный промпт (обычно модели переводчики - просто вход и выход), естественно любая полноценная llm-ка сможет переводить лучше (с хорошим агентом) но только в сотни раз медленнее.
Не 'вернул к жизни сайт alexa.com' а 'поднял на домене alexa.com свой одноименный сервис AI ассистента', заголовок вводит в заблуждение (и это даже не кликбейт).
У всех дёшевых мембранных например механика побела ломалась через 2-3 года (там перетирается крепление скобы выравнивания кнопки), чем позже покупалась тем раньше ломается
Это x86
Интересно, на базе какой материнки это сделано, оперативная память там запаяна или стандартные sodimm?
Как это можно в принципе сравнивать с малинкой? Процессор там уровня 7500f rysen 5 с видеорядом всего на треть хуже эталонного gtx1650... Питание по шине данных с монитором (т.е. нужен буквально один кабель), своя батарейка... Если это будет стоить меньше $700..$1000 то я буду удивлен.
Но недостаток наверняка есть, я просто вижу как клавиатура ломается и ее починка выходит в треть стоимости всей вундервафли...
Это конечно якобы 'open source', но у модели дикие запреты в лицензии, территориальные (по пользователям, например читателям перевода) - запрет для EU/UK/South Korea, запрет для использования в ряде видов лицензируемой деятельности (типа медицина, финансы, юридические и военные) и классическое типа заражение деривативов этой же лицензией, запреты на использование в обучении других моделей (в т.ч. дистиляция), обязательства по маркировке переводов и если больше 100кк пользователей в месяц нужно запрашивать другую лицензию.
.
без разделения контента на реальный и сгенерированный, современные технологии обучения, не позволят качественно принять малый объем контента, то чего больше будет портить сильнее (с этим борятся с помощью генерализации, но для этого нужно различать)
О чем я и говорю, это тупо дорого, на столько, что большое количество применений для создаваемого человеком контента, просто перестают иметь смысл.
Скрытый текст
Я приведу пример из другой области - fdm 3d-печать, созданная в 80-ых годах прошлого века тридцать лет находилась в стагнации, из-за невероятно высокой ее стоимости (патенты удерживала компания stratasis производитель монопольно, и до сих пор успешно наказывает мир за попытки эти технологии использовать, из последних к примеру - подогреваемая область печати, патент протух в 2019-ом а производители до сих пор боятся, так как компанию очень любит судиться), о том на сколько отличалась эта цена мир увидел 10 лет назад, когда благодаря одному инженеру а позже китайцам, fdm 3d принтеры стали доступны по невероятно низким ценам, а стоимость отпечаток опустилась до того, что стало выгодно печатать обычные игрушки, когда так до этого цена была на столько неадекватно высокой, что никто, кроме инженеров для прототипирования, об использовании этого и не задумывался.
Высокие цены буквально ограничивают использование чего угодно, никто не будет создавать контент, если для поддержания его распространения придется платить приличную стоимость, никто в здравом уме не будет платить условные 10р только что бы посмотреть на одну картинку, когда одно посещение сайтика с бугагашеньками за 10 минут съест тысячи рублей
Ручная модерация экономически не жизнеспособна.
А еще, человек будет очень часто ошибаться, а когда ваши клиенты будут финансово заинтересованы пройти эту модерацию, ваш саппот будет сильно перегружен.
Дать людям возможность массово генерировать контент - это единственная на текущий момент экономическая модель получить доход с генеративного ИИ, а создавать такой ИИ очень и очень дорого. Вот и получается, что не дать не могут, а если дать то станет очень плохо.
Не создавать генеративный ИИ (в общем смысле, не только картинки) тоже не получится, там рядом маячит шанс получить настоящий сильный ИИ, так как понимание мира очень хорошо корелирует с качеством этой генерации. А сильный ИИ человечеству нужен.. как единственный (других не знаем) способ развития этого человечества (наверное симбиоз?), иначе деградация, стремительная и разрушительная.
Единственный 'адекватный' но конечно тоже не дающий 100% гарантии способ - это сотрудничество всех топовых компаний для генерации изображений, с индексацией всех сгенерированных для будущего поиска (d2net/r2d2/delf/superpoint/superglue/..) и сотрудничество большинства площадок для публикации контента (они и так монополизированы) для автоматической разметки изображений на участие генерации ИИ (очень широкий кстати термин, например смартфоны уже давно пользуются ИИ улучшаторами, их тоже маркировать? а если этот же смартфон позволил удалить объект с помощью ИИ?)
Открытые модели обычно слабее проприетарных, для них можно изготовить детекторы (тоже ничего не гарантируют но хоть что то), главное детектор в публичный доступ не выкладывать, а проверки делать платными, иначе простым тюнингом локальная модель легко обучается на взлом этих детекторов.
само собой, но это же одноразовый дрон, ему нужно просто продлить жизнь, не удивлюсь что эти лазерные пушки работают на грани временного окна, поймать цель, жечь ее достаточно долго что бы повредить, за секунды... продли это время в 2-3 раза простой алюминевой гальванизацией, поверх тонким прозрачным пластиком,..