Раньше уже ездили на спирту, с доступностью бензина перестали, спирт так-то не очень дешевый, его нельзя получать быстро с единицы площади. Если заменить бензин на спирт, то последствия для экологии, вероятно, будут куда хуже, поскольку сырье для спирта надо где-то выращивать, придется вырубить и распахать больше лесов, даже спирт из опилок нуждается в... опилках. Но на спирту свет клином не сошелся, есть и другие альтернативы.
Я даже не уверен, что у нас всё достаточно правильно реализовано, но пока работает - не трогаем. Есть скрипт на python, который раз в минуту проверяет почтовый ящик на наличие новых писем. При наличии оных - по очереди показывает их гемме вместе со списком критериев классификации (спам пометить как спам, заявку как заявку и т.д). Гемма выдает односложный ответ и уже исходя из него скрипт пересылает содержимое письма в чатик нужного отдела. Чатик спама тоже есть, на случай ложных срабатываний. Но, на удивление, gemma3 за всё время работы не ошиблась ни разу. До неё была gemma2-9b - тоже идеально. А вот до них были Llama2 и Llama3, не помню на сколько параметров, фaкапились они частенько. Qwen2.5 и Qwen3 еще пробовали - в принципе неплохо, но как-то русские инструкции они понимают своеобразно. Теперь, что касается самой Gemma. На том же python развернут крошечный сервер на flask, там же при помощи llama-cpp-python, сконфигурированной под cuda, крутится квантованная gemma-3-4b в 8q квантовании. Сервер ожидает запроса, передает его суть в create_chat_completion, получает ответ и возвращает его адресату (реализовано через отложенный ответ, потому что Gemma может думать несколько секунд, если запрос в несколько тысяч символов). Gemma находится не в одном скрипте со спам-надзором потому, что он не единственный, кто работает с gemma, с ней еще можно и за жизнь перетереть, как с чат-ботом, с сохранением контекста, но это уже тема отдельная, таких на хабре уже много было. В планах её еще напрячь чем-нибудь, потому что справляется она неплохо. Gemma3 является мультимодальной, помимо текста умеет понимать и изображения (хоть у нас это и не реализовано), так еще и недавно вышла Gemma-3N, еще более мультимодальная, надеюсь скоро до неё руки дойдут, выглядит она многообещающе.
У тг-ботов вроде есть функция отправки сообщения в чат без звукового уведомления.
Так же можно не генерировать новое сообщение о блокировке спама, а редактировать какое-то специально закрепленное сообщение для этого, все равно ложных срабатываний мало, всем от этого только легче станет
Для того же самого используем локальную gemma3-4b для отсеивания спама на почте. Раньше справлялся штатный спам-фильтр, но рекламщики стали креативней и фильтр справляться перестал. Не в последнюю очередь, видимо, из-за того, что на помощь рекламщикам пришли нейронки. Ну и мы себе в помощь одну пристроили и нормально. Крутится локально, по затратам практически бесплатно
мне мешает спать шум, спать в берушах неудобно, выходом для меня стал... источник шума. Включаю напольный вентилятор и его монотонный шум глушит все остальные шумы и в итоге сплю без проблем
Зарятия спортом и силовые нагрузки позволяют увеличить расход практически до бесконечности
В теории это так, но на практике интенсивный тренинг в зале сжигает меньше колорий, чем мы бы недополучили пропустив обед, только при этом лишает сил и вызывает гораздо более сильное чувство голода. Плюс каждый день интенсивно не потренишь - словишь перетрен и выгоришь за месяц
Как именно они собираются блокировать сервисы, интересно. Если просто заблокируют доступ к ним из РФ, то тех, кто этими сервисами пользуется, это не ограничит даже на 1%. 5 сек на VPN и блокировки нет
Но ведь горящие звезды потом гаснут (даже красные карлики), выбрасывая своё вещество в пространство, вещество, которое позже станет частью новых звезд. Даже наше Солнце содержит в себе вещество мертвых звезд. Да, рано или поздно все флуктуации закончатся, энтропия, тепловая смерть вселенной всё это дело прекратят (возможно). Но это будет еще очень не скоро
Та статья полнее, эта лишь огрызок
Раньше уже ездили на спирту, с доступностью бензина перестали, спирт так-то не очень дешевый, его нельзя получать быстро с единицы площади. Если заменить бензин на спирт, то последствия для экологии, вероятно, будут куда хуже, поскольку сырье для спирта надо где-то выращивать, придется вырубить и распахать больше лесов, даже спирт из опилок нуждается в... опилках. Но на спирту свет клином не сошелся, есть и другие альтернативы.
Я даже не уверен, что у нас всё достаточно правильно реализовано, но пока работает - не трогаем.
Есть скрипт на python, который раз в минуту проверяет почтовый ящик на наличие новых писем. При наличии оных - по очереди показывает их гемме вместе со списком критериев классификации (спам пометить как спам, заявку как заявку и т.д). Гемма выдает односложный ответ и уже исходя из него скрипт пересылает содержимое письма в чатик нужного отдела. Чатик спама тоже есть, на случай ложных срабатываний. Но, на удивление, gemma3 за всё время работы не ошиблась ни разу. До неё была gemma2-9b - тоже идеально. А вот до них были Llama2 и Llama3, не помню на сколько параметров, фaкапились они частенько. Qwen2.5 и Qwen3 еще пробовали - в принципе неплохо, но как-то русские инструкции они понимают своеобразно.
Теперь, что касается самой Gemma. На том же python развернут крошечный сервер на flask, там же при помощи llama-cpp-python, сконфигурированной под cuda, крутится квантованная gemma-3-4b в 8q квантовании. Сервер ожидает запроса, передает его суть в create_chat_completion, получает ответ и возвращает его адресату (реализовано через отложенный ответ, потому что Gemma может думать несколько секунд, если запрос в несколько тысяч символов).
Gemma находится не в одном скрипте со спам-надзором потому, что он не единственный, кто работает с gemma, с ней еще можно и за жизнь перетереть, как с чат-ботом, с сохранением контекста, но это уже тема отдельная, таких на хабре уже много было. В планах её еще напрячь чем-нибудь, потому что справляется она неплохо. Gemma3 является мультимодальной, помимо текста умеет понимать и изображения (хоть у нас это и не реализовано), так еще и недавно вышла Gemma-3N, еще более мультимодальная, надеюсь скоро до неё руки дойдут, выглядит она многообещающе.
У тг-ботов вроде есть функция отправки сообщения в чат без звукового уведомления.
Так же можно не генерировать новое сообщение о блокировке спама, а редактировать какое-то специально закрепленное сообщение для этого, все равно ложных срабатываний мало, всем от этого только легче станет
На rtx 2060 super, купленной на авито 😅, занимает половину видеопамяти, оставшуюся заняли нейротранскрибатором
Для того же самого используем локальную gemma3-4b для отсеивания спама на почте. Раньше справлялся штатный спам-фильтр, но рекламщики стали креативней и фильтр справляться перестал. Не в последнюю очередь, видимо, из-за того, что на помощь рекламщикам пришли нейронки. Ну и мы себе в помощь одну пристроили и нормально. Крутится локально, по затратам практически бесплатно
Пусть заменяет, поскорее бы уже. ЗП, главное, пусть оставят
да вроде не опечатка, 400 пикосекунд на бит это 3435973836800 пикосекунд на гигабайт, или 3.43 секунды
мне мешает спать шум, спать в берушах неудобно, выходом для меня стал... источник шума. Включаю напольный вентилятор и его монотонный шум глушит все остальные шумы и в итоге сплю без проблем
Зарятия спортом и силовые нагрузки позволяют увеличить расход практически до бесконечности
В теории это так, но на практике интенсивный тренинг в зале сжигает меньше колорий, чем мы бы недополучили пропустив обед, только при этом лишает сил и вызывает гораздо более сильное чувство голода. Плюс каждый день интенсивно не потренишь - словишь перетрен и выгоришь за месяц
Как именно они собираются блокировать сервисы, интересно.
Если просто заблокируют доступ к ним из РФ, то тех, кто этими сервисами пользуется, это не ограничит даже на 1%. 5 сек на VPN и блокировки нет
хм, Мексика реально оранжевая, американские фильмы не врали
Но ведь горящие звезды потом гаснут (даже красные карлики), выбрасывая своё вещество в пространство, вещество, которое позже станет частью новых звезд. Даже наше Солнце содержит в себе вещество мертвых звезд. Да, рано или поздно все флуктуации закончатся, энтропия, тепловая смерть вселенной всё это дело прекратят (возможно). Но это будет еще очень не скоро
не могли бы написать о каком лаге речь? а то стало интересно, бегло прочитал оригинальную статью, но глазом ни за что не зацепился