Веб-аналитика *

Всем привет! Представляем вашему вниманию WordChecker Extension - браузерное расширение, предназначенное для проверки позиций сайтов в поисковой системе Яндекс и отображения истории позиций вашего сайта.

Расширение бесплатное (но с некоторыми ограничениями). Пока находится в режиме тестирования.

Проверка производится посредством XML-лимитов (XMLStock, XMLRiver).

Доступно указание регионов Яндекса для проверки, а также массовая проверка позиций сайтов в один клик.

Основные возможности WordChecker Extension

✓ Проверка позиций в поисковой системе Яндекс
✓ Указание регионов сканирования запросов в Яндексе
✓ Массовый сбор статистики по Яндекс Вордстат с учетом региональности
✓ Экспорт и импорт проектов для их переноса между браузерами, либо между ПК
✓ Использование XML-сервисов для сбора сбора поисковой выдачи
✓ Фильтрация данных по ключевым запросам, позициям и Вордстат
✓ Отображение URL посадочных страниц запросов в ТОП-100
✓ Импорт запросов из буфера обмена и CSV
✓ Экспорт запросов в буфер обмена и CSV

Совместимость с браузерами

- Google Chrome
- Mozilla Firefox
- Яндекс Браузер
- Opera
- Microsoft EDGE

Установить расширение

- Chrome Web Store
- Firefox addons

Интересен фидбек по функционалу, интерфейсу и юзабилити.
Будем рады услышать ваши комментарии, предложения и пожелания по работе расширения.

Байесовские А/Б-тесты: связь с p-значениями

-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing/blob/main/appendices/Связь_с_p-значениями.ipynb
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl
-Stepik: https://stepik.org/course/249642/promo

У меня есть друг с Telegram ботом с 200K MAU (Monthly Active Users) и я ему завидую. Как-то раз я смотрел поочерёдно то на README его проекта на GitHub (бот OpenSource), то на счётчик MAU в клиенте Telegram, и у меня родилась идея сделать генератор баджей для GitHub с MAU бота по официальным данным Telegram (так как это единственный независимый объективный источник информации об аудитории бота). Я также обнаружил, что готовых решений нет. А ещё даже всякие трекеры MAU ботов в более серьёзных сервисах аналитики требуют регистрации, добавления бота в каталог с прохождением модерации и т. д. (то есть у них в принципе первична функция каталога ботов, а не просто отслеживания MAU)

Так появился простенький сервис https://tgbotmau.quoi.dev, который я и хочу представить уважаемой аудитории Хабра.

Указываешь имя любого бота, для которого Telegram публикует MAU, и получаешь Markdown или HTML код баджа с актуальным значением MAU (можно выбирать любой стиль доступный на https://shields.io/, который используется в качестве бекэнда для генерации SVG), который можно вставить на GitHub, в блог, на лендинг страницу и т. д. А в качестве бонуса сервис начинает логгировать изменения MAU бота и отображает график.

Под капотом запрос профиля бота раз в сутки через MTProto с fallback на парсинг t.me, бекэнд написан на Rust с Axum, а фронтэнд на TypeScript с React и Astro.

Сервис некоммерческий и создан исключительно во имя красивых README на GitHub и удобства разработчиков ботов.

Обновлён открытый ИБ-проект на Go под названием cariddi для поиска уязвимостей и проблемных мест на любых сайтах, включая спрятанные API‑ключи и токены, забытые админки, файлы, которые не должны были быть в открытом доступе.

Сервисы, которые позволяют проверить приватность в браузере и выявить утечки личных данных:

• Browserleaks: подскажет, какие данные ваш браузер раскрывает другим сайтам;

• CreepJS: оценивает, сколько технической информации ваш девайс отдаёт в фоне;

• FingerprintJS: демонстрирует, насколько уникален ваш цифровой отпечаток;

• Cover Your Tracks: быстрый тест, который показывает, насколько легко вас идентифицировать;

• WebBrowserTools: набор простых тестов для оценки приватности и безопасности в браузере.

Я сделал штуку, которая за час-полтора, если хватит денего на серверы то = за минуты, читает ВСЁ, что человек писал во «ВКонтакте» за 12 лет, и выдаёт честное ревью: добряк-ботан, токсичный вояка или шизо-экстремал. Без суда, без сплетен — только цифры и цитаты. Или проверить себя и понять, что нужно удалить некоторые посты от греха подальше. Может у тебя было время когда тебе нравился товарищ Ленин, а сегодня его запретили.

Как работает

1. Вбиваешь ссылку на страницу (или свой ID).

2. Сервис скачивает 100 % постов и комментов (официальное VK API, никакого взлома).

3. Bert + detoxify считают токсичность, темы и сентимент.

4. Через время получаешь PDF:
   – сколько негатива/позитива;
   – топ-темы (рыбалка, политика, IT, наркота, оружие);
   – риск-флаги (экстремизм, суицид, оружие, наркота) с прямыми цитатами;
   – динамику: «в 2022 стал злее на 37 %».

Пример из жизни
Проверил себя — 8 % токсичности, 0 флагов. Проверил соседа — 38 % токсичности, 1 постов про ствол.

Законно ли?
Собираю только публичное, без переписок. Профиль закрыт — пишет - доступа нет.

Зачем это вообще

1. HR-отделы — чекнуть кандидата до интервью.

2. Самопроверка перед поступлением/наймом.

3. Родители — глянуть, чем реально живёт подросток.

4. Банки/страховщики — оценить риск-поведение (агрессия/суицид = выше вероятность ДТП).

Что дальше
Если пост наберёт ≥ 300 «вверх» и 50+ комментов «хочу» — допиливаю приложение в продакшн версию для запуска. Если больше - докручу Instagram и TikTok. Своим варианты скидывайте в комменты.

Понадобиться ли вам такой «цифровой зеркал» или это очередной «пылесос для данных»? В комментариях — пишите, кого первым проверить: своё начальство, бывшего или самого себя :)

Байесовские А/Б-тесты: средние

-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing/blob/main/Байесовская_оценка_АБ-тестов.ipynb
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl

SEO — бессмертная база без которой не работает сайт

1C Франчайзи пришёл в сентябре 2024 на рекламу. Хотел продвигаться по Москве и Московской области. С помощью рекламы загрузить работой отдел продаж. Но мы не взяли проект в работу. И вот почему.

Сайт был не готов к рекламе: не было нужных страниц, форм заявок, цен, отзывов и т.п. Провели SEO-аудит и выкатили огромное количество правок. До решения проблем с сайтом работать с рекламой отказались.

Основные проблемы по итогам аудита:

• Ошибки в вёрстке

• Ошибки в навигации 

• В Яндекс Метрике настроены только автоцели

• Проблемы с коммерческими факторами и  юзабилити 

• И т. п.

После доработки сайта и настройки базового SEO, запустили рекламу. За 2 месяца завалили заявками отдел продаж заказчика так, что пришлось приостановить рекламу.

Подробный кейс со всеми нюансами здесь.

P.S.

Анонсы статей и кейсов выкладываю в Телеграм-канале.

Байесовские А/Б-тесты: конверсии

• Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing

• Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl

♨️ Горячая тема - сайты теряют органический трафик из-за нейровыдачи в поиске.
Вместе с SEO начинайте упарываться в GEO (Generative Engine Optimization), AIO (AI Optimisation), LEO (LLM Optimization) или AEO (Ask Engine Optimization) - название еще не закрепилось.

Если отбросить кликбейтные заголовки и инфорциганщину, в сухом остатке:

⤴️ SEO всегда разделялось на техническую оптимизацию и продвижение.
И да, к технической оптимизации сейчас появилось больше требований.

⤵️ Антитренд
Попадание в нейровыдачу, снизит количество переходов и конверсий, т.к. пользователь получает в выдаче не всю информацию о товаре или услуге, а ответ нейронки перемешан с информацией с разных сайтов.

Иными словами: отсутствие переходов рассматривается как следствие, а не причина.

Пока наблюдаем, оптимизируемся и смотрим на нейровыдачу, как на точку контакта с брендом.

Байесовские А/Б-тесты: примеры байесовского моделирования

-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl

Байесовские А/Б-тесты: общая картина

-Блокнот: https://github.com/andrewbrdk/Bayesian-AB-Testing
-Все видео: https://www.youtube.com/playlist?list=PLqgtGAeapsOPpV0FqeXEpWosHBW8ZebYl

Представлена бесплатная платформа Pagy, которая позволяет создавать лендинги и небольшие веб-проекты за секунды. Работает в браузере и собирает сайты или визитки без привлечения дизайнера, верстальщика. Не требует никакой установки ПО. Все просто: выбираете шаблон и сразу его редактируете, пишите текст, вставляете ссылки и пикчи. Ни одной строчки кода писать не нужно, хостинг не требуется. Есть аналитика метрик сайта и сотни уже готовых дизайнов от разрабов и коммьюнити.

ИЩЕМ ЗАМЕНУ КОФЕИНУ с помощью ChatGPT

Я люблю кофе, но, как и у некоторых других людей, у меня повышается давление и сильно учащается пульс от большого количества выпитого кофе, а 2..3 порции порции на меня уже не действуют. На дворе 21 Век в разгаре и существование аналогов кофеина без раздражающих побочных эффектов весьма вероятно.

Я попросил помощи у ChatGPT и он успешно создал очень сложную таблицу с легальными аналогами кофеина и даже с вычисляемым столбцом на основе НЕЧЁТКИХ критериев (если вы это сможете на SQL - Вы гений!), но плохо справился с сортировкой в этой таблице.

Внимание: ниже изображение, ссылки некликабельные. Я ничего не продаю.

В первом цифровом столбце не удалось отсортировать числа по убыванию. Пытался примерно 15-20 минут. Пробовал разные промпты и пояснения. Это странно.

Этот инструмент (ChatGPT) отлично понимает команды манипуляции таблицей, в данном пример я попросил создать таблицу на основе данных с крупных магазинов, указал какие столбцы нужны и какая в них должна быть информация, указал порядок столбцов, в том числе относительный, типа столбец с такими данным добавь перед таким-то столбцом.

ChatGPT смог создать СВОДНЫЙ столбец на основе ранее созданных столбцов.Это столбец со взвешенными суммами весов веществ в других столбцах и коэффициенты взвешивания ОН сам нашел и нашел весьма точно.

Причем для каждого продукта ОН смог найти состав веществ по определенным критериям и перечислил их, создав отдельный столбец. Не все вещества, а только по определенным фильтрам (только такие, которые не являются кофеином, но оказывают воздействие, сходное с действием кофеина. Попробуйте самостоятельно без ИИ запрограммировать такой запрос на SQL с учетом нечеткого критерия схожести воздействия и еще определите коэффициент похожести для создания взвешенной суммы масс веществ в порции БАД.

ChatGPT даже частично смог отсортировать по взвешенной сумме. Но выполнив так много сложной работы в сортировке он немного ошибся.

По мотивам статьи, которую я перевел и опубликовал у себя в ленте - https://habr.com/ru/articles/899382/

Я чекнул этот кейс на своем проекте и результаты не совпали с выводами автора.

Я сделал все точно также, как описано в статье и нет, не увидел я корреляции между 130 днями и статусом просканировано не проиндексировано. Страницы с таким статусом есть и меньше чем через 130 дней после последнего сканирования, как показано на скрине.

Такие страницы пропадают только на 13 днях, а с 13 и выше периодически встречаются выпавшие страницы.

Так что, не сходится кейс, но как мнение, почему бы и нет)))

Смотрел проект в тревел сегменте, трафик по всему миру (чистый бурж).

Redash в Amvera Cloud

Сегодня мы выпускаем Redash, как преднастроенный сервис.

Redash позволяет осуществлять запросы к базам данных и визуализировать результаты. Это хороший и простой BI-инструмент, которым мы пользуемся сами.

Для установки Redash необходимо заполнить по инструкции несколько переменных/секретов для подключения к PostgreSQL и Redis, и выбрать тариф от 290 р./мес.

Amvera Cloud — это облако для простого деплоя приложений через git push. Встроенный CI/CD, бэкапы и мониторинг позволяют развернуть проект тремя командами в IDE и не думать о настойке инфраструктуры. А встроенное проксирование к OpenAI, облегчает работу с LLM. Amvera проще, чем использование VPS.

Как Telegram искажает ссылки с Habr

Отправил в телеграм ссылку на статью с habr, скопировав из адресной строки.

Выглядит как просто адрес статьи - habr/companies/.../articles/xxxxxxx

Но после создания предпросмотра в телеграм кроме ссылки появляется КДПВ, заголовок и начало текста статьи. Вроде всё правильно. Но только ссылка уже дополнительно после адреса содержит ?utm_source=vk_habr&utm_medium=social&utm_campaign=yyyyyyy

И при нажатии на ссылку предпросмотра пойдёт другая статистика - не прямая ссылка, а из рекламной кампании.

Как минимум - это сработало при пересылке статьи "Как устроен китайский завод электроники глазами русского инженера".

Я подумал, что такой адрес у КДПВ, но нет - вроде картинки все на habrastorage.

Или хабр отдаёт тегированные ссылки.

Жалко, нет хаба "Телеграм"

Анализируем access_log в bash

Если вы стали жертвой фрода, ваш сайт пытались взломать или нагрузка на ваш ресурс резко возросла, найдите IP злоумышленников и заблокируйте доступ в .htaccess с помощью директивы Deny:

Deny from 111.22.33.44

IP злоумышленников есть в файлах access_logs (логи доступа). Чтобы найти IP, с которого посетили, например, 'order/1234', переходим в папку с логами и вводим команду:

$ grep 'order/1234' * | awk '{print $2}' | uniq

Если таких страниц много, создайте файл со списком url (например, ban.txt) и найдите сразу все IP одной командой:

$ grep -f ban.txt * | awk '{print $2}' | uniq

Обратите внимание, что файл нужно создавать в unix (из-за разницы в том, как ОС делают переносы строк). Список запретных URL особенно эффективен, чтобы найти тех, кто сканирует сайт на уязвимости: например, ищет администраторскую (admin, root), техническую (var, database, php) и отладочную информацию (debug, test, error, exception).

А еще давайте найдем тех, кто создает аномально много запросов:

$ cat access_log-20241030 | awk '{print $2}' | sort | uniq -c | sort | tail -5

Вывод команды покажет 5 наиболее активных посетителей в указанном логе (access_log-20241030) с количеством запросов. Проверьте тех, кто создает в намного больше запросов, чем остальные — это могут быть как очень активные пользователи или боты поисковых систем, так и злоумышленники.

Сегодня Яндекс.Метрика отключила сервис мониторинга сайтов.
Я создал замену: Телеграм-бот, который следит за доступностью сайтов и присылает уведомления, если что-то не так.

Сервис Яндекса умел отправлять письма и SMS двух видов:

• Проблемы с доступностью сайта.

• Сайт снова доступен.

В своём боте я сделал чуть больше проверок:

• Сайт недоступен/снова доступен.

• Изменился заголовок сайта.
  Может выручить, если в какой-то момент вместо сайта появится заглушка "домен не прилинкован к директории" или что-то в этом роде.

• Истекает срок действия SSL-сертификата или домена.

• Изменился конечный адрес (если срабатывает переадресация).

Казалось бы, простой пингатор, но на деле нюансов оказалось очень много. Может быть, напишу статью с техническими деталями.

Старался от души и сделал полезный инструмент для владельцев/администраторов сайтов.

Пока что всё бесплатно, пробуйте!

Telegram-бот "Мониторинг сайта"

Невидимый трекинг через куки

Всем привет. Тестирую формат постов и, заодно, делюсь подсмотренной идеей трекинга пользователей «без палева», который прямо-таки очень тяжело отловить (если не делать отладку HTTP-запросов) и очень технически сложно заблокировать.

Разработчики [CENSORED], придумали практически безотказный способ отправлять логи, даже если пользователь использует блокировщики. Схема простая:

1. Случилось событие, которое нужно затрекать.

2. С помощью JavaScript создаётся кука, имя которой соответствует определённому формату + рандомная строка-суффикс, а в значении содержится urlencoded-набор-параметров-значений.

3. Любой следующий запрос к сервису содержит эту куку. Сервис в ответе в хэдерах пишет, что куку нужно удалить. Кука отправилась и удалилась, никто ничего не заметил, никаких лишних запросов, трекинг-данные доставлены.

4. PROFIT.

Я читал много разных новостей про экзотические способы трекинга, но конкретно этот обнаружил самостоятельно. Буду рад, если покормил чью-то паранойю.