Ну так как бы в продакшн брать сервер с одним HDD нельзя. Потому для продакшена можно смотреть только на сервера от 16 евро.
Сейчас у нас в продакшне ихний атом из старой линейки, за год тьху-тьху-тьху проблем не было, ну правда все равно уходим с него так как потребовалось больше ресурсов
Говоря о дисках, мы вот от хетцнера перенесли виндовый сервер на OVH, так как 3 раза разваливался виндовый софт-рейд и назад не собирался без перестановки системы. Они уже и тестирование дисков проводили, ничего не нашли. На 3й раз сказали им «до свидания». Благо сервер был хоть и продакшн но для внутреннего пользования, так что было не столь критично.
Но в общем альтернатив hetzner и ovh особо нету, если только не нужны сервера с кучей трафика на гигабитном порту или кастомные конфигурации типа рейда на SAS дисках.
Да ладно душу вывернут, просто ко всем документам добавляете фразу «я не гражданин ЕС, пожалуйста снимите НДС».
Там выворачивание души на этапе верификации аккаунта. А снятие НДС — особых дополнительных усилий не требует.
В остальном, согласен…
Сторонние баннерки могут работать в полуавтоматическом режиме. Т.е. система сообщает вам какие IP и площадки необходимо добавить в блеклист и вы сами их добавляете. У нас так же есть API и, при желании, вы можете автоматизировать бан для любой сторонней системы.
Если вы представляете непосредственно баннерную сеть — свяжитесь с нами по контактам на сайте. Будем рады сотрудничеству. Мы сейчас интенсивно занимаемся интеграцией с различными баннерными сетями.
Что-то совсем не понимаю, какой отношение имеет AdBlock к анализу трафика на сайте.
Выше уже писал, что мы его не детектим, так как не видим в этом смысла.
Аналитикс и Метрику он же не блокирует, почему нас должен?
Если вы намекаете, на функцию «Отключить слежение» в AdBlock, то она не мешает работе нашей системе на клиентских сайтах.
Глянул в других браузерах — с AdBlock проблем не наблюдается.
Да вобщем-то и не должно. Мы же не показываем рекламу, мы анализуем трафик из рекламных сетей на сайте покупателя этого трафика. Т.е. к рекламных сетям мы отношения не имеем, кроме разве что взаимодействия с ними по API для бана IP и площадок.
В случае если пользователь на сайте первый раз — JS делает запрос к серверу «выдай ID», после чего ИД пишется во все возможные места и в дальнейшем на сервер отправляются данные уже с привязкой к ИД.
Хранилище у нас Mysql база, на сервере с быстрыми дисками(тот что сервер сбора и обработки данных). Настраивал ее не я, потому тонкости настройки не расскажу, разве что могу конфиг скинуть, если интересно.
А вот про структуру — расскажу. Таблицы, в зависимости от характера операций работают на MyIsam(если производится практически исключительно чтение) и InnoDB(в случае если таблица в таблицу ведется интенсивная запись).
После того как запросы приходят на nginx+php-fpm, затем они отправляются в очередь на запись в базу отдельными воркерами.
Количество воркеров динамически регулируется в зависимости от длины очереди.
В качестве очередей используется Unix queue, так как все другие решения при тестировании очень сильно проигрывали ему в производительности, а отдельные так вообще не справлялись с потоками данных.
Воркеры забирают пачку данных из очереди и пишут эту пачку один запросом в первичную таблицу БД, где хранятся данные за все время, а так же в сокращенном виде в таблицы аудита трафика, в зависимости от типа аудита(Эдвордс, Директ, Бегун, просто аудит трафика). В данный момент в таблице несколько десятков миллионов записей. Пока БД справляется, но мы сейчас работаем над тем, что бы старые данные из нее сливать в отдельную таблицу, а в текущей хранить только последние.
Далее по крону запускается скрипт обработки данных который дергает необработанные данные из таблиц аудита, забирает более детальную информацию о певедении пользователя из первичной таблицы, производит их анализ пересчитывает рейтинги уникальных пользователей и площадок.
Собственно основная нагрузка у нас это запись в базу огромного количества данных. Тут нас спасает быстрая дисковая подсистема на SAS дисках(SSD не вариант, так как он бы довольно быстро умер под интенсивной записью), и корректно настроеный Mysql(настраивал не я, да и это немного не моя специализация, потому для меня это немного магия).
Также не малую часть нагрузки дают выборки для анализа данных. Тут важны корректно составленные индексы, запросы ну и MyIsam в таблицах с низкой интенсивностью записи. Настройка Mysql само-собой также играет свою роль.
Большинство ботнетов, завязано за одним цифровым отпечатком. Меняется только ИП адрес. У нас в базе есть цифровые отпечатки к которым подвязано более 600 ИП адресов. Таким детекции плохого пользователя блокируются сразу все ИП, которые закреплены за ним в нашей системе.
Тегом скрипт, по сути те же яйца, только в профиль. Если пользователи не дожидаются загрузки страницы то они обычно закрывают ее еще до начала загрузки любых JS скриптов, т.е. фактически get запрос на сервер уходит и едва-едва начинается подгрузка html, а порой и она не начинается.
Метод для мобильных устройств действительно будет получать необходимые данные. Однако не совсем понятно можно ли его использовать одновременно с JS скриптом. Если нет, то server-side получает гораздо меньше данных чем client-side. Гибридная технолия из JS+серверного скрипта одно из наших конкурентных преимуществ.
Также заметил что, метод для мобильных устройств находится в Legacy Libraries и предназначен вообще для трекинга WAP-сайтов. Т.е. непонятно как долго он будет поддерживаться и насколько корректно работать на web-сайтах в связке с JS скриптом. Например, допускаю, что при наличии 2х скриптов один посетитель банально будет считаться 2 раза.
Потому что javascript выполняется на стороне клиента, и если страница закрывается раньше чем Javascript был подгружен, до Google Analytics данных доходит ровно 0.
Для того что бы отслеживать на стороне сервера скрипт требуется так же ставить на стороне сервера, это очевидно.
В случае использования автоматического аудита Яндекс.Директа, система сама смотрит возможность установки Openstat меток(аналог UTM меток) и, если их сайт поддерживает, автоматически включает их для объявлений.
В API Google Adwords автоматическая пометка тегами не вынесена. Поэтому в модуле аудита Google Adwords, в случае отключенной автопометки целевых страниц показывается инструкция по ее включению. До ее включения аудит осуществляться не будет. Аналогично с МаркетГидом.
Если кратко, то по очевидным причинам деталей алгоритмов мы раскрывать не будем.
В самых общих чертах мы собираем движения мыши, ряд событий JSa и маршрут пользователя в рамках сайта(если коды стоят не только на целевых страницах) и анализируем все это по определенным алгоритмам(Так как алгоритмы чисто наша разработка, то выкладывать их в паблик мы пока не намерены. К тому же они постоянно дополняются исходя из анализа текущего трафика. Только не путайте с нейронной сетью, у нас все алгоритмы пишутся людьми)
В отдельных случаях, если пользователю требуется аудит трафика на своем сайте для целей отличных от анализа рекламных переходов, мы можем предложить определенные формы сотрудничества и взаимодействия, но нагло предлагать их в комментариях, в ответ на вопрос о принципах детектирования ботов, как минимум не корректно, потому и отписываем в ЛС.
Сейчас у нас в продакшне ихний атом из старой линейки, за год тьху-тьху-тьху проблем не было, ну правда все равно уходим с него так как потребовалось больше ресурсов
Говоря о дисках, мы вот от хетцнера перенесли виндовый сервер на OVH, так как 3 раза разваливался виндовый софт-рейд и назад не собирался без перестановки системы. Они уже и тестирование дисков проводили, ничего не нашли. На 3й раз сказали им «до свидания». Благо сервер был хоть и продакшн но для внутреннего пользования, так что было не столь критично.
Но в общем альтернатив hetzner и ovh особо нету, если только не нужны сервера с кучей трафика на гигабитном порту или кастомные конфигурации типа рейда на SAS дисках.
Там выворачивание души на этапе верификации аккаунта. А снятие НДС — особых дополнительных усилий не требует.
В остальном, согласен…
Если вы представляете непосредственно баннерную сеть — свяжитесь с нами по контактам на сайте. Будем рады сотрудничеству. Мы сейчас интенсивно занимаемся интеграцией с различными баннерными сетями.
В статье ни слова о написании мобильных(да и любых других) приложений на iPad или Surface…
Такая простыня в ленте совершенно не радует
Выше уже писал, что мы его не детектим, так как не видим в этом смысла.
Аналитикс и Метрику он же не блокирует, почему нас должен?
Если вы намекаете, на функцию «Отключить слежение» в AdBlock, то она не мешает работе нашей системе на клиентских сайтах.
Да вобщем-то и не должно. Мы же не показываем рекламу, мы анализуем трафик из рекламных сетей на сайте покупателя этого трафика. Т.е. к рекламных сетям мы отношения не имеем, кроме разве что взаимодействия с ними по API для бана IP и площадок.
Хранилище у нас Mysql база, на сервере с быстрыми дисками(тот что сервер сбора и обработки данных). Настраивал ее не я, потому тонкости настройки не расскажу, разве что могу конфиг скинуть, если интересно.
А вот про структуру — расскажу. Таблицы, в зависимости от характера операций работают на MyIsam(если производится практически исключительно чтение) и InnoDB(в случае если таблица в таблицу ведется интенсивная запись).
После того как запросы приходят на nginx+php-fpm, затем они отправляются в очередь на запись в базу отдельными воркерами.
Количество воркеров динамически регулируется в зависимости от длины очереди.
В качестве очередей используется Unix queue, так как все другие решения при тестировании очень сильно проигрывали ему в производительности, а отдельные так вообще не справлялись с потоками данных.
Воркеры забирают пачку данных из очереди и пишут эту пачку один запросом в первичную таблицу БД, где хранятся данные за все время, а так же в сокращенном виде в таблицы аудита трафика, в зависимости от типа аудита(Эдвордс, Директ, Бегун, просто аудит трафика). В данный момент в таблице несколько десятков миллионов записей. Пока БД справляется, но мы сейчас работаем над тем, что бы старые данные из нее сливать в отдельную таблицу, а в текущей хранить только последние.
Далее по крону запускается скрипт обработки данных который дергает необработанные данные из таблиц аудита, забирает более детальную информацию о певедении пользователя из первичной таблицы, производит их анализ пересчитывает рейтинги уникальных пользователей и площадок.
Собственно основная нагрузка у нас это запись в базу огромного количества данных. Тут нас спасает быстрая дисковая подсистема на SAS дисках(SSD не вариант, так как он бы довольно быстро умер под интенсивной записью), и корректно настроеный Mysql(настраивал не я, да и это немного не моя специализация, потому для меня это немного магия).
Также не малую часть нагрузки дают выборки для анализа данных. Тут важны корректно составленные индексы, запросы ну и MyIsam в таблицах с низкой интенсивностью записи. Настройка Mysql само-собой также играет свою роль.
Метод для мобильных устройств действительно будет получать необходимые данные. Однако не совсем понятно можно ли его использовать одновременно с JS скриптом. Если нет, то server-side получает гораздо меньше данных чем client-side. Гибридная технолия из JS+серверного скрипта одно из наших конкурентных преимуществ.
Также заметил что, метод для мобильных устройств находится в Legacy Libraries и предназначен вообще для трекинга WAP-сайтов. Т.е. непонятно как долго он будет поддерживаться и насколько корректно работать на web-сайтах в связке с JS скриптом. Например, допускаю, что при наличии 2х скриптов один посетитель банально будет считаться 2 раза.
Для того что бы отслеживать на стороне сервера скрипт требуется так же ставить на стороне сервера, это очевидно.
В API Google Adwords автоматическая пометка тегами не вынесена. Поэтому в модуле аудита Google Adwords, в случае отключенной автопометки целевых страниц показывается инструкция по ее включению. До ее включения аудит осуществляться не будет. Аналогично с МаркетГидом.
В самых общих чертах мы собираем движения мыши, ряд событий JSa и маршрут пользователя в рамках сайта(если коды стоят не только на целевых страницах) и анализируем все это по определенным алгоритмам(Так как алгоритмы чисто наша разработка, то выкладывать их в паблик мы пока не намерены. К тому же они постоянно дополняются исходя из анализа текущего трафика. Только не путайте с нейронной сетью, у нас все алгоритмы пишутся людьми)
В отдельных случаях, если пользователю требуется аудит трафика на своем сайте для целей отличных от анализа рекламных переходов, мы можем предложить определенные формы сотрудничества и взаимодействия, но нагло предлагать их в комментариях, в ответ на вопрос о принципах детектирования ботов, как минимум не корректно, потому и отписываем в ЛС.