Комментарии 64
>>Если кому-то интересны исходники редиректора на perl, могу выложить, но там очень мало интересного ;)
Экий вы интеллигентный, аж противно :)
Выкладывайте-выкладывайте. Интересно…
Экий вы интеллигентный, аж противно :)
Выкладывайте-выкладывайте. Интересно…
очень и очень интересно, поскольку openDNS сервис весьма популярный а приличного редиректора для него пока никто не написал.
использование же сервиса напрямую, не даёт такой гибкости как хотелось бы
использование же сервиса напрямую, не даёт такой гибкости как хотелось бы
я бы даже сказал что некоторое how to вполне уместно… раз уж сказали А… то говорите и Б тоже :)
выше по ссылке сам кеширующий редиректор.
на порту 6051 сидит сервер который дёргает категории.
Вариант с opendns самый простой, потому что он доступен всем и бесплатен.
Вариант на который затачивались мы, это база OrangeWeb Filter, которая входит в состав продуктов IBM, которая естественно стоит денег. Принцип один и тотже. Даёшь сайт — получаешь категорию. Проблема в том, что расшифровать базу OrangeWeb Filter нельзя, а вот зацепиться к ней удалось. Разобрав формат взаимодействия с родным редиректором я написал свой демон который дергает из базы категории сайтов. Открыть доступ на online скрипт проверки не решусь, ибо опасаюсь хабраэффекта. В привате могу дать ссылку для доступа к базе через web интерфейс.
на порту 6051 сидит сервер который дёргает категории.
Вариант с opendns самый простой, потому что он доступен всем и бесплатен.
Вариант на который затачивались мы, это база OrangeWeb Filter, которая входит в состав продуктов IBM, которая естественно стоит денег. Принцип один и тотже. Даёшь сайт — получаешь категорию. Проблема в том, что расшифровать базу OrangeWeb Filter нельзя, а вот зацепиться к ней удалось. Разобрав формат взаимодействия с родным редиректором я написал свой демон который дергает из базы категории сайтов. Открыть доступ на online скрипт проверки не решусь, ибо опасаюсь хабраэффекта. В привате могу дать ссылку для доступа к базе через web интерфейс.
мы используем на данный момент обвязку squidGuard + urlblacklist.com. Тоже присматривались к OrangeWeb Filter/Можете в личку скинуть скрипт на посмотреть?
OrangeWeb входил в состав Kerio WinRoute, а зимой они его заменили на свою разработку WebFilter, котороая первые полгода была заметно хуже решения IBM, да и сейчас иногда встречается какой-нибудь сайт Администрации Удмуртии, находящийся в категории порно :-)
НЛО прилетело и опубликовало эту надпись здесь
>Миф3
любой человек знает что это бред. дома у каждого в россии уже стоит 1+мбит/с, а на работе бывает столько же на всю контору в 50-500 человек.
любой человек знает что это бред. дома у каждого в россии уже стоит 1+мбит/с, а на работе бывает столько же на всю контору в 50-500 человек.
Terms of Use не нарушаете? Нет риска что они вас как-нибудь отрубят и пользователи всей сети не смогут пользоваться интернетом?
в отношении OpenDNS? а чем отличается запрос урла блокировки от запроса урла для категоризации. Я не использую их DNS сервера. Они просто напросто не нужны.
Ну сервис это их хлеб как бы. Им нужно поставлять вам (вашим пользователям) контент в неизменном виде.
Нет времени читать полностью но там сразу бросается в глаза:
«Except as expressly authorized by OpenDNS in writing, you agree not to sell, license, rent, modify, distribute, copy, reproduce, transmit, publicly display, publicly perform, publish, adapt, edit or create derivative works from such Content.»
«Reproducing, copying or distributing any Content, materials or design elements on the Site for any other purpose is strictly prohibited without the express prior written permission of OpenDNS.»
«OpenDNS may terminate your access to all or any part of the Service at any time, with or without cause, with or without notice, effective immediately.»
Нет времени читать полностью но там сразу бросается в глаза:
«Except as expressly authorized by OpenDNS in writing, you agree not to sell, license, rent, modify, distribute, copy, reproduce, transmit, publicly display, publicly perform, publish, adapt, edit or create derivative works from such Content.»
«Reproducing, copying or distributing any Content, materials or design elements on the Site for any other purpose is strictly prohibited without the express prior written permission of OpenDNS.»
«OpenDNS may terminate your access to all or any part of the Service at any time, with or without cause, with or without notice, effective immediately.»
Сервис оно конечно их хлеб, только хлебом их кормят сами пользователи которые категоризируют сайты у них на проекте.
В данном посту использование сервиса ничем не отличается от штатного использования их DNS серверов для категоризации. В любом случае скачивается страница блокировки с сайта, в любом случае идут банерные показы с этой страницы блокировки. Кликов вот только нет.
Это примерно равносильно утаскиванию иконки с погодой с gismeteo.ru, только с тем учётом, что тащится не иконка, а страница целиком.
Данная статья призывает думать немного по другому не руководствуясь общепринятыми стандартами и шаблонами настройки squid. Категоризатор opendns это всеголишь пример для оптимизации определённых повторяющихся действий.
В данном посту использование сервиса ничем не отличается от штатного использования их DNS серверов для категоризации. В любом случае скачивается страница блокировки с сайта, в любом случае идут банерные показы с этой страницы блокировки. Кликов вот только нет.
Это примерно равносильно утаскиванию иконки с погодой с gismeteo.ru, только с тем учётом, что тащится не иконка, а страница целиком.
Данная статья призывает думать немного по другому не руководствуясь общепринятыми стандартами и шаблонами настройки squid. Категоризатор opendns это всеголишь пример для оптимизации определённых повторяющихся действий.
Штатный сервер насколько я понимаю на закрытые и несуществующие DNS показывает рекламу.
Вы не доводите контент который используют пользователи до них в неизменном виде, а используете его для целей, не предназначенных этим сервисом.
Кроме того, автоматическим способом занижаете CTR объявлений, что наверняка не понравилось бы рекламодателям и оператору рекламы.
Думаю это нелегально и существует риск когда они вас заблокируют и автоматика прервет сервис для фирмы.
Категоризация сайтов это непрерывная довольно трудоемкая задача, вряд ли вообще существуют провайдеры такого рода контента которые будут раздавать его бесплатно.
Я вообще считаю что ограничивать интернет пользователям техническими методами по типу содержимого нельзя.
Вы не доводите контент который используют пользователи до них в неизменном виде, а используете его для целей, не предназначенных этим сервисом.
Кроме того, автоматическим способом занижаете CTR объявлений, что наверняка не понравилось бы рекламодателям и оператору рекламы.
Думаю это нелегально и существует риск когда они вас заблокируют и автоматика прервет сервис для фирмы.
Категоризация сайтов это непрерывная довольно трудоемкая задача, вряд ли вообще существуют провайдеры такого рода контента которые будут раздавать его бесплатно.
Я вообще считаю что ограничивать интернет пользователям техническими методами по типу содержимого нельзя.
это настолько же нелегально как использовать поисковые машины в процессе раскрутки сайтов. и вариант того, что раскручиваемый сайт будет забанен на поисковике тоже есть. В любом случае принимая то или иное решение каждый для себя оценивает риски. Что рискованней? утечка данных в интернет или возможность быть заблокированным за нецелевое использование?
Техническая блокировка скажем по ежечаснообновляемым именам malwaredomains это один из лучших вариантов ограничения возможности поступления к Вам какойлибо гадости. Использование антивирусов не всегда эффективно, особенно по отношению к новым червям и троянам. Блокировка тора из той же серии.
неделю назад кто-то из сотрудников словил какую-то гадость. Касперский о ней не знал, но категоризатор пристрелил возможность гадости отправить нужные данные наружу.
Техническая блокировка скажем по ежечаснообновляемым именам malwaredomains это один из лучших вариантов ограничения возможности поступления к Вам какойлибо гадости. Использование антивирусов не всегда эффективно, особенно по отношению к новым червям и троянам. Блокировка тора из той же серии.
неделю назад кто-то из сотрудников словил какую-то гадость. Касперский о ней не знал, но категоризатор пристрелил возможность гадости отправить нужные данные наружу.
в процессе раскрутки поисковые машины не используются кроме как для автоматических запросов для определения ранжирования по запросам, что, кстати запрещено условиями использования яндекса, и он с этим борется.
Если ваш антивирус не работает — смените его, введите правильный ACL на компьютерах пользователей и используйте SRP.
Чтобы находить уже зараженные компьютеры известными вирусами, используйте IDS/IPS-системы.
Чтобы блокировать непредумышленные утечки используйте DLP-систему.
Если ваш антивирус не работает — смените его, введите правильный ACL на компьютерах пользователей и используйте SRP.
Чтобы находить уже зараженные компьютеры известными вирусами, используйте IDS/IPS-системы.
Чтобы блокировать непредумышленные утечки используйте DLP-систему.
это не наезд, просто обсуждаю возможности :)
вы как я посмотрю идеалист ;) но не бывает абсолютно защищённых систем кроме тех у которых выключено питание.
С известными вирусами справляется Каспер, с неизвестными ISS OrangeFilter входящий в состав IBM MFS. Но и в них есть дыры, простой запрос по malware доменам в категоризатор ISS, показал что больше половины сайтов из malware списка там просто не учтены.
С известными вирусами справляется Каспер, с неизвестными ISS OrangeFilter входящий в состав IBM MFS. Но и в них есть дыры, простой запрос по malware доменам в категоризатор ISS, показал что больше половины сайтов из malware списка там просто не учтены.
мне сама идеология не нравится блокирования по категориям, да еще и по домену: отправлять инфу малварь может и на твитер, и на айпишник, и на домен третьего уровня и по smtp (так они кстати и делают).
Без анализа контента на месте трудно что-то определить. У тех пользователей, инфа которых поценнее надо ограничивать например побольше — отключатьб iframe например, или яваскрипт и прочее.
Сам лично антивирусы вообще на пользовательских компах не ставлю, т.к. не вижу в них смысла — использую SRP.
Без анализа контента на месте трудно что-то определить. У тех пользователей, инфа которых поценнее надо ограничивать например побольше — отключатьб iframe например, или яваскрипт и прочее.
Сам лично антивирусы вообще на пользовательских компах не ставлю, т.к. не вижу в них смысла — использую SRP.
если уж делать эффективную систему то надо учитывать категоризацию и домен как некий оценочный бал используемый в расчете общего бала, который включает и другие факторы — заголовки запроса например, а не принимать решение о блокировке на основе самого домена.
сразу видно что у вас нету банк-клиентов ;) попробуйте там отключить iframe и javascript. ага
Почему нет, есть. В таких случаях блокируется файрволом все кроме банк-клиента.
В случаях биржевой торговли на ммвб/ртс соединение устанавливается внутри приватной сети.
В случаях биржевой торговли на ммвб/ртс соединение устанавливается внутри приватной сети.
позвольте поинтересоваться из какой Вы финансовой компании или банка?
Моя компания предоставляет услуги ит-поддержки. Компания «Кадмус» cadmus.ru
просто некоторые клиенты — брокерские конторы и банки.
Если услуги поддержки такие же как на этом сайте soft.cadmus.ru/, то у вас очень перспективная команда.
НЛ есичо ;)
Иронию зачел.
Этот домен, что очевидно, в работе не используется.
Вам просто неинтересно дальше продолжать диалог?
Этот домен, что очевидно, в работе не используется.
Вам просто неинтересно дальше продолжать диалог?
смотря о чем. это стало больше похоже на чат и прикладывание линейки к разным местам.
Я стараюсь привести аргументацию, которая критикует ваше решение с блокировкой домена по категории предоставленной провайдером контента.
Я распинаюсь т.к. так получилось что я прочитал статью еще вчера у вас в ЖЖ и поэтому есть мысли на этот счет.
Я распинаюсь т.к. так получилось что я прочитал статью еще вчера у вас в ЖЖ и поэтому есть мысли на этот счет.
Без проблем. давайте обсудим этот момент.
Сможете ли Вы создать список сайтов скажем для блокировки файлообменников?
rapidshare, ifolder и т.д.?
Сами собственноручно если руководство поставит перед Вами такую задачу. Как Вы поступите? возьмёте готовый список или потратите несколько недель на выяснение списков этих серверов? Какова вероятность вашей ошибки и её цена для компании?
Сможете ли Вы создать список сайтов скажем для блокировки файлообменников?
rapidshare, ifolder и т.д.?
Сами собственноручно если руководство поставит перед Вами такую задачу. Как Вы поступите? возьмёте готовый список или потратите несколько недель на выяснение списков этих серверов? Какова вероятность вашей ошибки и её цена для компании?
Ну на месте менеджера я бы задался вопросом — зачем блокировать файлообменники?
А на месте исполнителя сказал бы что это невозможно.
Но, например, смог бы контролировать все файлы отправляемые POST и больше 10 мб на уровне логгирования и архивированные под паролем на уровне принятия решения на основе анпрмиер от какого пользователя файл.
А на месте исполнителя сказал бы что это невозможно.
Но, например, смог бы контролировать все файлы отправляемые POST и больше 10 мб на уровне логгирования и архивированные под паролем на уровне принятия решения на основе анпрмиер от какого пользователя файл.
принятия решения об отправке POST-а*
Ваши сотрудники никогда не участвовали в закрытых тендерах или презентациях. При условии того, что пользователям необходим доступ в интернет, но ограничена возможность отправки документов куда либо доступными средствами.
я говорю что некоторым можно, а некоторым нет. Но контролируются по этому признаку все и всегда можно увидеть что какой-то пользователь сливает что то большое.
Да и ни это обсуждаем, просто предложил как варинат для решения задачи с файлообменниками.
Это вообще не сильно актуально, т.к. если сотрудникам нужен какой-то доступ (вообще, любой), а он перекрыт то они говорят об этом ит-службе, берут ответственность за использование доступа и получают его.
Да и ни это обсуждаем, просто предложил как варинат для решения задачи с файлообменниками.
Это вообще не сильно актуально, т.к. если сотрудникам нужен какой-то доступ (вообще, любой), а он перекрыт то они говорят об этом ит-службе, берут ответственность за использование доступа и получают его.
Кстати, компьютеры с выключенным питанием могут украсть, или они могут сгореть при пожаре :)
в предпоследней строке имел ввиду: неизвестными вирусами.
Сомневаюсь что OpenDNS будут мелочиться и отрубать какую то Российскую от которой кол-во запросов не превышает 50к в день, у них в день по несколько биллионов их и ничего живут
ну дело не в том что могут-не могут, а в том — законен такой метод или нет :)
Хорошо переформулируем вопрос, если они не могут определить значит законен, и еще можно положим в локальной сети поставить DNS сервер BIND например организовать на нем DNS кэш и сделать что бы он передавал запросы на OpenDNS сервера, при правильной настройке на стороне OpenDNS будет виден только 1 IP — от BIND
ну т.е. если что-то воровать и никто об этом не знает, то делать это можно и законно, а если узнали то нет? :)
Кстати, в статье вообще не упоминают о DNS сервисе.
Кстати, в статье вообще не упоминают о DNS сервисе.
С каких пор DNS запросы воровство?
если еще раз прочитать абзацы про OpenDNS там написано, что «при попадании сайта в определенную категорию пользователю отдаётся подменный IP адрес который ведет на страницу блокировки»
Зачем использовать DNS если Вы сразу можете попасть на страницу блокировки.
Если Вы знаете, что на той остановке на которой Вы стоите останавливается нужный Вам транспорт, зачем спрашивать об этом у прохожих?
Зачем использовать DNS если Вы сразу можете попасть на страницу блокировки.
Если Вы знаете, что на той остановке на которой Вы стоите останавливается нужный Вам транспорт, зачем спрашивать об этом у прохожих?
Интересно, а почем не рассмотрены такие «классические» редиректоры, как rejik и squidGuard?
Поддержка ACL, BerkleyDB в роли хранилища — очень приличная скорость получается
Поддержка ACL, BerkleyDB в роли хранилища — очень приличная скорость получается
у BerkleyDB есть одна проблема, чтобы обновить данные из файла его нужно перечитать. При нагруженной системе перечитывание файла размером в несколько метров и засасывание его в память может занимать достаточное количество времени. попробуйте в squid прогрузить список в несколько тысяч доменов.
Про rejik и squidGuard я уже написал выше. они классические, но для применения настроек требуют рестарта squid. в случае редиректора с кешируемыми запросами к внешним acl серверам рестарт не нужен в принципе. Всё происходит в realtime.
Про rejik и squidGuard я уже написал выше. они классические, но для применения настроек требуют рестарта squid. в случае редиректора с кешируемыми запросами к внешним acl серверам рестарт не нужен в принципе. Всё происходит в realtime.
У меня всего 100 компьютеров в сети, но после squid -k reconfigure телефон не краснеет.
НЛО прилетело и опубликовало эту надпись здесь
Всегда, первое что делаю, это меняю параметр shutdown_lifetime максимум на 5 секунд!
Рекомендую вам к прочтению habrahabr.ru/blogs/squid/56290/, там это описывается.
ЗЫ за эти 30 секунд, первое время, успевал столько нового о себе узнать…
Рекомендую вам к прочтению habrahabr.ru/blogs/squid/56290/, там это описывается.
ЗЫ за эти 30 секунд, первое время, успевал столько нового о себе узнать…
клево!
только для терминальных бездисковых станций не будет работать,
в далеком 2006м описал у себя настройку по авторизации ntlm, ничо так, работало :)
только для терминальных бездисковых станций не будет работать,
в далеком 2006м описал у себя настройку по авторизации ntlm, ничо так, работало :)
Proxy server — ЗЛО.
UDP-трафик строем идет коту под хвост
UDP-трафик строем идет коту под хвост
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Трудности администрирования прокси серверов в больших компаниях