Pull to refresh
  • by relevance
  • by date
  • by rating

[prog] debug при разработке сайтов

Abnormal programming *
Странички сейчас все сплошь динамические — на скриптах. Тоже ведь программы в своем роде. А вот вопрос отладки как-то слабо поднимается (если сравнить с C++ тем же). Все сводится к оценке на глаз, правке и так по кругу. Сообщения от ошибках выводятся в ту же HTML страницу — так проще.

Читать дальше →
Total votes 9: ↑5 and ↓4 +1
Views 1.1K
Comments 10

Анализ поисковых логов пользователей AOL выдаёт десятки маньяков

Lumber room
На сайте AOLPsycho каждая история поисковых запросов пользователей AOL изложена в хронологическом порядке. Указывается точное время осуществления запроса и адрес сайта, по которому был осуществлен переход.

Вообще-то, открытие информации компанией AOL было сделано в исследовательских целях. До них не сразу дошло, что они сделали что-то не так. Но данный факт мгновенно получил широкий резонанс в блогосфере, и вскоре компания AOL признала свою ошибку и удалила файл с сервера. Впрочем, было уже поздно. Файл размером 439 МБ просочился в интернет, так что сейчас его можно свободно скачать сразу из нескольких источников.

Спустя несколько дней в интернете появился очень интересный сайт под названием AOLPsycho. На этом сайте все желающие могут провести анализ поисковой истории любого человека из базы данных, а также посмотреть список самых популярных персонажей. Выборка поисковых запросов за три месяца дает отличную почву для изучения. Количество проанализированных пользователей растет с каждым днем: сегодня их уже 324.

Конечно, по поисковым запросам нельзя назвать имя человека. Каждый пользователь обозначен безличным номером ID. Однако поисковая история каждого из них говорит сама за себя. Некоторые вещи вызывают настоящий шок. Вы можете вызвать на экран поисковую историю случайного пользователя, и спустя несколько минут обязательно наткнетесь на какого-нибудь маньяка. Просто поразительно, как много тайных желаний, комплексов и удивительных «бзиков» скрывается в голове каждого человека.

Путем анализа поисковых запросов уже вычислили одного педофила, а также молодую девушку, помешанную на казино. Еще один пользователь ищет секс с кошкой. А этот — настоящий фанат Гарри Поттера. Что характерно, имя Гарри Поттера в поисковом запросе сопровождается терминами вроде «секс», «хентаи», «манга», «порно», «упражнения для пениса» и проч.

Если вам смешно, то подумайте, что точно такой же анализ можно провести по каждому из нас. Зайдите в свою собственную историю поисковых запросов и представьте, что вы посторонний человек. Вы будете поражены, как много информации вы можете о себе узнать.

Утечка данных с AOL и анализ поисковой истории — это очень интересный случай, который наглядно демонстрирует, насколько уязвимой является приватность каждого из нас. Анализ поисковых запросов позволяет многое сказать о человеке: что его интересует в жизни, какого его финансовое состояние, его планы на ближайшее будущее и многое другое.
Rating 0
Views 455
Comments 22

Интернет-провайдеры продают логи юзеров по 40 центов

Lumber room
Стало известно, что среди американских интернет-провайдеров считается нормальной практикой продавать логи серфинга своих пользователей по 40¢ в месяц. Такие базы данных не содержат конкретных имен, однако помечают каждого пользователя User 1, User 2 и т.д.
Читать дальше →
Total votes 24: ↑24 and ↓0 +24
Views 597
Comments 52

Как выявить медленные SQL запросы?

MySQL *
Translation
Это случалось с каждым из нас при разработке веб-сайтов или приложений, использующих MySQL в качестве базы данных. Производительность внезапно сильно падала, и вы не имели понятия, почему это случилось. Этому могут быть причиной многие факторы (сильная загрузка CPU, нехватка дискового пространства, или слабая пропускная способность канала), но также это может быть и неоптимизированный запрос, выполняемый намного дольше, чем должен.

Как узнать, какие из запросов выполняются дольше всего?
В MySQL есть встроенный функционал для ведения логов медленных запросов.
Узнать, как включить этот функционал
Total votes 34: ↑31 and ↓3 +28
Views 84K
Comments 57
Логи не горят

Анализатор логов PHP-на-Apache

PHP *
Решил написать об одной полезной утилите, которую написал в августе и уже два месяца успешно использую.
Утилита сводит к минимуму усилия по слежению за логами ошибок PHP.
Читать дальше →
Total votes 15: ↑10 and ↓5 +5
Views 11K
Comments 22

Yahoo сокращает логи до трёх месяцев

IT-companies
Всего 90 дней — таков новый стандарт приватности, о котором объявила компания Yahoo. Именно столько они будут хранить логи всех действий пользователя (в том числе запросы к поисковой системе с привязкой к IP-адресам, просмотры страниц, рекламные кукисы и т.д.), после чего обещают безвозвратно удалять эту приватную информацию. Это самые жёсткие правила приватности среди всех крупных интернет-компаний. Другими словами, Yahoo устанавливает новый стандарт приватности и можно ожидать, что скоро её примеру последуют Google, Microsoft и прочие. До настоящего времени Yahoo хранила логи 13 месяцев. Google удаляет часть информации из логов через 9 месяцев. У Microsoft срок хранения приватных данных равен 18 месяцам.

Новые правила для поисковых логов вступят в действия с января. Для всех остальных сервисов Yahoo аналогичные правила будут внедрять постепенно, вплоть до середины 2010 года.

В то же время некоторые поисковые системы предоставляют полностью анонимный доступ к своему сервису и вообще не хранят логи ни в каком виде. Например, так работает функция AskEraser на поисковике Ask.com.
Total votes 5: ↑4 and ↓1 +3
Views 207
Comments 1

Google, логи и закон

Lumber room
Translation
Знакомьтесь, это Ли Харберт, инвестиционный банкир из Сан-Франциско. Сейчас он осужден на 3 года лишения свободы, а решающим доказательством в его деле стали логи запросов к поисковой системе Google.

Дело было так. 11 января 2005 года мистер Харберт ехал на своем ягуаре и сбил 55-летнюю Гардипу Каура. Пострадавшая от полученных травм скончалась, а водитель наступил на газ и умчался с места происшествия.

Впоследствии Харберт утверждал, что думал будто сбил оленя, а в таком случае законом не предписывается останавливаться. Да и полиция поначалу заявила, что в розыске бордовый ягуар, а не черный как у мистера Ли Харберта.

Казалось бы, вот она – свобода. Но дотошные полицейские нашли в логах поиска на компьютере подозреваемого словосочетания вроде «купить запчасти», «требования сообщения в полицию о повреждении стекол авто», «кража авто» и главное – «hit-and-run» (сбил и скрылся). По поиску «hit-and-run» Ли перешел в аккурат на новость о преступлении, которое совершил.

Именно эти факты стали основой для доказательства вины и теперь Ли Харберт проведет три года за решеткой. С этого мы, собственно, и начинали.

Мораль сей басни такова: если уж начудили чего-то – не гуглите новости об этом.

PS: перевод очень вольный, в стиле Заходера :)
Total votes 36: ↑34 and ↓2 +32
Views 210
Comments 9

Восстановление базы MySQL из бинарных логов

MySQL *
Базы данных иногда пропадают. Человеческий фактор и всё-такое… Если вы не делали бекапов (а надо бы) или они уже устарели, не отчаивайтесь, — есть ещё возможность восстановить утерянную информацию.

Подробнее
Total votes 65: ↑60 and ↓5 +55
Views 40K
Comments 28

Логирование изменений объектов модели

Lumber room
Добрый вечер.

Disclaimer: в этом топике вы не увидите решений на тему поста. Их, вероятно, можно будет увидеть в следующем моем топике.

Однако, я думаю, многие сталкивались с подобным вопросом и его решение является актуальным.

Читать дальше →
Total votes 6: ↑5 and ↓1 +4
Views 552
Comments 8

LogParser — привычный взгляд на непривычные вещи

SQL *
Когда я в очередной раз использовал LogParser, то чтобы проникнуться и чужим опытом, ввел его название в поиск на Хабре. Как результат — сообщение «Удивительно, но поиск не дал результатов». Вот уж воистину удивительно, когда столь интересный инструмент обойден вниманием. Пришла пора восполнить этот пробел. Итак, встречайте LogParser. Маленькая, но чертовски полезная утилита для любителей SQL.

Из названия инструмента, казалось бы, очень непросто понять, что он делает в разделе SQL. А правда заключается в том, что он такой же LogParser, как и ChartGenerator. В то смысле, что он справляется с обоими задачами с одинаковыми успехом. В целом я бы его охарактеризовал как SQL-процессор гетерогенных данных. Концепция работы в общем такова, что он берет данные из некоторого формата и преобразует их в табличный вид (собственно говоря, только на этом этапе и выполняется иногда парсинг). Затем, посредством выполнения над этими табличными данными некоторого SQL-запроса формирует таблицу с результатом и сохраняет ее опять же в некотором формате. Если коротко, то цепочка выглядит как подготовка входных данных->SQL-процессинг->генерация выходных данных.
Читать дальше →
Total votes 56: ↑46 and ↓10 +36
Views 47K
Comments 17

Как узнать, что бекап прошел успешно

System administration *
Приветствую!

Всем известно, что админы делятся на тех кто еще пока не делает бекапы и на тех, кто уже делает бекапы. Однако, есть мнение, что еще бывают и такие, кто свято убежден, что бекапы делаются, а на деле это не так. В этом посте мне бы хотелось рассказать парочку реальных историй и (если получится) подвести итоги, сделать выводы.

Читать дальше →
Total votes 55: ↑48 and ↓7 +41
Views 11K
Comments 34

Логи войны в Афганистане опубликованы на Wikileaks

Data Mining *
Сегодня ночью на сайте Wikileaks.org опубликованы около 76 900 конфиденциальных файлов, посвящённых войне в Афганистане. Это массив информации в форматах CSV и SQL объёмом около 100 МБ, в котором ещё предстоит хорошенько разобраться. Судя по всему, источником файлов является база данных Командного центра армии США.

Газета The Guardian провела фильтрацию по инцидентам, в которых были убиты мирные жители: таких набралось 144 инцидента. Все случаи наложены на карту и собраны в таблицу XLS.



По подсчёту Channel 4, за время боевых действий с 2004 по 2009 годы погибло 1138 солдат NATO, 15506 врагов и 4232 мирных жителей.
Читать дальше →
Total votes 82: ↑80 and ↓2 +78
Views 1.4K
Comments 171

Двадцать лет тюрьмы и миллион рублей штрафа за нелицензионный файл!…

Copyright
Нынешнее сообщение является естественным продолжением вчерашнего, так что сперва напомню известные со вчерашнего дня факты.

Вчера Novikov в своём блоге подметил, что Московская городская дума готова была предложить (26 августа, устами своего депутата Милявского) попрать все идеалы внутренней свободы, а вместо того поклониться одновременно демону тоталитаризма и золотому тельцу правоторговли, то есть составить чёрный список сайтов, предлагающих нелицензионные файлы, и за любое посещение такого сайта штрафовать каждого гражданина на сумму от 2000 до 5000 рублей.

Это прискорбно.
В частности, Новиков тотчас постиг и сокрушался о том, какие небывалые и коррупционные бездны произвола правоохранительных структур откроются во всяком таком случае, когда какой-нибудь сетевой червь понаоткрывает запретные сайты без ведома пользователей, или если другой сайт поставит невидимый <iframe> или прозрачный пиксел запретного сайта. Опять же и для цензуры возможности какие богатейшие.
Там же в комментариях MSVGePard без малейшего промедления открыл, что упомянутый Милявский имеет еврейское расовое происхождение и даже гражданство Государства Израиль ([1], [2]), и притом далеко не совершенно чужд и сам нелицензионщине: в прессе не раз упоминалося, что Милявский миллионы нажил, создав свой рынок «Горбушкин двор». Ум останавливается перед потугою истолковать эту деталь биографии: не то Милявский зачищает интернетовских конкурентов своего оффлайнового бизнеса, не то обратился к чрезмерному и небывалому ещё покаянию? Да не в том ли всё и дело, что «Горбушкин двор» недавно намерены были остановить?
Подробнее эту тему раскрыл в LiveJournal блоггер martellus. В комментариях он упоминает также, что Указом Президента В. В. Путина в 2003 году Александр Милявский был награждён медалью ордена «За заслуги перед Отечеством» II степени. Видим, стало быть, что заслуженный единоросс этот и впрямь может выступить с некоторой законодательной инициативою и быть услышанным с нею в самых верхах и недрах «Единой России» преблагосклоннейше.
Увы, личный блог Новикова не транслируется на заглавную страницу Хабахабра — и оттого не все заметили эту новость, несмотря на двузначный рейтинг его блогозаписи.

А между тем вышеупомянутые события не остановилися 26 августа, а развивались и далее: сообщение Новикова можно дополнить известием о том, что на нынешней неделе (в понедельник 30 августа) в «Ведомостях» вышла статья «Штраф за пиратство». К сожалению, сама по себе эта статья не очень полезна нам, будучи не более чем собранием разноречивых мнений, более или менее экспертных и (или) официальных. Зато к ней прилагаются для скачивания собственно документы законопроекта Милявского. Их два: проект Федерального закона «Об охране авторских и смежных прав в сети Интернет и о внесении изменений в отдельные законодательные акты Российской Федерации», а с ним сборник поправок, предлагаемых ко внесению в Уголовный кодекс и в Кодекс об административных правонарушениях.

Эти поправки сегодня утром подверг сравнительному анализу LJ-блоггер i_contester и открыл такие подробности, от которых волосы должны буквально становиться дыбом на голове. Вы уж лучше присядьте, прежде чем читать о них:

Читать дальше →
Total votes 347: ↑293 and ↓54 +239
Views 16K
Comments 317

Визуализация работы веб-сервера Apache — logstalgia

Infographics
image

Logstalgia скорее порадует разработчиков и системных администраторов, которые много времени проводят на «заднем дворе» сайтов, но сам результат работы программы очень красив и видео будет интересно посмотреть всем. Данная программа визуализирует работу веб-сервера Apache используя log-файлы. По ссылке видео, а саму программу можно скачать по здесь.
Total votes 101: ↑96 and ↓5 +91
Views 8.7K
Comments 57

MODх — Учет посетителей сайта и график посещений

MODX *
Tutorial
Как и многие программисты, я страдаю некоторой степенью подозрительности к чужим сервисам, и предпочитаю делать все сам.
К чужим сервисам, в частности относится liveinternet и другие счетчики посещений. Я им как то не доверяю, знаете ли.

Сейчас я вам расскажу (и покажу) как нетрудно сделать учет посетителей сайта с помощью modx.

Читать дальше →
Total votes 33: ↑25 and ↓8 +17
Views 13K
Comments 40

Powershell — логирование в файл

System administration *
Доброго времени суток, $username!

Хочу поделиться с вами функцией, которую я использую вместо обычного вывода информации на экран или только записи в файл.

Функция была написана для того, чтобы информация выводилась и на экран и в лог (текстовый), предназначается для замены стандартного write-host.

Читать дальше →
Total votes 14: ↑9 and ↓5 +4
Views 38K
Comments 5

Перенаправление событий Windows (Event Log) на сервер syslog Linux

System administration *
Sandbox

Вступление


Это статья предназначена для системных администраторов, которые знакомы с Linux и используют семейство этих систем в смешанной среде прекрасно осознавая что разные ОС хороши в разных задачах. Так же она будет интересна всем администраторам, даже тем, кто не знаком с линуксом, своей теоретической частью.

В ней описывается простой и надежный способ (даже скорее простая и надежная сторонняя утилита) для передачи системных событий из Event Log’ов серверов на базе Windows в Linux syslog для удобства централизованного хранения и обработки.

Реалии таковы, что в нынешней корпоративной среде самое эффективное и надежное решение основывается на смешении серверных операционных систем из-за качества и способов решаемых ими задач. Рабочие станции, и, следовательно, групповое ими управление и администрирование проще делать на Active Directory; веб сервер, прокси сервер надежнее поставить на линукс; роутером быстрее сделать что-то из Cisco. Эта объективная реальность, с которой работают администраторы многих средних компаний (особенно знакомые с линуксом, от винды так или иначе им все равно не уйти и зачастую в фирме стоят домен-контроллеры на винде и прокси-сервер и роутер на линуксе) — в мелких фирмах можно обойтись одной виндой, в крупной фирме скорее всего раздельно существует администратор линуксоид и администратор виндузятник умело отвечающие за свои сектора. Так или иначе, эта статья не теоретизирование и не исследование на эту тему, эта статья про конкретную задачу, которая практически всегда приходит в голову любому администратору работающему в таком окружении, а вступление что-то затянулось.
Читать дальше →
Total votes 40: ↑37 and ↓3 +34
Views 55K
Comments 17