Комментарии 186
Критичная уязвимость в безопасности на fl.ru
Критическая же. А вот Юлия — крайне твердолобая особа.
спасибо, исправил.
«Высокоэффективный техпод первого кольца». До второго уровня эксалировать не будет ничего и ни при каких обстоятельствах. Держит периметр. Грудями на амбразуру до последнего! Гвозди бы делать из этих людей — они будут задалбывать доски самостоятельно.
Если не знаешь, что конкретно искать, но интересно, что можно найти:
pdf site:fl.ru
pdf site:fl.ru
это тоже вариант, но не самый удобный, потому что в результатах поиска много «шума».
Намного эффективнее искать по «ключевикам». У каждого типа документа на fl.ru есть КС. За счёт этого можно найти теперь любую контору или физ.лицо и посмотреть кто что заказывал и за сколько.
Но самое страшное даже не это. Можно получить доступ к персональной информации, например, адрес регистрации, номер паспорта, телефон. Это тихий ужас.
Намного эффективнее искать по «ключевикам». У каждого типа документа на fl.ru есть КС. За счёт этого можно найти теперь любую контору или физ.лицо и посмотреть кто что заказывал и за сколько.
Но самое страшное даже не это. Можно получить доступ к персональной информации, например, адрес регистрации, номер паспорта, телефон. Это тихий ужас.
только вот так: filetype:pdf site:fl.ru, или так filetype:doc site:fl.ru, или так filetype:rtf site:fl.ru
так лучше filetype:pdf site:fl.ru
site:fl.ru filetype:pdf inurl:/users/ intext: Техническое задание
Ну приблизительно как-то так, отсеивает публичный мусор, и ищет только по профилям.
Ну приблизительно как-то так, отсеивает публичный мусор, и ищет только по профилям.
По моему опыту, лишь 3-5% работников техподдержки хоть в чём-то могут помочь, задача остального контингента в том, что бы следить за тем, что их стул не улетел и заверять пользователей, что они сами виноваты.
Буквально с месяц назад примерно такая-же ситуация была с хостингом 1gb — заверяли меня в том, что разработчик виноват в том, что когда создан абсолютно чистый хостовый сервер, а .js и .css не резолвятся из под http (естественно никакого .htaccess и прочих). При этом любые другие файлы (с другими форматами) спокойно открываются. Потратил наверное час на общение, но так и не доказал, ибо «наш монитор пишет, что с сервером всё в полном порядке, обратитесь к разработчику».
Так и тут получается примерно тоже самое. Есть инструкции, а подумать головой своей — уже сложно.
Буквально с месяц назад примерно такая-же ситуация была с хостингом 1gb — заверяли меня в том, что разработчик виноват в том, что когда создан абсолютно чистый хостовый сервер, а .js и .css не резолвятся из под http (естественно никакого .htaccess и прочих). При этом любые другие файлы (с другими форматами) спокойно открываются. Потратил наверное час на общение, но так и не доказал, ибо «наш монитор пишет, что с сервером всё в полном порядке, обратитесь к разработчику».
Так и тут получается примерно тоже самое. Есть инструкции, а подумать головой своей — уже сложно.
1gb недохостинг какой-то, клиентоориентированность нулевого уровня там. Врагу не порекомендовал бы.
1gb пока что лучшее, что я видел, по крайней мере и по техподдержке (которая хотя бы моментально отвечает), так и по возможностям (за исключением разве что зарубежных хостов). Это единичный случай на моей памяти, но безумно выбесил — хотелось расстрелять на месте.
з.ы. требования: Postgres, php 5.5+, ssh, ruby (для redmine). В разумную цену (плачу 2500 в год за 12 сайтов и 10 БД). Если есть варианты куда переехать — я с удовольствием послушаю. Думаю стоит в личке, дабы не оффтопить.
з.ы. требования: Postgres, php 5.5+, ssh, ruby (для redmine). В разумную цену (плачу 2500 в год за 12 сайтов и 10 БД). Если есть варианты куда переехать — я с удовольствием послушаю. Думаю стоит в личке, дабы не оффтопить.
Ну вот видите. Сколько людей, столько мнений. А что кроме 1gb уже видели?
rucenter, reg.ru (jelastic до сих пор в заначке — там была раздача слонов), хостмастер, джинно, ещё что-то.
reg.ru из перечисленного, если что, еще так ничего. остальное не очень. руцентр тарифами, джино поддержкой. хостмастер не пробовал. а вообще поэксперементируйте с забугорными площадками, потом сравните.
Да, тоже начал присматриваться к reg.ru — уже почти перенёс туда сайтик по Jphp (по крайней мере само доменное имя и redis для кеша уже там). Пока что стрёмно немного перетаскивать всё остальное, хостинги ведь предназначены для всяких CMS в основном, а сам сайт на Laravel\Symfony, боюсь споткнуться на проблемах с composer, и cli тасками. Плюс время выполнения скриптов там ограничено (у 1gb можно с некоторым шаманством сделать почти безостановочные демоны), т.е. никаких очередей и проч. Так что в замешательстве, а VDS брать не очень хочется — опыта конфигурировать всё это дело не много, да и дороже выйдет.
Никогда не надо доказывать русскоязычной техподдержке в русскоязычной компании что что-то у них неправильно работает. Вы могли ограничиться парой развернутых сообщений с объяснениями. Затем через месяц спросить «Как дела?», если Юля еще не… поняла, то спокойно размещайте на всех доступных вам ресурсах с хорошей аудиторией. Не тратьте на них больше чем 5 минут в день.
В России очень мало компаний, которые дорожат своей репутацией.
Индексация — скорее всегда на том сайте какая-нибудь метрика или скрипт статистики от яндекса ИЛИ, что еще хуже, директория с логами не закрыта, и активно шерстится поисковиками (через гугл часто натыкался на такие порталы).
В России очень мало компаний, которые дорожат своей репутацией.
Индексация — скорее всегда на том сайте какая-нибудь метрика или скрипт статистики от яндекса ИЛИ, что еще хуже, директория с логами не закрыта, и активно шерстится поисковиками (через гугл часто натыкался на такие порталы).
Что за шовинизм? Есть много примеров вполне адекватной реакции на дыры в безопасности в русскоязычных компаниях. И на Хабре публиковали не раз.
Шовинизм тут не к месту.
Вы оспариваете тот факт, что адекватная реакция от адекватной поддержки не последует после развернутых сообщений? Вы считаете, что адекватной поддержке надо что-то долго и упорно доказывать?
Я так не считаю.
Вы оспариваете тот факт, что адекватная реакция от адекватной поддержки не последует после развернутых сообщений? Вы считаете, что адекватной поддержке надо что-то долго и упорно доказывать?
Я так не считаю.
Тех поддержка всегда должна поддерживать клиента.
И я считаю что вы правы, если компания не признаёт, то стоит об этом срочно написать в читаемые ресурсы. Я уверен что эффект написания на хабре дал больший результат чем Юля.
И искренне надеюсь что Юле урежут зарплату, за то что она не умеет слушать.
И я считаю что вы правы, если компания не признаёт, то стоит об этом срочно написать в читаемые ресурсы. Я уверен что эффект написания на хабре дал больший результат чем Юля.
И искренне надеюсь что Юле урежут зарплату, за то что она не умеет слушать.
Нет, я оспариваю тот факт, что русскоязычная поддержка чем-то принципиально отличается от нерусскоязычной. Шаблонные отписки на первый нетривиальный запрос в поддержку — к сожалению, очень частая ситуация в разных странах.
Во-первых: это не шаблонная ситуация.
Во-вторых: отсутствие в переписке 2го лица в виде начальника Юли или эскалации на 2/3 линии — это признак непрофессионализма как сотрудника, так и начальника отдела.
Тикеты такого рода (ИБ) должны иметь высокий приоритет, как тикеты от «VIPов». К сожалению, судя по номеру обращения, они не обучили Юлю работе и/или не продумали маршрутизации.
Во-вторых: отсутствие в переписке 2го лица в виде начальника Юли или эскалации на 2/3 линии — это признак непрофессионализма как сотрудника, так и начальника отдела.
Тикеты такого рода (ИБ) должны иметь высокий приоритет, как тикеты от «VIPов». К сожалению, судя по номеру обращения, они не обучили Юлю работе и/или не продумали маршрутизации.
А зря оспариваете. Отличается и принципиально. У них стараются разобраться в проблеме и решить ее, у нас не разбираться и не решать. Согласитесь это принципиальная разница в подходах к работе?
У них стараются разобраться в проблеме и решить ее
Это неправда для произвольной нерусскоязычной компании.
у нас не разбираться и не решать
Это неправда для произвольной русскоязычной компании.
Не могу согласиться с вашим выводом, который сделан на основании двух неверных посылок.
Для интереса покопайте, например, историю с HeartBleed. Есть примеры русских компаний, которые по первому обращению в обычный пользовательский саппорт обновили OpenSSL в течение суток. И есть примеры иностранных компаний, которые полгода не чесались, хотя им говорили.
Исключения есть везде, нельзя судить по одному русскому, сказав что все они 1м50 ростом.
Я думаю что автор имел в виду среднестатистический подход к проблемам. И это формируется не с новым лицом, это формируется менталитетом и обществом.
Сходите в «тех поддержку» в виде МВД, сообщите им что вы потеряли водительское удостоверение. Во Франции его получить можно в течении недели. То же самое с паспортом и id картой. И то же самое во многих отраслях.
Единтсвенное что спасает it индустрию, это связь с внешним миром. Так как услуги, или товар можно проще сравнить в интернете, многочисленные компании стараются не отставать от зарубежных стандартов, и это похвально.
Я думаю что автор имел в виду среднестатистический подход к проблемам. И это формируется не с новым лицом, это формируется менталитетом и обществом.
Сходите в «тех поддержку» в виде МВД, сообщите им что вы потеряли водительское удостоверение. Во Франции его получить можно в течении недели. То же самое с паспортом и id картой. И то же самое во многих отраслях.
Единтсвенное что спасает it индустрию, это связь с внешним миром. Так как услуги, или товар можно проще сравнить в интернете, многочисленные компании стараются не отставать от зарубежных стандартов, и это похвально.
Ходил, сообщал года 2-3 назад. Новый паспорт получил через неделю, потратил времени ровно 40 минут, никаких электронных правительств, госуслуг и прочего. Пришёл с утра в районный ФМС, подождал минут 15 максимум в очереди из 2-3 человек, написал заявление, сдал фото и каких-то простых бумажек пару штук. Пришёл дней через 5-6 рабочих получить новый.
Это не неправда, а лишь мой личный опыт. Не спорю, он мог быть у всех разный. А истории мне копать не интересно. Я сам работал как клиент и с fl.ru и 1gb.ru и masterhost.ru и с hetzner.de и с webnames.ru и с godaddy.com
И на основе лишь своего опыта все это пишу. fl.ru (после 2012 года) и 1gb.ru это же тупо совок. В последнем мне вообще в разговоре в открытую хамили. О чем тут говорить?
И на основе лишь своего опыта все это пишу. fl.ru (после 2012 года) и 1gb.ru это же тупо совок. В последнем мне вообще в разговоре в открытую хамили. О чем тут говорить?
godaddy, ошибся и оплатил за домен 2 раза. Звонок в суппорт. По первому звонку на моем кривом английском, меня поняли и вернули ошибочную оплату на аккаунт (рефаунд ми плис май пеймент. окей. фенкс). 15 минут. Проблема решена.
hetzner, потребовалось оплатить авансом, у них такое не возможно по умолчанию. Написал в поддержку, просто сказали назвать сумму требуемую, и они ее будут списывать вперед.
Все блин для клиента. Хочешь так? Держи! А еще так хочешь? Держи!
Про мои мытарства с masterhost, 1gb прям даже и рассказывать не хочется. Там все на уровне
— «у вас сайт превысил лимит по ресурсам поэтому мы его вырубили» или «ну у нас была авария, все базы упали, но мы восстановили, но вот двумя днями ранее» или «вас кто-то взломал, вы теперь на карантине»
И все без предупреждения, без уведомления, а ты потом бегай и доказывай, что ты не верблюд. Потом правда уведомления появились все же.
А на 1gb там вообще феерия.
— «у вас почта не работает? мы не описали в хелпе, что при этом вы должны прописывать в .htaccess. ну так это у вас! мы то тут при чем?». при чем я не припоминаю ни одного шареда, кроме 1gb, где почту нужно было бы отдельно настраивать руками, указывая самостоятельно путь к sendmail. это же шаред, а не впс.
А тут что с freelance.ru? Сто строк бреда в переписке пользователя с ТП ни о чем и никакой попытки ни разобраться в проблеме ни решить проблему, пока проблема не стала публичной? Ну это не дело.
Идешь вот ты в парикмахерскую. А тебе объясняют, что тот, кто до них вас стриг он идиот. И вместо того чтобы постричь лучше стригут еще хуже. Ну что это за подход? Что это за клиентоориентированность? Это как раз попытка вместо решения проблемы любыми методами отказаться от решения или решить в свою пользу. Это тупиковая модель. Но это модель нашей действительности. Селяви.
hetzner, потребовалось оплатить авансом, у них такое не возможно по умолчанию. Написал в поддержку, просто сказали назвать сумму требуемую, и они ее будут списывать вперед.
Все блин для клиента. Хочешь так? Держи! А еще так хочешь? Держи!
Про мои мытарства с masterhost, 1gb прям даже и рассказывать не хочется. Там все на уровне
— «у вас сайт превысил лимит по ресурсам поэтому мы его вырубили» или «ну у нас была авария, все базы упали, но мы восстановили, но вот двумя днями ранее» или «вас кто-то взломал, вы теперь на карантине»
И все без предупреждения, без уведомления, а ты потом бегай и доказывай, что ты не верблюд. Потом правда уведомления появились все же.
А на 1gb там вообще феерия.
— «у вас почта не работает? мы не описали в хелпе, что при этом вы должны прописывать в .htaccess. ну так это у вас! мы то тут при чем?». при чем я не припоминаю ни одного шареда, кроме 1gb, где почту нужно было бы отдельно настраивать руками, указывая самостоятельно путь к sendmail. это же шаред, а не впс.
А тут что с freelance.ru? Сто строк бреда в переписке пользователя с ТП ни о чем и никакой попытки ни разобраться в проблеме ни решить проблему, пока проблема не стала публичной? Ну это не дело.
Идешь вот ты в парикмахерскую. А тебе объясняют, что тот, кто до них вас стриг он идиот. И вместо того чтобы постричь лучше стригут еще хуже. Ну что это за подход? Что это за клиентоориентированность? Это как раз попытка вместо решения проблемы любыми методами отказаться от решения или решить в свою пользу. Это тупиковая модель. Но это модель нашей действительности. Селяви.
del.
Одной техподдержке уже доказали :) www.securitylab.ru/news/472083.php
фрилансуженеторт
А в какойязычной надо доказывать?
Даже если ссылка на документ была опубликована, fl.ru стоило бы запретить хотлинкинг. Документ должен быть доступен только залогиненым пользователям, имеющим право его просматривать.
И ни в коем случае не рассчитывать на защиту хешем в ссылке. В общем случае это плохая практика (хотя есть ситуации, когда такое может быть допустимо).
И ни в коем случае не рассчитывать на защиту хешем в ссылке. В общем случае это плохая практика (хотя есть ситуации, когда такое может быть допустимо).
В роботс уже понаписали: st.fl.ru/robots.txt
User-agent: Yandex
Disallow: /*.doc
Disallow: /*.docx
Disallow: /*.xls
Disallow: /*.xlsx
Disallow: /*.ppt
Disallow: /*.pptx
Disallow: /*.rar
Disallow: /*.zip
User-agent: Googlebot
Disallow: /*.doc
Disallow: /*.docx
Disallow: /*.xls
Disallow: /*.xlsx
Disallow: /*.ppt
Disallow: /*.pptx
Disallow: /*.rar
Disallow: /*.zip
User-agent: dotbot
Disallow: /
User-agent: aggregator:Spinn3r
Disallow: /
User-agent: Twitterbot
Disallow: /
User-agent: *
Disallow: /*.doc
Disallow: /*.docx
Disallow: /*.xls
Disallow: /*.xlsx
Disallow: /*.ppt
Disallow: /*.pptx
Disallow: /*.rar
Disallow: /*.zip
User-agent: Yandex
Disallow: /*.doc
Disallow: /*.docx
Disallow: /*.xls
Disallow: /*.xlsx
Disallow: /*.ppt
Disallow: /*.pptx
Disallow: /*.rar
Disallow: /*.zip
User-agent: Googlebot
Disallow: /*.doc
Disallow: /*.docx
Disallow: /*.xls
Disallow: /*.xlsx
Disallow: /*.ppt
Disallow: /*.pptx
Disallow: /*.rar
Disallow: /*.zip
User-agent: dotbot
Disallow: /
User-agent: aggregator:Spinn3r
Disallow: /
User-agent: Twitterbot
Disallow: /
User-agent: *
Disallow: /*.doc
Disallow: /*.docx
Disallow: /*.xls
Disallow: /*.xlsx
Disallow: /*.ppt
Disallow: /*.pptx
Disallow: /*.rar
Disallow: /*.zip
Почему уже?
Last-Modified:Wed, 30 Nov 2011 12:31:16 GMT
Наоборот, видимо давно не заглядывали туда.
Last-Modified:Wed, 30 Nov 2011 12:31:16 GMT
Наоборот, видимо давно не заглядывали туда.
Ну вот роботы честно и забирают *.pdf…
Роботы забирают все подряд, потому что правила написаны кривые: ограничение только на файлы, которые лежат в корне st.fl.ru
Нет, правила смотрят не только в корень
/users/useruser/reserves/111089/111111.doc — запрещен правилом /*.doc*
/users/useruser/reserves/111089/111111.doc — запрещен правилом /*.doc*
Почитайте, хотя бы это (да, разные боты, могут по разному обрабатывать robots.txt, но тут как раз речь идет о яндексе).
Disallow: /*private # запрещает не только '/private', но и '/cgi-bin/private'Вот это я понимаю защита!
Все, расходимся.
Все, расходимся.
Добивает копипаст для поисковиков ) Типа так надежнее)
Файл по прежнему доступен по ссылке любому пользователю.
Прописать запреты в robots.txt это хорошо, но не достаточно. Уязвимость не закрыли, а только, чуток замаскировали.
Переписка рука-лицо.
Недавно же была утечка тысяч контактов с fl.
Ну с таким уровнем технарей и отношением саппорта не удивительно.
Прописать запреты в robots.txt это хорошо, но не достаточно. Уязвимость не закрыли, а только, чуток замаскировали.
Переписка рука-лицо.
Недавно же была утечка тысяч контактов с fl.
Ну с таким уровнем технарей и отношением саппорта не удивительно.
Мне вот интересно, откуда это всё индексируется. Ведь где-то ссылки должны быть выложены, чтобы робот до них добрался.
Почитал переписку. Такое ощущение что со стеной общались.
Что, уже можно постить ссылки на найденные рабочие логины-пароли из переписки?
Иногда русская техподдержка «радует» до безумия своими познаниями в любой категории вопросов (некоторые компании). Рад за техподдержку заграницей, где сотрудник, не являющийся подкованным в области заданного вопроса, без проблем переключит на знающего товарища. Плюс извинится, за потраченное время.
Это не «русская техподдержка», это «некоторая техподдержка».
Работал в техподдержке американской компании, российский офис «покрывал» ночные-дневные часы. По инструкциям перевести звонок на второй уровень саппорта можно было только удостоверившись, что проблема действительно вне компетенции первой линии, воспроизведя проблему и проэскалировав ее письменно. Вот только в нашем офисе сотрудники второй линии все же с пониманием относились к срочным/важным кейсам, и брали звонки без предварительных обязательных по инструкции шагов, которые в данной конкретной ситуации были очевидно бесполезны; калифорнийские же коллеги, за исключением двоих (из нескольких десятков), ни на шаг не отступали от пошаговой инструкции, и не принимали эскалацию, пока первая линия не заставит клиента три раза перезагрузить роутер, переустановить ОС и приложение на машине или хард-резетнуть смартфон, и не попытается воспроизвести проблему на тестовом стенде (даже когда, повторюсь, ошибка на нашей стороне очевидна еще из симптомов или трейсов, и мучить клиента нет никакой необходимости).
Так что национальность поддержки не имеет никакого отношения к тому, как налажены ее процессы.
Работал в техподдержке американской компании, российский офис «покрывал» ночные-дневные часы. По инструкциям перевести звонок на второй уровень саппорта можно было только удостоверившись, что проблема действительно вне компетенции первой линии, воспроизведя проблему и проэскалировав ее письменно. Вот только в нашем офисе сотрудники второй линии все же с пониманием относились к срочным/важным кейсам, и брали звонки без предварительных обязательных по инструкции шагов, которые в данной конкретной ситуации были очевидно бесполезны; калифорнийские же коллеги, за исключением двоих (из нескольких десятков), ни на шаг не отступали от пошаговой инструкции, и не принимали эскалацию, пока первая линия не заставит клиента три раза перезагрузить роутер, переустановить ОС и приложение на машине или хард-резетнуть смартфон, и не попытается воспроизвести проблему на тестовом стенде (даже когда, повторюсь, ошибка на нашей стороне очевидна еще из симптомов или трейсов, и мучить клиента нет никакой необходимости).
Так что национальность поддержки не имеет никакого отношения к тому, как налажены ее процессы.
Критически безопасная сделка.
Технические задания куда интересней соглашений
yandex.ru/yandsearch?text=%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D0%B7%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20site%3Afl.ru&lr=213&p=0
yandex.ru/yandsearch?text=%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D0%B7%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20site%3Afl.ru&lr=213&p=0
О, уже 403 Forbidden
Дык вы из кеша доставайте, там еще доступно.
Зачем из кеша, все по прежнему доступно прямо с сайта:
habrahabr.ru/post/253943/#comment_8346599
habrahabr.ru/post/253943/#comment_8346599
Автор, а у вас что за браузер? Я не рискну утверждать, но мне кажется, что браузер отправляет запрос на проверку ссылки на фишинг, и именно таким образом она попадает в индекс поисковой системы, т.к. документ доступен по прямой ссылке без аутентификации, как говорит сотрудник техподдержки, и ограничений в robots.txt на индексацию нет. По крайней мере, я знаю, что именно таким образом в индекс попадали всякие админки «по уникальным ссылкам».
Mozilla Firefox крайней версии.
На FL.ru по прямой ссылке (при условии, что вы её знаете) доступен любой документ. При этом неважно где вы его размещали: в портфолио, в переписке и даже в личных сообщениях. Протестировано!
На FL.ru по прямой ссылке (при условии, что вы её знаете) доступен любой документ. При этом неважно где вы его размещали: в портфолио, в переписке и даже в личных сообщениях. Протестировано!
Ситуация напоминает случай индексации Яндексом СМСок Мегафона в 2011 году. Тогда обычной Яндекс.Метрики хватило.
Интересно, как yandex получает url ресурса? У меня например, поддомен сайта нигде засвечен не был, там тестовый сайт лежал. Браузер Chrome, никаких плагинов яндекса нет, с помощью самописной статистики выявлено yandex бота. Ссылок на внешние сайты нет (это если б из reffefer узнать url откуда пришли). Из приложений яндекса — только Punto Switcher (переключатель клавиатуры). Я так понял как в песне мушкетеров:
Нет ничего, чего б не знал
О нас, о грешных, кардинал,
Вся жизнь твоя известна кардиналу.
Дрожит и голь, дрожит и знать,
И всем не терпится узнать,
Что он свинья известно ль кардиналу
По моему мнению robots.txt спасет только от индексации, но где гарантия что он не пройдется по ссылкам просто для сбора информации?
К тому же поисковиков — пруд пруди, всех ботов не запретишь. Самое правильное, чтобы конфиденциальная информация была полностью закрыта от любых посторонних наблюдателей.
Нет ничего, чего б не знал
О нас, о грешных, кардинал,
Вся жизнь твоя известна кардиналу.
Дрожит и голь, дрожит и знать,
И всем не терпится узнать,
Что он свинья известно ль кардиналу
По моему мнению robots.txt спасет только от индексации, но где гарантия что он не пройдется по ссылкам просто для сбора информации?
К тому же поисковиков — пруд пруди, всех ботов не запретишь. Самое правильное, чтобы конфиденциальная информация была полностью закрыта от любых посторонних наблюдателей.
Скорей всего поисковики отслеживают и DNS в поисках новых доменов. Я всегда на тестовые сайты (или не требующие индексации) первым делом загружаю robots.txt запрещающий всё.
А касательно сбора информации google советует авторизацию сделать (например http basic).
А касательно сбора информации google советует авторизацию сделать (например http basic).
подскажите, как можно отследить DNS?
«Скорей всего поисковики отслеживают и DNS в поисках новых доменов.» — Не согласен. Каким образом отслеживают записи поддоменов? ns записи поддомена на хостинге отдают только по запросу. Скорее всего недаром инструменты яндекса и mail.ru во многих программах в нагрузку ставятся, забыл снять галочку — у тебя уже всюду агенты, утилиты и плагины причем во всех браузерах!
Там в исходниках Метрика стоит.
У меня на сайте метрики не было. Очевидно существует еще способы (скрытые от пользователя) сбора информации, и они используются.
Жесть какая. Можно про это немного подробнее? Это был встроенный в браузер анти-фишинг?
Не знаю, что конкретно имелось в виду выше, самому интересно. По описанию для FF (про него писал ТС) очень похоже на встроенный.
Правда там написано про Google Safe Browsing. Возможно, у собеседника был Яндекс браузер со своим.
Правда там написано про Google Safe Browsing. Возможно, у собеседника был Яндекс браузер со своим.
Это FL тестирует новый сервис знакомств фрилансеров :)
filetype:pdf site:https://st.fl.ru/users/*/resume *ваш город*
Все по полочкам, и фото, и контакты.
filetype:pdf site:https://st.fl.ru/users/*/resume *ваш город*
Все по полочкам, и фото, и контакты.
Контактные данные, вот, документы… что следующее?
Платежные данные, реквизиты и пинкоды карт (образно выражаясь)?
Платежные данные, реквизиты и пинкоды карт (образно выражаясь)?
Попробовал воспроизвести с тестовым файлом решето.pdf — действительно решето :(
Ошибся
«Пофиксили». Любой файл теперь 403 Forbidden
Кэш пока ещё работает :)
А для авторизованного пользователя?
Как обойти 403 Forbidden в firefox:
habrahabr.ru/post/253943/#comment_8346599
habrahabr.ru/post/253943/#comment_8346599
Похоже, закрыли дыру. Документы в индексе есть, но при переходе получаем 403 ошибку.
Закрыли.
Они то закрыли (хотя часть файлов все же отдается), но гугл про них еще не забыл http://webcache.googleusercontent.com/search?q=cache:95QxOO6W9pUJ:https://www.fl.ru/docs/Free-lance_banners_requirements.doc+&cd=1&hl=uk&ct=clnk&gl=ua
Техзадания на habrastorage тоже отлично индексируются гуглом
Всего семь результатов. Может быть эти ссылки указаны прямо в заказе на фрилансим?
Судя по всему, именно там.
Вот для примера один из крайних заказов — freelansim.ru/tasks/104757
При создании заказа (который изначально виден всем, в том числе юзерам без подписки и прочего, и нормально индексируется) заказчику предлагается присоединить все нужные файлы к самому заказу с помощью habrastorage.
Личных сообщений на ресурсе нет. Найдя контакты друг друга, пользователи будут общаться по почте, скайпу и прочему. И в данном контексте лично у меня есть сомнения, что при таком общении для передачи файлов, которые хотелось бы оставить приватными, кто-то будет использовать habrastorage — скорее, это будет просто прикрепление файла к письму или же прямая пересылка в мессенджерах.
Вот для примера один из крайних заказов — freelansim.ru/tasks/104757
При создании заказа (который изначально виден всем, в том числе юзерам без подписки и прочего, и нормально индексируется) заказчику предлагается присоединить все нужные файлы к самому заказу с помощью habrastorage.
Личных сообщений на ресурсе нет. Найдя контакты друг друга, пользователи будут общаться по почте, скайпу и прочему. И в данном контексте лично у меня есть сомнения, что при таком общении для передачи файлов, которые хотелось бы оставить приватными, кто-то будет использовать habrastorage — скорее, это будет просто прикрепление файла к письму или же прямая пересылка в мессенджерах.
Он не только для иллюстраций? Круто. Я просто фрилансом не занимаюсь — не знал.
Сам habrastorage.org/ напрямую используется для загрузки графики к публикациям.
Помимо этого – загрузка других файлов (ТЗ к заказу на Фрилансим, макеты, прочее).
Помимо этого – загрузка других файлов (ТЗ к заказу на Фрилансим, макеты, прочее).
Гг)
https://www.google.com.ua/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:fl.ru+filetype:doc
https://www.google.com.ua/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:fl.ru+filetype:txt
https://www.google.com.ua/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:fl.ru+filetype:pdf
https://www.google.com.ua/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:fl.ru+filetype:doc
https://www.google.com.ua/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:fl.ru+filetype:txt
https://www.google.com.ua/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:fl.ru+filetype:pdf
Может Юля не знала, что Яндекс существует.
Теперь файлы не доступны из поисковика ((
Зато как оперативно поуадаляли все темы на FL с комментариями фрилансеров в блогах и в сообществе поддержки… не нравиццо гласность и демократия видимо…
Один неверно сформулировал вопрос, другая, как типичный представить ТП (понимайте эту аббревиатуру как хотите), не смогла понять, чего хотел сказать автор. Пример с vk.com вообще не верен. Да, их файлы не индексируются Яндексом, но они так же доступны по прямой ссылке, что Юлия вам и показала.
По-моему, то, что Яндекс индексирует аттачи — это следствие того, что аттачи доступны по прямой ссылке.
Можно возразить: «осильте robots.txt» — но, если я правильно понимаю автора, то претензия к fl.ru в том, что оказался опубликован документ, который стоит денег. Если поставить вопрос именно таким образом, то претензию (предложение) к fl.ru надо формулировать как-то так: «хей ребята, у нас тут доки, которые стоят денег, доступны без авторизации. Это значит, что любой, кто обладает прямой ссылкой (в следствии индексации, взлома почты, трояна, etc), может прочитать этот документ. Давайте-ка поправим».
В общем случае, при вашей постановке вопроса, можно ругаться на fl.ru примерно так же, как ругаться на дождь, который идет в выходные, хотя вы решили выехать на природу. А fl.ru рекомендую осилить кнопочку «передать на рассмотрение специалисту» в сервис деске и нанять того самого специалиста (вместе с его мозгами), который целый день будет разгребать подобные тикеты.
По-моему, то, что Яндекс индексирует аттачи — это следствие того, что аттачи доступны по прямой ссылке.
Можно возразить: «осильте robots.txt» — но, если я правильно понимаю автора, то претензия к fl.ru в том, что оказался опубликован документ, который стоит денег. Если поставить вопрос именно таким образом, то претензию (предложение) к fl.ru надо формулировать как-то так: «хей ребята, у нас тут доки, которые стоят денег, доступны без авторизации. Это значит, что любой, кто обладает прямой ссылкой (в следствии индексации, взлома почты, трояна, etc), может прочитать этот документ. Давайте-ка поправим».
В общем случае, при вашей постановке вопроса, можно ругаться на fl.ru примерно так же, как ругаться на дождь, который идет в выходные, хотя вы решили выехать на природу. А fl.ru рекомендую осилить кнопочку «передать на рассмотрение специалисту» в сервис деске и нанять того самого специалиста (вместе с его мозгами), который целый день будет разгребать подобные тикеты.
P.S. Мое мнение по поводу порталов для фриланса:
Я крайне редко находил вменяемых специалистов что на fl.ru что на фрилансим. Последний раз, когда искал крутого специалиста, нашел его на brainstorage предварительно потратив 3-е суток на переписку с потенциальными исполнителями. Куда большую конверсию и меньше проблем даёт размещение вакансии на hh.ru с пометкой «удаленная работа». В этом, кстати, есть ещё один плюс: работой может заинтересоваться хороший специалист, который не удовлетворен своей текущей работой и хочет её сменить, но устраивающих предложений пока нет, а фриланс он до моего предложения не рассматривал. Такой человек может, практически, фулл-тайм сидеть у себя в офисе и пилить мой проект, в отличии от фрилансера, у которого кроме табуретки на кухне и макбука может ничего и не быть.
Я крайне редко находил вменяемых специалистов что на fl.ru что на фрилансим. Последний раз, когда искал крутого специалиста, нашел его на brainstorage предварительно потратив 3-е суток на переписку с потенциальными исполнителями. Куда большую конверсию и меньше проблем даёт размещение вакансии на hh.ru с пометкой «удаленная работа». В этом, кстати, есть ещё один плюс: работой может заинтересоваться хороший специалист, который не удовлетворен своей текущей работой и хочет её сменить, но устраивающих предложений пока нет, а фриланс он до моего предложения не рассматривал. Такой человек может, практически, фулл-тайм сидеть у себя в офисе и пилить мой проект, в отличии от фрилансера, у которого кроме табуретки на кухне и макбука может ничего и не быть.
Насколько я понял, автор утверждает, что прямая ссылка, находящаяся ТОЛЬКО внутри приватной переписки, попадает в индекс поисковика. Поддержка утверждает, что этого не может быть и если прямая ссылка попала в индекс, значит, где-то ее засветили роботу (как мы знаем, сегодня ссылку засветить — раз плюнуть, т.к. каждый вебсервис от скайпа до гмейла считает своим долгом по этой ссылке сходить… на всякий случай). Разрешить этот спор в пользу автора невозможно, т.к. невозможно доказать, что ссылки НЕТ НИГДЕ. Но зато можно этот спор разрешить в пользу поддержки, найдя эту ссылку где-то в паблике и предоставив автору доказательства: ну вот видите, ссылка в паблике, поэтому и проиндексирована.
Возможность неавторизованного доступа по прямой ссылке — это совершенно отдельный вопрос, который может быть багом, а может быть фичей.
Возможность неавторизованного доступа по прямой ссылке — это совершенно отдельный вопрос, который может быть багом, а может быть фичей.
Я примерно об этом и говорю. Гнев автора праведен, но не справедлив :)
Если бы автор немного больше подумал о проблеме, то выступил бы именно с предложением добавить авторизации к вложениям.
И именно с ПРЕДЛОЖЕНИЕМ, т.к., как вы правильно говорите, нам не известно баг это или фича (хотя скорее баг, раз fl.ru его так быстро поправил).
Если бы автор немного больше подумал о проблеме, то выступил бы именно с предложением добавить авторизации к вложениям.
И именно с ПРЕДЛОЖЕНИЕМ, т.к., как вы правильно говорите, нам не известно баг это или фича (хотя скорее баг, раз fl.ru его так быстро поправил).
ну вот начинается игра слов: «праведен, но не справедлив»!)
Посмотрите с какой темой я вошёл в переписку с техподдержкой. Там всё детально расписано: аттачи из приватной переписки попадают в индекс. И мне кажется, что любой нормальный специалист техподдержки должен сразу же смекнуть насчёт утечки финансовой и перс.информации. Но не в этом случае, разумеется.
Что касается нашего с Юлией «холивара», то я согласен, там мы ушли в глубокую дискуссию. Но ещё раз повторюсь, проблема была озвучена максимально прозрачно.
P.S. надеюсь FL не станет увольнять Юлию. Ведь теперь она приобрела ценный опыт, который может применить в дальнейшей работе. Но провести воспитательную беседу считаю необходимым.
Посмотрите с какой темой я вошёл в переписку с техподдержкой. Там всё детально расписано: аттачи из приватной переписки попадают в индекс. И мне кажется, что любой нормальный специалист техподдержки должен сразу же смекнуть насчёт утечки финансовой и перс.информации. Но не в этом случае, разумеется.
Что касается нашего с Юлией «холивара», то я согласен, там мы ушли в глубокую дискуссию. Но ещё раз повторюсь, проблема была озвучена максимально прозрачно.
P.S. надеюсь FL не станет увольнять Юлию. Ведь теперь она приобрела ценный опыт, который может применить в дальнейшей работе. Но провести воспитательную беседу считаю необходимым.
Извините, я не хотел на вас «наезжать» :) fl.ru явно слажали, но вы, по-моему, адекватный человек и я просто не понимаю, почему, вы, преследуя определенную, несомненно благую, цель, так легко запутались в липких сетях службы поддержки. Думаю, что большинство из присутствующих на хабре понимают, почему саппорт работает именно так, как он работает, и, самое главное, что будет если саппорт будет работать нормально.
К fl.ru много вопросов:
— почему изначально не реализовали ограничение доступа к файлам?
— почему не прописали robots.txt?
— почему не обучили службу поддержки?
— почему не поблагодарили автора, а втихую накатили изменения?
— почему втихую накатили изменения, а не дали официальный ответ о том, что ничего с этим делать не собираются?
— другие вопросы.
Но и к вам (прежде всего, как к автору статьи, а не пользователю fl.ru, специалисту или просто человеку) у менять есть вопрос: почему, прежде, чем писать статью вы не посмотрели на ситуацию с разных сторон? Еще раз повторю, я не наезжаю на вас (а на fl.ru мне просто плевать), я просто ценю ваше время и указываю на ошибки, которые вы, по моему мнению, совершили. Естественно я понимаю, что и я сам и мои рассуждения не идеальны.
К fl.ru много вопросов:
— почему изначально не реализовали ограничение доступа к файлам?
— почему не прописали robots.txt?
— почему не обучили службу поддержки?
— почему не поблагодарили автора, а втихую накатили изменения?
— почему втихую накатили изменения, а не дали официальный ответ о том, что ничего с этим делать не собираются?
— другие вопросы.
Но и к вам (прежде всего, как к автору статьи, а не пользователю fl.ru, специалисту или просто человеку) у менять есть вопрос: почему, прежде, чем писать статью вы не посмотрели на ситуацию с разных сторон? Еще раз повторю, я не наезжаю на вас (а на fl.ru мне просто плевать), я просто ценю ваше время и указываю на ошибки, которые вы, по моему мнению, совершили. Естественно я понимаю, что и я сам и мои рассуждения не идеальны.
>почему, вы, преследуя определенную, несомненно благую, цель, так легко запутались в липких сетях службы поддержки
по долгу службы я привык общаться с изначально благонадёжным собеседником, который стремится меня понять. А здесь на 10-й минуте диалоге я начал чувствовать, что меня уводят в другое русло, но не придал этому должного внимания.
>почему, прежде, чем писать статью вы не посмотрели на ситуацию с разных сторон?
когда я понял что у меня нет возможности достучаться до технических специалистов, то взвесив риски, решился на «вынесение ссора из избы».
Коллега, я очень надеюсь что вы понимаете всю серьёзность ситуации, что под удар могла попасть не только финансовая сторона фрилансеров/заказчиков, но и безопасность их жизни в принципе. Я не преувеличиваю.
Представьте, что сильно недовольный клиент узнаёт адрес регистрации того или иного фрилансера… дальше сами можете продолжить :)
по долгу службы я привык общаться с изначально благонадёжным собеседником, который стремится меня понять. А здесь на 10-й минуте диалоге я начал чувствовать, что меня уводят в другое русло, но не придал этому должного внимания.
>почему, прежде, чем писать статью вы не посмотрели на ситуацию с разных сторон?
когда я понял что у меня нет возможности достучаться до технических специалистов, то взвесив риски, решился на «вынесение ссора из избы».
Коллега, я очень надеюсь что вы понимаете всю серьёзность ситуации, что под удар могла попасть не только финансовая сторона фрилансеров/заказчиков, но и безопасность их жизни в принципе. Я не преувеличиваю.
Представьте, что сильно недовольный клиент узнаёт адрес регистрации того или иного фрилансера… дальше сами можете продолжить :)
спасибо за замечание. Согласен, что с техподдержкой нужно было обсуждать какой-то один из вопросов:
а не сваливать всё в одну переписку.
- попадание в индекс непубличных аттачей
- доступ к документам по прямой ссылке
а не сваливать всё в одну переписку.
Я бы не стал этого делать, но разрешить вопрос в пользу клиента можно это очень просто. Надо опубликовать «запрещенные материалы» по ссылке и посмотреть как скоро fl заблокируют. И пусть они доказывают, что ссылку не размещали.
Если это баг, то Тех поддержка должна была адекватно отреагировать, до появления топика на Хабре.
Если это фича, то самое время писать в тех поддержку что их фича сломалась! Так как теперь ссылки не доступны.
Верните фичу обратно, я ещё не всю информацию от конкурентов получил.
Если это фича, то самое время писать в тех поддержку что их фича сломалась! Так как теперь ссылки не доступны.
Верните фичу обратно, я ещё не всю информацию от конкурентов получил.
Чего я в этой истории никак не пойму, так это того, почему многоуважаемая Юлия не догадалась создать пару тестовых аккаунтов и проверить самостоятельно, существует описанная автором проблема или нет. Казалось бы, чего проще: получил описание проблемы, воспроизвёл, отправил на вторую линию. Так нет же, усердная попалась какая…
По-моему, ответ очевиден: Юлии платят за ответы по инструкции.
Если Юлия начнет воспроизводить баги, это плохо отразится на её зарплате, которая, наверняка, привязана к автоматически сгенерированному отчету из сервисдеска. К Юлии, при таких условиях, по-моему, вопросов со стороны аудитории хабра быть не должно.
Если Юлия начнет воспроизводить баги, это плохо отразится на её зарплате, которая, наверняка, привязана к автоматически сгенерированному отчету из сервисдеска. К Юлии, при таких условиях, по-моему, вопросов со стороны аудитории хабра быть не должно.
А почему автоматический отчёт из сервисдеска не может включать в себя воспроизведение багов и обращение к специалистам второй линии?
По скриптам — это всё понятно. Но в этих же скриптах не может быть дэдлока! Один из скриптов должен был её привести к мнению, что лучше переключить на тестера, например.
Хотя если в скриптах задумывался дэдлок, и что Хабр используется как Багзилла — то у ФЛ всё в порядке
Хотя если в скриптах задумывался дэдлок, и что Хабр используется как Багзилла — то у ФЛ всё в порядке
Потому что это известный баг. Скорее всего из-за этого в robots.txt появились эти дурные правила на запрет индексирования документов разного вида. Службу поддержки скорее всего инструктировали делать вид, что всё хорошо. Скорее всего проблема в том, что для публичной и приватной статики используется общее хранилище, которое просто не умеет авторизовывать пользователей. И быстро это не исправить.
Когда общаешься с техподдержкой fl.ru по поводу багов в их системе, то всегда чувствуешь себя дурачком каким то, который несет чушь какуюто.
Умеют они поставить диалог отрицания.
Складывается что fl.ru и служба из техподдержки совершенно разные организации которые изолированы друг от друга
Умеют они поставить диалог отрицания.
Складывается что fl.ru и служба из техподдержки совершенно разные организации которые изолированы друг от друга
Закрыли даже те документы, которые нужны для примера в общей статье feedback.fl.ru/topic/492030-dokumentyi-v-bezopasnoj-sdelke/
st.fl.ru/about/documents/reserve_offer_agreement.pdf.
Понимаю закрыть дырку, но не вешать же такую заплатку
st.fl.ru/about/documents/reserve_offer_agreement.pdf.
Понимаю закрыть дырку, но не вешать же такую заплатку
Вот как закостылено сейчас:
nginx.conf: location ~ *.(doc|docx|xls|xlsx|ppt|pptx|rar|zip|pdf|txt)$ { return 403; }Хотя по хорошем надо было бы location ~ /users/*.(doc|docx|xls|xlsx|ppt|pptx|rar|zip|pdf|txt), потому что сейчас все заблочены все документы, включая общедоступны. И кстати
www.google.com.ua/search?q=site%3Afl.ru%20filetype%3Adoc&rct=j#q=site:feedback.fl.ru+filetype:pdf тут пока что не закрыто… Среди всего прочего — разные платежки и тп. причем в топе. Походу пользователи отписывались администрации или типа того…
www.google.com.ua/search?q=site%3Afl.ru%20filetype%3Adoc&rct=j#q=site:feedback.fl.ru+filetype:pdf тут пока что не закрыто… Среди всего прочего — разные платежки и тп. причем в топе. Походу пользователи отписывались администрации или типа того…
nginx.conf: location ~ *.(doc|docx|xls|xlsx|ppt|pptx|rar|zip|pdf|txt)$ { return 403; }
Этот конфиг тоже в яндексе сейчас нашёлся? :)
не, это гуглоукеш выдал, оригинал они уже заблочили, и тоже 403…
Прошу прощения за возможно глупый уточняющий вопрос, но каким образом удалось получить доступ (не важно в какой момент времени) к nginx.conf?
Т.е. его тоже можно было слить до закрытия дырки?
Т.е. его тоже можно было слить до закрытия дырки?
насчет выдачи конечно шутка :) но строку конфига получили логически — ответ отдает nginx (Видно из выданной страницы st.fl.ru/about/documents/reserve_offer_agreement.pdf), location ~ *.(doc|docx|xls|xlsx|ppt|pptx|rar|zip|pdf|txt) — все файлы с перечисленными расширениями (мы предполагаем, что ребята попытались закрыть максимум файлов), ну и { return 403; } — файлы то были, просто запретили доступ к ним.
Или же они просто выставили на папку ограниченные права :)
Или же они просто выставили на папку ограниченные права :)
Как обойти 403 Forbidden в firefox:
habrahabr.ru/post/253943/#comment_8346599
habrahabr.ru/post/253943/#comment_8346599
Возможно, эту Юлю вразумил бы факт, что в Яндексе уже тысячи таких документов.
Теперь вопрос — в чём Юля была не права? В переписке как раз она оперировала фактами, а не эмоциями, как вы все тут. Исправьте меня в каком-либо из пунктов, если я что-то не так понял:
1) Она с самого первого сообщения вам ясно дала понять, что документы есть в Яндексе и даже из приватной переписки только в случае, если робот увидел эту ссылку.
2) Она ясно дала понять что робот не видит эту ссылку из закрытой переписки на fl.ru, но может увидеть её в интернете. Для этого либо вы, либо ваш собеседник должны были выложить эту ссылку на любой странице индексируемой странице в интернете (её первое сообщение).
3) Далее, не получив вразумительного ответа, она спрашивает то же самое с другой стороны, мол, автор уверен что сам не размещал ссылку, а за своего собеседника он ручается на 100?
4) Автор неверно ответил на её вопрос, что мол из ссылки видно адрес профиля. Но это адрес профиля того, кто загрузил документ, а не того, кто выложил эту ссылку в интернет (неужели это не очевидно?)
5) Далее череда «про фому и емелю»
6) Финал — автор признаётся, что «сомневается», что собеседники выкладывали ссылки в интернет. Но он и не может быть уверен, это же другой человек. Юлия тем более ни за вас, ни за собеседника не ручается. На этом месте спор можно было завершить, Юлию признать правой.
А вы все тут устроили на неё нападки. Она совершенно не виновата, что разработчики FL.ru разрешают хотлинкинг на все файлы, она пыталась вам объяснить что такое хотлинкинг и как не стоит делать если он разрешён (не стоит выкладывать в сеть ссылки на ТЗ).
А автор мог изложить всю проблему одним предложением — у вас разрешён хотлинкинг на все файлы, даже из закрытой переписки. Следует запретить.
1) Она с самого первого сообщения вам ясно дала понять, что документы есть в Яндексе и даже из приватной переписки только в случае, если робот увидел эту ссылку.
2) Она ясно дала понять что робот не видит эту ссылку из закрытой переписки на fl.ru, но может увидеть её в интернете. Для этого либо вы, либо ваш собеседник должны были выложить эту ссылку на любой странице индексируемой странице в интернете (её первое сообщение).
3) Далее, не получив вразумительного ответа, она спрашивает то же самое с другой стороны, мол, автор уверен что сам не размещал ссылку, а за своего собеседника он ручается на 100?
4) Автор неверно ответил на её вопрос, что мол из ссылки видно адрес профиля. Но это адрес профиля того, кто загрузил документ, а не того, кто выложил эту ссылку в интернет (неужели это не очевидно?)
5) Далее череда «про фому и емелю»
6) Финал — автор признаётся, что «сомневается», что собеседники выкладывали ссылки в интернет. Но он и не может быть уверен, это же другой человек. Юлия тем более ни за вас, ни за собеседника не ручается. На этом месте спор можно было завершить, Юлию признать правой.
А вы все тут устроили на неё нападки. Она совершенно не виновата, что разработчики FL.ru разрешают хотлинкинг на все файлы, она пыталась вам объяснить что такое хотлинкинг и как не стоит делать если он разрешён (не стоит выкладывать в сеть ссылки на ТЗ).
А автор мог изложить всю проблему одним предложением — у вас разрешён хотлинкинг на все файлы, даже из закрытой переписки. Следует запретить.
Думаю сам факт того, что документы, загруженные в приватной переписке, доступны в поиске/другим пользователям, должен был ну как минимум насторожить. А первой реакцией должно было быть уточнение у более опытного/знающего в теме безопасности сотрудника. Но было как то так:
— Мои секретные документы доступны другим пользователям
— Да, Ваши документы доступны
— Мои секретные документы доступны другим пользователям
— Да, Ваши документы доступны
Отвечаю по пунктам:
1. Не переиначивайте. Вот что Юлия написала "Здравствуйте! Информация может быть доступна по прямой ссылке и проиндексирована лишь в том случае, если одна из сторон публично где-либо разместила эту информацию".
Это означает, что для того чтобы а) получить доступ к документу по прямой ссылке И б) чтобы документ попал в индекс необходимо выполнить условие — разместить этот документ где-либо публично. Как все мы поняли, это неправда. Документы становятся доступны по прямой ссылке и индексируются по умолчанию, в принудительном порядке, без участи пользователя.
Далее, на мой взгляд, уже нет смысл отвечать на пункты, но тем не менее, ситуация требует.
2. Дубль. См.п1.
3. Я ответил «Да, могу». Это, по-моему, я чётко написал.
4. Ок, согласен
5. Эмоции, эмоции, сэр.
6. Вот жеж! Как Вы меня ловко интерпретировали. Извините, но Вы теперь должны либо привести факты, либо Вы господин «соврамши».
Вся фабула доказательства невиновности FL.ru строится на изначально лживой гипотезе: "если документ появился в индексе и стал доступен по прямой ссылке — значит виноваты Вы или Ваш собеседник, потому что засветили в интернете ссылку на этот документ". Мы все уже здесь разбили данное доказательство с помощью фактов.
Согласен, что Юлия совершенно не виновата в ошибках разработчиков. Но абсолютно не согласен с утверждением "она пыталась вам объяснить что такое хотлинкинг и как не стоит делать если он разрешён (не стоит выкладывать в сеть ссылки на ТЗ)" потому что никто не выкладывал в публичный доступ ссылки на ТЗ. Поисковые движки сами нашли. Я делаю вывод, что Вы либо специально переиначиваете и жонглируете словами, либо банально не захотели вникнуть в проблему.
А проблему я изложил в 3-х предложениях, причём намного правильнее чем Вы. Я попросил "не индексировать скрытые (приватные) документы в Яндексе". Холинкинг здесь вообще ни при чём, это вторая проблема. Посмотрите на vk.com. Там все личные документы доступны по внешней ссылке, но при этом ни один из приватных документ НЕ индексируется.
1. Не переиначивайте. Вот что Юлия написала "Здравствуйте! Информация может быть доступна по прямой ссылке и проиндексирована лишь в том случае, если одна из сторон публично где-либо разместила эту информацию".
Это означает, что для того чтобы а) получить доступ к документу по прямой ссылке И б) чтобы документ попал в индекс необходимо выполнить условие — разместить этот документ где-либо публично. Как все мы поняли, это неправда. Документы становятся доступны по прямой ссылке и индексируются по умолчанию, в принудительном порядке, без участи пользователя.
Далее, на мой взгляд, уже нет смысл отвечать на пункты, но тем не менее, ситуация требует.
2. Дубль. См.п1.
3. Я ответил «Да, могу». Это, по-моему, я чётко написал.
4. Ок, согласен
5. Эмоции, эмоции, сэр.
6. Вот жеж! Как Вы меня ловко интерпретировали. Извините, но Вы теперь должны либо привести факты, либо Вы господин «соврамши».
Вся фабула доказательства невиновности FL.ru строится на изначально лживой гипотезе: "если документ появился в индексе и стал доступен по прямой ссылке — значит виноваты Вы или Ваш собеседник, потому что засветили в интернете ссылку на этот документ". Мы все уже здесь разбили данное доказательство с помощью фактов.
Согласен, что Юлия совершенно не виновата в ошибках разработчиков. Но абсолютно не согласен с утверждением "она пыталась вам объяснить что такое хотлинкинг и как не стоит делать если он разрешён (не стоит выкладывать в сеть ссылки на ТЗ)" потому что никто не выкладывал в публичный доступ ссылки на ТЗ. Поисковые движки сами нашли. Я делаю вывод, что Вы либо специально переиначиваете и жонглируете словами, либо банально не захотели вникнуть в проблему.
А проблему я изложил в 3-х предложениях, причём намного правильнее чем Вы. Я попросил "не индексировать скрытые (приватные) документы в Яндексе". Холинкинг здесь вообще ни при чём, это вторая проблема. Посмотрите на vk.com. Там все личные документы доступны по внешней ссылке, но при этом ни один из приватных документ НЕ индексируется.
1. Нет, она как раз и имела в виду, что в публичный доступ должна попасть ссылка, а не сам документ. Сам документ, по сути, сразу попадал в публичный доступ, как только вы его загрузили к ним на сервер. Просто никто туда не ходил и не знал, что есть такой адрес в интернете. На это, видимо, и рассчитывали легкомысленные разработчики.
То, что они становятся доступны по прямой ссылке сразу, я уже описал, а вот то, что индексируются «принудительно, без участия пользователя» — не факт. Смысл в том, что, чтобы цепочка замкнулась, и ваше ТЗ попало в индекс, робот должен найти -или- увидеть эту прямую ссылку. Способов того, как он её увидит и без участия пользователя, но в которых виноват пользователь — мильон. Начиная от использования Я.Браузера, заканчивая стрёмными расширениями с Я.Метрикой, установленными в браузере пользователя. Так или иначе, выяснить, кто скормил роботу ссылку — не представляется возможным, но, тем не менее, Юлия права, ссылка на файл стала публичной (публичной, т.к. её кроме вас двоих увидел ваш браузер или расширение). В некоторой степени всё в интернете можно считать публичным, поэтому это косяк FL.ru, что они полагались на «никто не увидит ссылку», но не Юля. Она просто описала как FL.ru работает.
То, что они становятся доступны по прямой ссылке сразу, я уже описал, а вот то, что индексируются «принудительно, без участия пользователя» — не факт. Смысл в том, что, чтобы цепочка замкнулась, и ваше ТЗ попало в индекс, робот должен найти -или- увидеть эту прямую ссылку. Способов того, как он её увидит и без участия пользователя, но в которых виноват пользователь — мильон. Начиная от использования Я.Браузера, заканчивая стрёмными расширениями с Я.Метрикой, установленными в браузере пользователя. Так или иначе, выяснить, кто скормил роботу ссылку — не представляется возможным, но, тем не менее, Юлия права, ссылка на файл стала публичной (публичной, т.к. её кроме вас двоих увидел ваш браузер или расширение). В некоторой степени всё в интернете можно считать публичным, поэтому это косяк FL.ru, что они полагались на «никто не увидит ссылку», но не Юля. Она просто описала как FL.ru работает.
Мы с Вами вряд ли сможем ответить на вопрос о том, каким же всё-таки способом Яндекс узнал UID документа и поместил этот документ в индекс. Это останется загадкой.
А вот что имела в виду Юлия, то здесь я могу судить лишь по её комментариям, где чётко написано, что причиной сбоя могли стать только либо я либо мой собеседник. Не исключаю, что имелось в виду клиентское ПО в том числе.
Как бы мы не спорили, результат один: FL.ru судорожно доработал систему безопасности. И это супер!
P.S. а перед Юлией я извинился ещё с утра, проинформировав, что вынужден опубликовать текст на хабре.
А вот что имела в виду Юлия, то здесь я могу судить лишь по её комментариям, где чётко написано, что причиной сбоя могли стать только либо я либо мой собеседник. Не исключаю, что имелось в виду клиентское ПО в том числе.
Как бы мы не спорили, результат один: FL.ru судорожно доработал систему безопасности. И это супер!
P.S. а перед Юлией я извинился ещё с утра, проинформировав, что вынужден опубликовать текст на хабре.
Мне как раз вчера указали, что Яндекс.Метрика по умолчанию отправляет все url на индексацию.
Нужно отключить самостоятельно эту функцию при установке счетчика на сайте. У fl.ru она включена, так что на индексацию отправляются все страницы сайта с метрикой.
Ну и, конечно, все ссылки проходящие через почту, скайп и т.д. тоже идут в поисковик. Полагаю, что fl.ru присылает на почту уведомления о новом загруженном файле с прямой ссылкой? Если так — то вот и ответ.
Невозможно в наше время оставить ссылку неизвестной. Всегда нужно исходить из того, что по любому адресу может зайти поисковик или любопытный юзер.
Нужно отключить самостоятельно эту функцию при установке счетчика на сайте. У fl.ru она включена, так что на индексацию отправляются все страницы сайта с метрикой.
Ну и, конечно, все ссылки проходящие через почту, скайп и т.д. тоже идут в поисковик. Полагаю, что fl.ru присылает на почту уведомления о новом загруженном файле с прямой ссылкой? Если так — то вот и ответ.
Невозможно в наше время оставить ссылку неизвестной. Всегда нужно исходить из того, что по любому адресу может зайти поисковик или любопытный юзер.
Открою вам глаза. Ссылку можно получить не только проиндексировав веб страницу в паблике, но и извлечь из IP пакета сканируя траффик. Сейчас извлечением ссылок из траффика ОБЯЗАНЫ заниматься все провайдеры в России с целью блокирования запрещенного контента. Поисковики подсуетились и покупают у провайдеров «обезличенные» логи посещений для составления профилей с целью показа таргетированной рекламы. Поисковики индексируют эти ссылки с той-же целью. Поисковики уважают robots.txt, но доступ к этим файлам не запрещен даже там.
Итого. Стоит единожды открыть этот файл, как он попадает в поисковый индекс.
Итого. Стоит единожды открыть этот файл, как он попадает в поисковый индекс.
Спасибо за ваш комментарий! Я уж думал было сошёл с ума и вижу не тот текст, который видит автор и другие комментаторы.
То, как вы поняли — это именно то, как оно есть. Это же так чертовски очевидно… да что с вами, люди?
Да, то что файлы доступны без аутентификации по прямой ссылке — это проблема и о ней отдельный разговор. Но почему Юле приходится объяснять «техническому специалисту» Александру одно и тоже несколько раз?
То, как вы поняли — это именно то, как оно есть. Это же так чертовски очевидно… да что с вами, люди?
Да, то что файлы доступны без аутентификации по прямой ссылке — это проблема и о ней отдельный разговор. Но почему Юле приходится объяснять «техническому специалисту» Александру одно и тоже несколько раз?
Такого полно. Вон на bgoperator.ru (сайт туроператора) такая же проблема. У них там можно скачать сканы паспортов всех клиентов. А из защиты только robots.txt. Писал им… реакция схожая. Безрезультатно. Хорошо хоть гуглом не находятся.
Как тот был баг: купил прошку и рейтинг перевалил вроде за 10 000. Я сразу на первом месте оказался, Но чего то не хотелось забавляться, написал в саппорт – быстро исправили.
Слава Богу, что пока наша доблестная налоговая полиция не пользуется всеми прелестями интернета. Что-то мне подсказывает, что не со всех заключенных безопасных сделок были заплачены налоги. И материал-то какой шикарный — тут тебе и заказчик и исполнитель и FL в роли посредника-свидетеля, и Яндекс, как всегда в белом пальто… Думаю, что пройдет немного времени, наши силовые структуры немного поднимут свой скилл обработки информации и после подобной утечки «фрилансеры» пойдут фрилансить принудительно, где-нибудь в тайге…
И да. Как я рад, что давно удалился с FL.
И да. Как я рад, что давно удалился с FL.
Вы прочли мои мысли ).
Простите, а вы считаете, что это хорошо, что со сделок не были заплачены налоги?
Поддерживаю последнее предложение. Там стало душно.
Увы, удаление аккаунта не гарантирует, что документы будут удалены. Я вот несколько раз просил удалить аккаунт и почту, но их рассылки все приходят и приходят. Не удивлюсь, если с файлами все будет точно также. Тот же vk картинки не удаляет из-за дефрагментации. Кто его знает, как все работает на FL.
valdikss@valaptop ~ % wget http://st.fl.ru/about/documents/reserve_offer_agreement.pdf
--2015-03-26 12:20:47-- http://st.fl.ru/about/documents/reserve_offer_agreement.pdf
Resolving st.fl.ru (st.fl.ru)... 62.213.65.151
Connecting to st.fl.ru (st.fl.ru)|62.213.65.151|:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2015-03-26 12:20:48 ERROR 403: Forbidden.
valdikss@valaptop ~ % wget --referer 'https://st.fl.ru' http://st.fl.ru/about/documents/reserve_offer_agreement.pdf
--2015-03-26 12:20:51-- http://st.fl.ru/about/documents/reserve_offer_agreement.pdf
Resolving st.fl.ru (st.fl.ru)... 62.213.65.151
Connecting to st.fl.ru (st.fl.ru)|62.213.65.151|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 310519 (303K) [application/pdf]
Saving to: ‘reserve_offer_agreement.pdf’
reserve_offer_agreement.pdf 100%[========================================================================>] 303.24K 102KB/s in 3.0s
2015-03-26 12:20:54 (102 KB/s) - ‘reserve_offer_agreement.pdf’ saved [310519/310519]
valdikss@valaptop ~ % wget --referer 'https://st.fl.ru' http://st.fl.ru/users/as/ashvedchikov/attach/f_79954f8ef977b3c1.pdf
--2015-03-26 12:22:58-- http://st.fl.ru/users/as/ashvedchikov/attach/f_79954f8ef977b3c1.pdf
Resolving st.fl.ru (st.fl.ru)... 62.213.65.151
Connecting to st.fl.ru (st.fl.ru)|62.213.65.151|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 896967 (876K) [application/pdf]
Saving to: ‘f_79954f8ef977b3c1.pdf’
f_79954f8ef977b3c1.pdf 100%[========================================================================>] 875.94K 139KB/s in 6.3s
2015-03-26 12:23:05 (139 KB/s) - ‘f_79954f8ef977b3c1.pdf’ saved [896967/896967]
valdikss@valaptop ~ %Zázraky!
cc: ProRunner IamKarlson eklmn Romanche Cybervizor savostin Gendalph
Бугагашечка
ValdikSS рано спалил, я ещё не весь индекс с яндекса слил :)
Интересно, быстро пофиксят или не следят за этим топиком :/
Интересно, быстро пофиксят или не следят за этим топиком :/
Уже представляю нервное гугление разработчиков способа прикрыть это…
Powned!
Юля уже поседела. Если бы сразу передала тикет выше, не было бы такого разбора полётов на Хабре.
С другой стороны сделала ресурс популярным, правда с плохой стороны.
Юля уже поседела. Если бы сразу передала тикет выше, не было бы такого разбора полётов на Хабре.
С другой стороны сделала ресурс популярным, правда с плохой стороны.
Для непосвященных, как обойти 403 Forbidden в firefox:
1. Идем сюда addons.mozilla.org/ru/firefox/addon/refcontrol/
и устанавливаем дополнение
2. Заходим в настройки RefControl и добавляем сайт и реферер как на картинке:
3. наслаждаемся просмотром документов по ссылкам из статьи и комментариев, например:
yandex.ru/yandsearch?lr=213&text=%D0%9F%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5%20No%201%20%D0%BA%20%D0%9E%D0%A4%D0%95%D0%A0%D0%A2%D0%95%20%D0%9D%D0%90%20%D0%97%D0%90%D0%9A%D0%9B%D0%AE%D0%A7%D0%95%D0%9D%D0%98%D0%95%20%D0%94%D0%9E%D0%93%D0%9E%D0%92%D0%9E%D0%A0%D0%90%20site%3Afl.ru
yandex.ru/yandsearch?text=%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D0%B7%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20site%3Afl.ru&lr=213&p=0
1. Идем сюда addons.mozilla.org/ru/firefox/addon/refcontrol/
и устанавливаем дополнение
2. Заходим в настройки RefControl и добавляем сайт и реферер как на картинке:
3. наслаждаемся просмотром документов по ссылкам из статьи и комментариев, например:
yandex.ru/yandsearch?lr=213&text=%D0%9F%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5%20No%201%20%D0%BA%20%D0%9E%D0%A4%D0%95%D0%A0%D0%A2%D0%95%20%D0%9D%D0%90%20%D0%97%D0%90%D0%9A%D0%9B%D0%AE%D0%A7%D0%95%D0%9D%D0%98%D0%95%20%D0%94%D0%9E%D0%93%D0%9E%D0%92%D0%9E%D0%A0%D0%90%20site%3Afl.ru
yandex.ru/yandsearch?text=%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D0%B7%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20site%3Afl.ru&lr=213&p=0
Ты только что окончательно добил Юлю…
Если честно, то мне наплевать на Юлю. Но то, что в публичном доступе остается такая критически важная информация и это вообще не волнует Fl.ru меня просто бесит. И это даже после того как были опубликованы способы элементарного обхода их примитивной проверки реферера. На их месте если бы я не мог закрыть такую дыру — я просто остановил бы сервера, не взирая на финансовые потери, т.к. потери пользователей несоизмеримо больше, но нет, они даже этого простого шага не сделали. Пришлось еще одну статью написать, может хоть теперь зачешутся: habrahabr.ru/post/254141/
FL это бесит? Нет. FL публично что-то опровергли или заявили? Нет. Это ли не повод задуматься о том стоит ли пользоваться сервисом?
отлично, спасибо за статью.
Меня удивляет не только (и не столько) молчание FL, как скорость и качество их реагирования на этот вопиющий случай. Такое чувство, что у них там команда админов на фрилансе. И техподдержка, разумеется, тоже на фрилансе.
Прям рекурсия.
Меня удивляет не только (и не столько) молчание FL, как скорость и качество их реагирования на этот вопиющий случай. Такое чувство, что у них там команда админов на фрилансе. И техподдержка, разумеется, тоже на фрилансе.
Прям рекурсия.
www.fl.ru/about/team/ похоже, админов в списке вообще не видно, а программист один, не густо
Кстати, насчет техподдержки. Похоже, что сайт ТП использует чужую платформу, надпись powered by UserEcho как бы намекает, как и dns. Учитывайте это при общении, в том числе оставляя там свои секретные ссылки.
Для пользователей chrome есть тоже расширение
Со стороны fl.ru, я так понимаю, до сих пор никакой официальной реакции?
да. Более того:
1. хабр не включает эту статью в список рассылаемых на почту
2. ни одно СМИ не подхватило
3. fl.ru мне ничего не пишет в топике тех.поддержки.
а между тем утечка произошла крайне серьёзная. Тем кто хотел, наверно уже воспользовались случаем.
Больше всего настораживает тот факт, что не слышны голоса фрилансеров или работодателей. То есть тех лиц, которые по факту потерпевшие.
Страна терпеливых молчунов.
1. хабр не включает эту статью в список рассылаемых на почту
2. ни одно СМИ не подхватило
3. fl.ru мне ничего не пишет в топике тех.поддержки.
а между тем утечка произошла крайне серьёзная. Тем кто хотел, наверно уже воспользовались случаем.
Больше всего настораживает тот факт, что не слышны голоса фрилансеров или работодателей. То есть тех лиц, которые по факту потерпевшие.
Страна терпеливых молчунов.
Для завершения картины осталось кому-нибудь выложить базу спарсенных документов
Утечка не только произошла, но продолжается!
Все документы по прежнему доступны, главное скормить fl.ru правильный реферер:
habrahabr.ru/post/253943/#comment_8346599
Все документы по прежнему доступны, главное скормить fl.ru правильный реферер:
habrahabr.ru/post/253943/#comment_8346599
2. ни одно СМИ не подхватилоВидимо, они теперь только geektimes читают %)
Я оболдеваю. )))))))) Весь FL в сети.
Этой проблеме, как уже писали, несколько лет. Я имел счастье года три назад общаться с поддержкой на эту тему, и получил практически те же ответы. Странно, что за это время не появилась полная база документов. И странно, что и тогда почти никто не обратил внимание из фрилансеров — повозмущались неделю, не больше.
«это печально» как сказал в своё время один молодой господин)
Дело в том, что нужно было ещё тогда несколько лет назад вынести эту проблему за радиус покрытия FL.ru, чтобы они чисто физически не могли воспрепятствовать распространению информации. Видимо тогда никто в Хабр так и не написал.
А между тем, сейчас на FL.ru мне как фрилансеру и как заказчику недоступны все три документа безопасной сделки:
Дело в том, что нужно было ещё тогда несколько лет назад вынести эту проблему за радиус покрытия FL.ru, чтобы они чисто физически не могли воспрепятствовать распространению информации. Видимо тогда никто в Хабр так и не написал.
А между тем, сейчас на FL.ru мне как фрилансеру и как заказчику недоступны все три документа безопасной сделки:
- Техническое задание
- Договор
- Соглашение
Наказали?
вряд ли. Это их экстренные меры по устранению утечки.
Мои слова подтверждаются хотя бы тем, что люди банально не могу узнать реквизиты из текста сделки: feedback.fl.ru/topic/673886-ne-mogu-poluchit-schet-na-oplatu-po-bezopasnoj-sdelke/
Мои слова подтверждаются хотя бы тем, что люди банально не могу узнать реквизиты из текста сделки: feedback.fl.ru/topic/673886-ne-mogu-poluchit-schet-na-oplatu-po-bezopasnoj-sdelke/
Все эти сервисы фрилансов уже на столько обожрались, что им абсолютно плевать на всех и на всё.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Критическая уязвимость в безопасности на fl.ru