• LizardFS — краткий обзор кластерной файловой системы
    0
    Один из проектов. 5 чанк серверов, общий объем 470 ТБ, 60 млн файлов раскидано на 150 млн копий. Мастер занимает 30 GB памяти, и надо еще столько же для ежечасного сброса дампа.
  • Битрикс24 CRM. Обзор
    +4
    Интересно, зачем в битриксе при подключении Google Drive надо давать разрешение на «Управление вашими контактами»
    Из-за этого в битриксе отсутствует совместное редактирование документов. Что делает абсолбтно непременимой как «корпоративный портал»
  • Arduino и Raspberry PI: заклятые враги или лучшие друзья?
    –1
    А я бы предложил еще в опрос добавить pcDuino3 — конкурент RPI с WiFi и SATA на борту, по той же цене и поддерживающий шилды от Arduino
  • В Исландии начинается бум строительства дата-центров
    +3
    До Лондона пинг 40мс, NY = 120 мс
  • Ликвидация Ассоциации пользователей криптовалют в РФ
    +1
    А некоторые высказывают сомнения в компетентности этих экономистов. Дефляционна модель подходит для рынка, но для здорового рынка, не заваленного зеленой мукулатурой из воздуха печатаемой. которая при этом распределяется среди особо приближенных, уменьшая накомпения тем, кому не достался кусок пирога из свеженапечатанной массы.

    На здоровом дефляционном рынке у людей не теряются накопления, а повседневные траты разумны, только то что надо и хочется. Люди не будут отказываться сходить в кино сегодня за 0.0011, если билет завтра будет стоить 0.001, просто потому чт осегодня вечер свободен и хочется отдохнуть. Дефляция приводит к разумности.
  • Что не так с интерфейсами авиасервисов и как это исправить: подход проекта Aviageek
    0
    спасибо за матрикс, и правда можно бОльший диапазон дат указывать и список аэропортов, удобно, хотя и им есть куда стремиться
  • Что не так с интерфейсами авиасервисов и как это исправить: подход проекта Aviageek
    +1
    А если этого нету, чем вы тогда отличаетесь? Самый частый use of case при поиске, и чего не хватает у других — это аэропорты рядом в радиусе пары часов езды и не +-1 день, а неделя как минимум, а иногда вообще без разницы когда лишь бы дешевле, например для перелета в новую зеландию в отпуск, когда отпуск можно согласовать, а вот цена билета различается в разы.
  • Что не так с интерфейсами авиасервисов и как это исправить: подход проекта Aviageek
    +2
    Разыне города очень важно в европе, например мне без разницы лететь со Штутгарта или Мюнхена (а вокруг есть еще Цюрих, Мемминген, Карлсруе-Баден) когда очень сложно найти рейс в определенный город с определенного аэропорта, типа Сингапура.
  • Ceph: Cloud Storage без компромиссов
    0
    А на MooseFS?
  • Как получить данные о 5 млн компаний через LinkedIn REST API или почему в OAuth лучше разрешать использовать Request Token только один раз
    +34
    Ссылка на базу то где? ))
  • Backend без проблем. Чудо или будущее?
    +1
    А можно как-то это у себя развернуть, а то получается на сторону отдаются доступ к серверам.
  • Расследование об информационной безопасности в Яндексе. Rdomn – скрытая угроза
    +8
    А самое интересное не написали — как модуль попадает на сервер?
  • Спортивная робототехника: интервью с участником RobotChallenge 2014
    +1
    А зачем мне лететь в Шереметьево, чтобы купить билеты в вену? ))) Мне на машине проще добраться. Не все же живут в дефолт сити, не всё крутится вокруг мкада.

    Сам спросил, Роланд ответил что вход бесплатный, регистрация не нужна.
  • Спортивная робототехника: интервью с участником RobotChallenge 2014
    +1
    Что-то на зайте не нашел, как туда обычным зрителям попасть. Где билеты брать, или вход бесплатный?
  • Как обеспечить надежное хранение больших объемов данных в рамках умеренного бюджета
    +1
    Надежность и настоящее самовосстановление — были главными критериями при выборе. После пары лет еб… и с гластером.

    Стабильность такая — ноды с данными, хоть режь, хоть коли, диски туда-сюда, всё пофигу, вообще. Сервер запросто можно положить на пару часов, ничего не будет. Всё восстановится/допишется после старта. Конечно если не ССЗБ, и не иметь реплики по одной копии. Я использую для некритичных данных двойную репликацию, для критичных тройную.

    Расплата конечно есть за это — надо самому писать скрипт переключения мастер-ноды на один из слейвов.

    Это в боевом применении с тремя контент-нодами и одним мастером (два слейва на паре контентных серверах держатся).

    Советуют мастер с ECC памятью, остальные можно хоть тазики, ФС на дисках любая. Использую везде ext4, также тестировал с zfs, но скорость ну очень не впечатлила.

    Посмотрел сейчас, 17.5 млн файлов, 41 млн чанков. Мастер съедает 8.6гига памяти.
    На запись вот сейчас сделал тест, на запись 48МБ/с, чтение 35мб/с, но это в боевом окружении, отключить не могу ))))

    Авторы говорят ворочают петабайтами на десятках-сотнях серверов. Пруф уже не найду.
  • Как обеспечить надежное хранение больших объемов данных в рамках умеренного бюджета
    0
    В чем преимущество по сравнению с бесплатной MooseFS?
    у меня уже почти год в работе, 160ТБ, легкость подключения/удаления дисков/серверов, самовосстановление, возможность указания количества реплик вплоть до файла, приемлемая скорость для веба (для бекапов тем более)
  • Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению
    +4
    Какая примерно цена, хоть порядок скажите, литр за доллар или за сотню.
  • Действующие криптовалюты помимо биткоина
    0
    upbit.org — выглядит как-то так:
    — нет динамики курсов, надо регистрироваться, чтобы просто быстро глазком взглянуть
    — нажимаю на большею кнопку «Аналитика» на главной — «Извините, ничего не найдено.»
  • poiskvps.ru — подбор виртуальных серверов по параметрам
    +1
    Вот еще интересный, по экзотическим VPS, 900 хостеров
    www.exoticvps.com/
  • Бэкап большого количества мелких файлов
    0
    посмотрите на MooseFS. У меня на трех бекенд-нодах пространство на 156ТБ (свободно 16ТБ), 17млн файлов.
    Довольно шустрая системка, а главное — стабильность при падении сервера, клиенты даже не замечают.
  • Бэкап большого количества мелких файлов
    0
    Пробовал в продакшене «ZFS on Linux» как основа ноды для MooseFS (для теста только на одной ноде, летом уже был как стейбл).
    через пару недель откатился на ext4.
    + пару процентов дает больше места с компрессией и включенной дедупликацией
    — много ест памяти
    — работает существенно медленнее
    — ест процессор больше
    — иногда посте ребутов были проблемы с поднятием
  • 5 причин учить детей программированию
    0
    Вот такие, как раз для маленьких
    www.play-i.com/
  • Система персонализации News360: ранжирование кластеров информации
    0
    То-то я запарился искать русский и немецкий
  • Система персонализации News360: ранжирование кластеров информации
    0
    в FF, предложился поставиться попап-баром сверху, как только зашел на news360.com. Ну я и подумал, что туда будет лента посылаться, что-то подобное, а его даже не видно
  • Система персонализации News360: ранжирование кластеров информации
    0
    Что-то ваш аддон не работает. Один раз показался и всё, непонятна его функциональность, как вызвать то попап на новости?
  • Синхронизация файлов между компьютерами в кластере
    0
    3 чанка, локальный гигабит. В основном все файлы по 3 копии, часть не особо важных по 2.
    Общее место на серверах 156 TB, свободного места 36 TB, 14млн файлов +1млн сейчас кандидаты на удаление.
    Мастер ест памяти 7.3 гига, скоростью довольны. Но тут зависит от применения — как весьма активное файлохранилище отлично, для образов виртуалок думаю не очень. Но тут я не особо спец.
    За нескольок месяцев эксплуатации были как медленные так и мгновенные умирания дисков, падения чанк-серверов — все работало отлично. Вот мастер еще не падал, так, перестартовывали припереносе на другой сервер. При этом все файловые операции у клиентов фризились.
  • В Госдуме предложили запретить хранить личные данные на зарубежных серверах
    0
    Если абстрагироваться от всех пунктов,

    >«По истечении 3-х месяцев получаешь немецкое в любом случае — достаточно указать, что была попытка отказа»
    В случаи с Российским гражданством и нормальным ПМЖ это не работает. Потому что они знают, что Россия «отпускает».
  • В Госдуме предложили запретить хранить личные данные на зарубежных серверах
    +1
    Я точно не знаю, но могу предлопожить, что лиц без гражданства не могут просто так выпнуть из страны. «Некуда»
    Поэтому много беженцев выкидывают свои паспорта и остаются в германии, пока службы пытаются выяснить «откуда» и «чей» он. А не выяснят, оставляют
  • В Госдуме предложили запретить хранить личные данные на зарубежных серверах
    0
    Точно так же как и гражданам других государств. Никто не отпустит пока не уверен, что где-то подберут.
  • В Госдуме предложили запретить хранить личные данные на зарубежных серверах
    0
    Наличие ИНН необязательно, оно было введено относительно недавно.
    Надо просто послать запрос письменно в центральное налоговое управление, они через месяц присылают справку об отсутствии задолженностей. Там стандартная форма, главное только послать в москву в центр, а не в область откуда увезли — в глубинках обычно такие справки выдают не того образца, что принимается консульством. А москва выдает всем и правильно.
    И ничего это не стоит. Образца такого письма и адрес можно на германке найти.
  • В Госдуме предложили запретить хранить личные данные на зарубежных серверах
    0
    У вас абсолютно неверная информация.

    1) Срока не даются на отказ, дается срок действительности Einbürgerungszusicherung. Это два года.

    2) У Ausländeramt есть списки проблемных стран, из гражданства которых выйти почти нереально. России там нет. А есть что-то из азиатского, то ли Узбекистан, то ли Туркменистан. Вот в этом случае можно даже не пытаться отказываться и так дадут.

    3) Российские консульства без проблем принимают заявления на выход для тех, кто состоит на учете (практически все с пмж).
    При этом действует упрощенная процедура. И сроки по закону(!) не более 6 месяцев.

    4) Да, из налоговой нужна справка об отсутствии задолженности. Но с прошлого года не обязательно, потому как консульства подключены к единой системе информационного обмена и сами ее могут получать. Достаточно знать свой ИНН. Хотя наличие справки как они сами говорят, ускоряет процедуру.

    5) «попытки» отказа недостаточно. Тут уже индивидуально рассматривается каждый случай и ВСЕ документы что есть, вся переписка с консульствами и решение + см пункт 2.
  • Распределенная файловая система Ceph FS за 15 минут
    0
    да, отзывы именно о cephfs, а вглубь уже не интересно, если на этом уровне работает нестабильно.
    Выглядит конечно ceph привлекательно, похож тот же музе, но говорят пока рано в продакшн. А музе работает уже у многих годами, недовольных не встречал, если есть голова на плечах (например не ставить goal=1, а потом сокрушаться куда же файлы пропали при вылете диска).
  • Распределенная файловая система Ceph FS за 15 минут
    0
    Да, это костыль, как расплата за стабильность и надежность. И это единственный фактор для меня, который играет наивысшую степень — данные должны жить, быть доступными и не испорченными при любом катаклизме. Поэтому я не даже не ставил ceph, достаточно просто отзывы о надежности почитать.

    Сплит-брейна не существует, это не гластер.

    Насчет разделенно сети, всё не так — вторичный мастер прежде чем подняться должен проверить агентов на доступность на всех сегментах.
    У меня проще — все сервера к одному свитчу подключены, нет разнесения по стойкам, поэтому достаточно просто другой металоггер проверить и убедиться что упал именно основной мастер.
  • Распределенная файловая система Ceph FS за 15 минут
    0
    Операции не обрываются, они «замирают» пока новый мастер не поднимится, подхватывается он автоматически, для клиентов это выглядит как временный фриз. Падение чанк-серверов вообще не заметно, как и дисков на них.
    Сплин-брейна нет как такового, т.к. метасервер только один + сколько захотите металоггеров, которые при падении мастера можно превратить в мастера.

    Музе не без минусов, и мастер-сервер без автофаиловера — его единственный минус мной обнаруженный.
    Они у себя советуют использовать ucarp, что я нахожу неприемлемым.
    У себя организовал ежесекундный мониторинг с проверкой как по живучести IP, так и на уровне работоспособности порта мастер-процесса.
    Переключение металоггера в мастера происходит только если кроме фиксирования падения мастера, видны другие металоггеры и не пингуется IP мастера, что исключает сплин-брейн полностью. На мастере тоже мониторинг, который освобождает IP, если мастер-процесс не отвечает.

    Посмотрите еще здесь начиная отсюда и вниз:
    habrahabr.ru/post/178533/#comment_6196527
  • Распределенная файловая система Ceph FS за 15 минут
    0
    Для тех кому уже для продакшена надо подобное и к тому же стабильное — посмотрите на MooseFS
  • Синхронизация файлов между компьютерами в кластере
    0
    У нас клиенты — это 6 серверов, чтение/запись примерно 70/30.
    Есть один юзер, которые на трех серверах генерирует за пару дней миллион файлов, на несколько ТБ, а потом их скопом удаляет.
    Все это работает шустро, особенно файловые операции, так как удаление происходит в памяти метасервера, а он уже потом в бекграунде потихоньку чанки удалет на контентных серверах.
    Делал тест на запись на уже рабочем кластере — 30-50мб/с, при двойной копии, при этом еще соседние сервера писали туда рсинком контент с гластера.
  • Синхронизация файлов между компьютерами в кластере
    +1
    С второй версией:
    1) частые падения клиентской части
    2) как я уже писал — потеря на одной из зеркальных нод 10ТБ за несколько минут, пришлось восстанавливать из второй копии — внутренняя репликация не работала. Тикет делал когда они еще гластером были без редхата, ничего не решилось. Такое было 2 раза за два года, стоило больших нервов.
    3) Падения при высоких параллельных нагрузках. Так как повторить было очень легко, то включив дебаг режим, отсылал в баг-репорт всё что мог, вплоть до корки. Также письмами туда-сюда с разработчиками, результат тот же — не решено.
    С третьей версией хватило постоянных падений клиентской части и недоступности части контента, то он есть, то он есть только в мечтах.

    Что мне в музе не хватает по сравнению с гластером — это чтобы к файлам можно было обращаться напрямую. Там файлы бьются на чанки по 64мб и раскидываются по дискам одного сервера.
    Правда у этого решения есть ОЧЕНЬ большое преимущество — не надо (а даже и очень вредно) под систему делать рейды, а значит больше места под файлы вместо чексумм. При падении диска, данные которые на нем должны быть в фоне копируются с копий, при этом не надо насиловать все(!) диски как в рейде5/6, а происходит копирование только реальных кусков.

    Если параллельное чтение разных файлов, то скорость больше, за счет того что они просто на разных дисках.

    На самом дуле у музе много плюсов, которые с лихвой перекрывают для меня незначительные недостатки:
    1) Наличие только одного метасервера и ручное/самописное переключение на один из металоггеров металоггер(как слейв)
    2) Для метасервера надо много памяти. В памятке они пишут про 300мб/1млн файлов, в реальности народ говорит надо 500мб, у меня столько примерно и выходит. Сейчас 8.5млн файлов, процесс занимает почти 4ГБ. Также надо иметь реальную+своп по формуле сколько ест памяти*2, потому как форкается процесс каждый час для бекапа метаданных. И хотя реально он не потребляет столько, но ОС начитает тормозить если меньше двойной памяти. Сам не сталкивался, но в рассылке есть упоминания. Плюс желательно хранить файлы структур на ссд диске.

    Может быть напишу небольшую статью, уже поподробней, настолько мне она понравилась после тестирования, особенно поведение при сбоях дисков/серверов (клиенты этого вообще не замечают)
  • Shodan – самый страшный поисковик Интернета
    0
    скриншот не забудьте сюда выложить!
  • Синхронизация файлов между компьютерами в кластере
    0
    Не пару лет назад, а пару лет работали, вот только месяц назад начали миграцию на музе. А с гластером спасибо, наелся, и с 2й веткой, и с последней 3.3.1
  • Синхронизация файлов между компьютерами в кластере
    0
    Забыл добавить, что после мытарств с гластером, искал по всему интернету с упором именно на надежность