А зачем на файлопомойке урезать ARC? Мне для общего развития… На Linux я его подрезал до 75% исключительно из-за того, что он (linux) иногда начинает драться с ZFS за память. Если их растащить таким способом, всё становится нормально (debian 7, давно дело было). Но до 25% это террор, особенно если учесть, что ARC сильно продвинутее чем кеш ОС.
Живу на 4 Гигах на машине с второй корой дуба (Core2 Duo) диски на родном контроллере чипсета. Всё в норме, память оно жрёт, но если нужно отпускает. Правда есть некоторый чит, живу я на FreeBSD. ZFS может работать и с 2-я гигами памяти, весь вопрос в том, что при меньшем количестве памяти, будут больше работать диски. 8 Гигов — это для файлопомойки достаточно много, если при этом диски не в raidz и их не много, смысла в этом большого нет ИМХО.
Что-то пошло не так, ZFS использует deadline в качестве планировщика и никогда не кладёт диски в полку на 100%. Может подтормаживать ввод-вывод, но совсем капец наступить не должен. Отзывчивость чтения должна быть на уровне. Можно попробовать recordsize увеличить, если включён large_blocks `zfs get feature@large_blocks $dataset_name` то можно поставить 1 Мбайт. Это уменьшит количество запросов блоков (в среднем один блок в торрентах где-то 1-4 Мбайта) и разгрузит очередь. Но у меня ZFS диски не ложил. XFS легко, EXT4 — это его нормальное состояние, ZFS никогда.
Вот интересно, а что они будут делать, если Яндекс и иже с ним посчитают, что индексировать данный контент себе дороже, и будут выкорчёвывать всё из индексов, что не относится к их собственным ресурсам (Кинопоиск индексируем, а остальное знать не знаем), при этом сохраняя качество индексирования по иностранной интеллектуальной собственности? Выходить на Болотную с криками «Нас гнобят!»… Толпа непуганых, неорганизованных идиотов…
У меня пара вопросов:
1. Зачем нормально спроектированной базе нежен частый Merge, и почему insert… on conflict… в PostgreSQL в этих случаях не может справиться?
2. Чем RESULT_CACHE так лучше обычных материализованных представлений, кроме может ленивости и отсутствия необходимости следить за представлением.
Кроме того замечание о неверном выборе базы порадовало. Мне видится крайне маловероятным, что почта Яндекса жила на Оракле просто потому, что кому-то очень понравилась идея заплатить этой компании. Следует признать, что за PostgreSQL в последнее время взялись основательно, и много чего туда добавили. ИМХО, именно рост этой БД и попадание её по своим возможностям в список альтернатив для перехода в крупных проектах и стало причиной бодрого переезда на эту БД.
Социализм — это когда предприятия работают в интересах общества в целом а не ограниченной группы собственников, и глубоко без разницы, кто ими управляет. А когда фабрика принадлежит рабочим — это не социализм, это ЗАО. И кажется, что подобные неточности в интерпретации и делают из социализма нечто страшное, красное и злобное.
Как открыть двери западным инвесторам, и при этом остаться со своей культурой, своими традициями и текущей политической системой. У Японии вышло, у Китая вышло, нам нужно долго и упорно этому учиться. Мы по этим граблям 2 раза ходили, и шишек от этого меньше не стало, образовательный элемент никакой.
Так что OpenJDK должен выжить, слишком много заинтересованных сторон, кто подсел «на иглу» JVM: IBM, Redhat, Google(Android)…
Хотелось бы, чтобы эта частичка Sun также ушла в народ и прижилась там лучше чем Solaris и Sparс… Если сообщество не убережёт java при всём том, что уже имеется — это будет несмываемым позором…
В том то и дело, что OracleJDK идёт в сторону Oracle-междусобойчика, в который они могут вносить всё что им хочется и неплохо играть на лицензиях. Если сообщество не займётся OpenJDK и не вытянет его на уровень благопристойности — быть беде. Спать на шее у Голиафа не выйдет, Голиаф уже не тот. Важно не проспать этот момент.
25 баксов за ядро или 2,5 за пользователя ИМХО дофигища. Возможно в эту цену заложено то, что весь зоопарк, основанных на JVM больших проектах мигрируют в OpenJDK. Ничего больше не приходит в голову, чтобы объяснить, как собирается Oracle собирать данные деньги со всего что понавёрнуто на Hadoop, Elastic и прочем. Это всё станет резко не рентабельным если начать задумываться о процессорных ядрах и пользователях.
С другой стороны, возможно Oracle хочет расчистить либеральное java-движение, вытолкнув его в OpenJDK, а самим сосредоточится на вкусных толстых интерпрайзах, подгоняя платформу под них. Рынка остаётся мало, зато он спокойный и высокомаржинальный. При плотной поддержке платформы в кремнии, которую они вполне могут реализовать спарками, может быть даже очень перспективно.
Правда платформа выживет только в том случае, если все заинтересованные соберуться и доведут до ума OpenJDK. В противном случае скорей всего придёт java-капец. Положительный пример есть, тот-же PostgreSQL сейчас крайне здорово растёт, поскольку крупным игрокам легче довести до ума его, чем изворачиваться под лицензии баз данных Oracle, что не мешает самому Oracle вполне неплохо чувствовать себя и зарабатывать на тех, кому он сильно нужен, а нужен он многому и многим.
В гос. секторе не называют ОС Windows вредоносной, а тихо пилят линукс и гоняют его через сертификацию ФСТЭК. Боятся нормально, под это каждая уважающая себя компания имеет целую Службу информационной безопасности, которая боятся чуть более чем всего. А страны под это держат целые организации. Если говорится о сертификации и отклоняется продукт по конкретным требованиям, в которых даже можно упомянуть о разработке соответствующих решений в пределах Евросоюза, это нормально. Но вместо этого выпускается список прокажённых, и это не нормально, особенно в такой подаче без фактов.
Нет, Вы не совсем правы. Да меня задевает, что данное решение косвенно бьёт по России, но её так часто пинают, что уже привыкли. Меня больше всего задевает, что скандал с подслушиванием разговоров Меркель не привели ни к чему особому, скандал с заложенными АНБ закладками и дырами, которые использовались в их интересах не вызвал распятия Microsoft или чего-то подобного (как например после подозрений на закладки в OpenBSD народ бросил всё и прошерстил код вдоль и поперёк). За позицию Apple по нераскрытию данных террориста, их даже пнули пару раз (хотя по мне, в данном случае закладка быть должна). Только богу известно, чем нафаршированы китайские системы на чипе, которыми фаршируют чуть менее чем всю умную электронику. При этом при всём Касперский выставляется как ПО с ПОДТВЕРЖДЁННОЙ (как указал уважаемый комментатор выше) вредоносностью.
Эта новость была бы не заметна, если бы Европейцы честно признали, что они боятся Российский софт. Боятся их право. У нас от страха собственные процессоры пытаются делать, и я таки понимаю кому и зачем это нужно, и да вопрос не про распилы. Здесь мало технологий и много политики. Касперский не свят, но есть зло и пострашней Касперского, которое никто не хочет замечать.
А тем временем основная проблема для сетей не «подтверждённая» вредоносность касперского, а тонны говнороутеров, говно-камер и иного дешёвого барахла, которые по-умолчанию открыты для взлома и готовы стать участниками любого ботнета, тучи шифровальщиков. Обе этих проблемы нанесли экономике ущерба, кажется, больше чем всё остальное вместе взятое. А количество устройств к сети подключённых растёт, как и ширина каналов домохозяйств, и скоро от DDoS не будет спасать ничего. Но крестовый поход Европой объявлен cookie-файлам и Касперскому. И это как раз бесит нещадно.
Единственная мне известная разборка с касперским была в США. И там дело было больше не в самом касперском а его Российском происхождении. Если данное решение основано на том памятном разбирательстве, то вызывает вопрос глубина анализа. Прямых доказательств против касперского насколько я знаю нет, в противном случае его в бизнесе бы не было…
Про экспертное мнение, Вы меня порадовали. Экспертное мнение — не божий суд, его высказывают эксперты, которые являются людьми и могут иметь как заинтересованность, страх так и просто ошибаться… Базироваться на экспертном мнении нужно уметь, это искусство а не математическое суммирование и взятие среднего или максимума.
Мне всё-таки кажется что в решении о касперском больше политики, чем чего-то конструктивного…
Как месье может после последнего пункта вообще пользоваться компьютером. Ибо всё в этом мире сделано в Китае или из китайского. А там с этим почище чем у нас на минуточку… Я уже не говорю, что про невмешательство американской спецуры в дела софтверные ещё Сноуден рассказывал, с документами…
Завидую романтикам, они живут долго, болеют меньше, стрессов у них нет, и спят они хорошо. Как стать романтиком?
А вообще, если бы все решения на этой бренной земле принимались взвешено, и на чаше весов не было бы мелочных личных целей и банальной безграмотности, мы бы уже летели к Альфа-Центавре, а люди наблюдали бы за процессом с 3-4-х планет солнечной системы…
Либо пока будут просить, попадут на здравомыслящего человека и у нас рядом с другими конгломератами будет «Объединённая корпорация по созданию ПО в области безопасности». Куда сольют Касперсокго, веба, всякое про защиту сетей и VPN-ы…
Всякое может быть… В конце концов, Цивилизованный мир ясно показывает, что не все на рынке одинаково равны и чтобы быть равнее нужно создать свой и обнести его тремя заборами с колючкой и под током…
NVMe — это не диск, это скорее промежуточный тип памяти между оперативой и дисками. Если использовать RAM-диски, можно вообще в качестве ФС использовать что-то крайне тривиальное а IOPS-ы там будут «дай бог каждому»(с). Вот только это всё специальные решения, слабо подходящие под достаточно большие данные, если у Вас конечно не имеется небольшого золотого прииска в личном владении…
Чтобы 2 блока были признаны дублями, их нужно сравнить нос-к-носу, во всех остальных случаях есть шанс сюрприза. Размещение баз данных на чём-то, что считает нечто перед записью — изощрённая форма мазохизма. Я подобное кладу только на зеркало или 10-тку. А Вы предлагаете перед каждой записью блока (внимание, журнал транзакций пишется крайне часто и ни один коммит не пройдёт если он не упал на диск в журнал) считать его хеш (у вас всё железо поддерживает ускорение SHA256 или SHA512, да бог с ним, пусть будет MD5, но его тоже считать нужно) потом поискать в хеш таблице (а памяти у вас хватит на её хранение, и там останется место для БД) а потом считать блок с диска и сравнить. Если Вы этого не делаете, у вас вполне себе на диске лежит мусор. Дедупликация это либо файлопомойка, где ничего больше не работает, и есть возможность выноса хеш-таблицы на тот же SSD, причём желательно не по SAS/SATA подключённый либо система обладающая хорошим контроллером с валом быстрой памяти. Если смотреть на тяжёлые NAS-ы крупных вендоров, там в качестве контроллеров используются машины, которые не каждый себе под сервисы покупает… и это всё, чтобы возится с дедупликацией проверять целостность и иное. На локалхосте нормально всё это будет работать лишь тогда, когда дисками у нас будет заниматься железка, не намного слабее той, что за графику отвечает…
Все эти сервисы очень хороши и крайне полезны в народном хозяйстве, вот только цена их местами не оправдана.
1. Зачем нормально спроектированной базе нежен частый Merge, и почему insert… on conflict… в PostgreSQL в этих случаях не может справиться?
2. Чем RESULT_CACHE так лучше обычных материализованных представлений, кроме может ленивости и отсутствия необходимости следить за представлением.
Кроме того замечание о неверном выборе базы порадовало. Мне видится крайне маловероятным, что почта Яндекса жила на Оракле просто потому, что кому-то очень понравилась идея заплатить этой компании. Следует признать, что за PostgreSQL в последнее время взялись основательно, и много чего туда добавили. ИМХО, именно рост этой БД и попадание её по своим возможностям в список альтернатив для перехода в крупных проектах и стало причиной бодрого переезда на эту БД.
Хотелось бы, чтобы эта частичка Sun также ушла в народ и прижилась там лучше чем Solaris и Sparс… Если сообщество не убережёт java при всём том, что уже имеется — это будет несмываемым позором…
С другой стороны, возможно Oracle хочет расчистить либеральное java-движение, вытолкнув его в OpenJDK, а самим сосредоточится на вкусных толстых интерпрайзах, подгоняя платформу под них. Рынка остаётся мало, зато он спокойный и высокомаржинальный. При плотной поддержке платформы в кремнии, которую они вполне могут реализовать спарками, может быть даже очень перспективно.
Правда платформа выживет только в том случае, если все заинтересованные соберуться и доведут до ума OpenJDK. В противном случае скорей всего придёт java-капец. Положительный пример есть, тот-же PostgreSQL сейчас крайне здорово растёт, поскольку крупным игрокам легче довести до ума его, чем изворачиваться под лицензии баз данных Oracle, что не мешает самому Oracle вполне неплохо чувствовать себя и зарабатывать на тех, кому он сильно нужен, а нужен он многому и многим.
Эта новость была бы не заметна, если бы Европейцы честно признали, что они боятся Российский софт. Боятся их право. У нас от страха собственные процессоры пытаются делать, и я таки понимаю кому и зачем это нужно, и да вопрос не про распилы. Здесь мало технологий и много политики. Касперский не свят, но есть зло и пострашней Касперского, которое никто не хочет замечать.
А тем временем основная проблема для сетей не «подтверждённая» вредоносность касперского, а тонны говнороутеров, говно-камер и иного дешёвого барахла, которые по-умолчанию открыты для взлома и готовы стать участниками любого ботнета, тучи шифровальщиков. Обе этих проблемы нанесли экономике ущерба, кажется, больше чем всё остальное вместе взятое. А количество устройств к сети подключённых растёт, как и ширина каналов домохозяйств, и скоро от DDoS не будет спасать ничего. Но крестовый поход Европой объявлен cookie-файлам и Касперскому. И это как раз бесит нещадно.
Про экспертное мнение, Вы меня порадовали. Экспертное мнение — не божий суд, его высказывают эксперты, которые являются людьми и могут иметь как заинтересованность, страх так и просто ошибаться… Базироваться на экспертном мнении нужно уметь, это искусство а не математическое суммирование и взятие среднего или максимума.
Мне всё-таки кажется что в решении о касперском больше политики, чем чего-то конструктивного…
А вообще, если бы все решения на этой бренной земле принимались взвешено, и на чаше весов не было бы мелочных личных целей и банальной безграмотности, мы бы уже летели к Альфа-Центавре, а люди наблюдали бы за процессом с 3-4-х планет солнечной системы…
За что все не любят Касперского?..
Всякое может быть… В конце концов, Цивилизованный мир ясно показывает, что не все на рынке одинаково равны и чтобы быть равнее нужно создать свой и обнести его тремя заборами с колючкой и под током…
Все эти сервисы очень хороши и крайне полезны в народном хозяйстве, вот только цена их местами не оправдана.