Обновить
9
Вадим Нестеров@nucleusv

Пользователь

4
Подписчики
Отправить сообщение
Вы издеваетесь такое писать на PHP?:)

function getJson($items, $name) {
        $first = 1;
        print "{\n";
        print "\t\"data\":[\n\n";
        $lastitem = end($items);
        foreach ($items as $item) {
                if ($item != $lastitem) {
                        if (!$first) {
                                print "\t,\n" ;
                                $first = 0;
                        }
                        print "\t{\n";
                        print "\t\t\"{#$name}\":\"$item\"\n";
                        print "\t},\n";
                } else {
                        if (!$first) {
                                print "\t,\n" ;
                                $first = 0;
                        }
                        print "\t{\n";
                        print "\t\t\"{#$name}\":\"$item\"\n";
                        print "\t}\n";
                }
        }
        print "\n\t]\n";
        print "}\n";
}


есть встроенная функция json_encode()

Расскажите для каких задач использовали InfiniDB? На каких объемах данных? Ваше мнение о БД?
Да ессно сделать партиционирование с автоудалением партиций и сделать stackoverflow.com/questions/21586298/tokudb-sorting-time-different-between-asc-vs-desc
в конфиг сервера.

Мы еще пару индексов стандартных сделали clustering=yes.
Но есть маленький затык, сейчас будем обновляться до 2.4, а там сервер сам создает временные таблицы и вот как то пока не уверены как пройдет :)
Если не собираетесь использовать galera master-master replication, то Вам сюда MariaDB+TokuDB. После Токи забыли, что такое InnoDB
Сейчас такие вещи делают на fluentD, Kafka, Amazon Kinesis
Скажите какие параметры были компрессии? Сколько ядер было в системе? Какое кол-во NVS в zabbix. Какое кол-во inserts, updates в секунду?
А сколько в граммах, и скажите сколько одновременно льющих соединений.
Вы мне весь мир DWH сломали со своим локом.
Был на highload, Николай Голов из Avito. И я спросил, откуда у вам могли взяться локи таблиц, и он сказал, что нужно смотреть в сторону Transaction Isolation Level потому, что есть глюк у JDBC драйвера выставлять не READ COMMITED
Надеюсь ничего не переврал. :)
Тогда будем ждать статью ;)
Не пробовали voltdb.com?
Мне прям кажется это под ваши задачи.
Сейчас есть мысль старые данные убирать куда-то, но думаем про amazon redshift


Работаете на бесплатном комьюните терабайте? :)
Мне почему кажется, что да, если у вас есть постоянные запросы с не меняющейся функцией агрегации, то наверно есть смысл превратить его pre-join projection, и это проекция будет пересчитываться, про обновление таблицы фактов
vertica.tips/2014/03/05/pre-join-projections-overview/
Значит им нужно подтюнить Tuple Mover, чтоб пореже переливал из WOS в ROS
Я вот тоже не понял где у них LOCK то возникает, если у них это COPY то по дефолту он в WOS загружает. И не должно быть никакого лока.

А у вас 25 млн строк это в мегах сколько?
А все увидел у вас метод DIRECT, да он сразу в ROS грузит, и рекомендуется при загрузке файлов более 100 мегов.
«После всех манипуляций, предыдущий запрос превратился в простой» и что такое проекции вы не читали?
«Vertica блокирует таблицу во время записи;»
вы, что данные INSERT вставляете?
Яндекс как всегда: не прошло и сто пяти лет…

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность