«Хранимые процедуры» в Redis

Нет. У меня была только одна база без слейвов. В ней было 700 млн ключей(примерно 60 Гб), удалил я в итоге 550-570 млн ключей. Версия редиса 2.6.16.

«Хранимые процедуры» в Redis

Я не в рамках этой программы сначала использовал для подключения к редис gopkg.in/redis.v3, но этот оказалось полное извращение. (Отдельная функция для каждой команды редис. Причем каждая возвращает свой набор параметров.) Уже потом увидел более-менее сносный radix.v2 По поводу Redigo — его еще не смотрел, только читал, что он быстрее.

«Хранимые процедуры» в Redis

Я именно что использовал SCAN чтобы найти какие ключи удалить. И после получения списка ключей не мог вызвать HDEL для удаления в этом же скрипте.

«Хранимые процедуры» в Redis

Использовал pipelining

«Хранимые процедуры» в Redis

P.S. дополню свой комментарий, так как сразу не заметил голосование после статьи. Для программы на Go я тоже использовал radix.v2.

Но где-то недавно была информация что библиотека Redigo быстрее чем radix.v2. Так что может быть можно написать еще более быстрый скрипт для чистки базы, чем получилось у меня.

«Хранимые процедуры» в Redis

Пару месяцев назад пришлось воспользоваться скриптами, чтобы быстро почистить базу от неактуальных данных.

Так вот в lua-скриптах для Redis есть одна недокументированная особенность: там разделено получение данных и их удаление. То есть нельзя в одном скрипте получить список ключей и тут же вызвать их удаление. Redis — это просто не дает сделать. Пришлось писать два скрипта — один формирует список ключей и потом с помощью xargs передаем его второму скрипту для удаления.

В документации указана основная причина использовать скрипты — снижение накладных расходов на пересылку данных и как следствие скорость работы по сравнению с программами обращающимися к редис на прямую.

Для сравнения мной была написанная программа на Go для поиска ключей и удаления. И она выполнялась быстрее lua-скриптов.

Так что мой опыт показывает, что lua-скрипты в Redis есть больше для галочки. Они не оптимизированы для быстрой работы.

Push-уведомления через Telegram

С такими же ограничениями столкнулся. Пришлось купить домен и добавить его в сертификат. Причем замечу, что самоподписанные сертификаты не работают.

Удаленная работа или фриланс в глубинке. Аспекты связи. Часть 1

Я имею ввиду сравнение телефона с usb-модемами о которых в начале статьи говорится. Я не сравниваю телефон с навороченной антенной под крышей дома.

Удаленная работа или фриланс в глубинке. Аспекты связи. Часть 1

Может быть я чего-то не понимаю, но почему нельзя просто включить в телефоне Общий интернет и работать через него? Мне кажется, что все свистки-модемы уже давно умерли.

Правда ли, что Go быстрее Ruby?

Нормальный разработчик на руби, Вы где больше 23 символов насчитали?

Правда ли, что Go быстрее Ruby?

Спасибо, кэп. Вы все прояснили!

Правда ли, что Go быстрее Ruby?

Благодаря комментариям, это вариант самый быстрый на go:

func node3 (text string) int64 {
	mas := sha1.Sum([]byte(text))
	return int64(mas[len(mas)-1]) % 8
}

Правда ли, что Go быстрее Ruby?

У меня на серверах есть несколько скриптов на руби, которые с определенной периодичностью обращаются к редису и что-то делают. Например, считают рейтинги игроков, выдают бонусы, чистят старые данные из редиса и т.д.

И я решил переписать часть этих скриптов на Go (чтобы более детально познакомится с языком с прицелом для будущих проектов). В процессе переписывания мне и стало интересно — на сколько Go быстрее Ruby в этой задаче.

Поэтому у меня особой задачи по оптимизации функции хеширования и не было (и так все достаточно быстро работает). Только спортивный интерес, который и перерос в этот топик.

Правда ли, что Go быстрее Ruby?

Вчера пользователь printercu в комментарии выше как раз и предложил такой вариант ускорения. Он получается почти в 2 раза быстрее чем оригинальный код.

Правда ли, что Go быстрее Ruby?

Точно. Возможно, что в вашем случае какой-то быстрый процессор используется. Я у себя тестировал на обычном ноутбуке.

И обратите внимание сколько памяти потребляется в вашем случае. В среднем 20 MiB и для hhvm почти 80! У меня Go 1,5, а Ruby 2,6 МБ использовали.

Правда ли, что Go быстрее Ruby?

Круто! Спасибо

Правда ли, что Go быстрее Ruby?

Спасибо за интересную ссылку. В свободное время надо будет попробовать.

Правда ли, что Go быстрее Ruby?

Спасибо за ссылку. Моя статья не претендует на такой объем исследования и сравнения. Только лишь небольшая частичка.

Правда ли, что Go быстрее Ruby?

Согласен с вами, но исторически сложилось, что используется именно sha1. Поэтому и на Go приходится с ним работать.

Введение в ограничение числа запросов с Redis [часть 1]

Какой смысл переносить проблему с больной головы на здоровую? Мы хотим снизить нагрузку с Redis и уменьшаем количество запросов с 12 до 6. А потом весело переносим все внутрь базы данных, начав использовать Lua. В итоге как у нас была нагрузка на базу данных, так она и осталась.

Может быть проще придумать более изящный способ решить эту проблему, а не делать вид, что нашли решение?