• Ansible и Docker, почему и зачем?
    +1
    Абсолютно с вами согласен.
    Когда есть устоявшаяся методология и понимание процесса разработки и дейплоймента — chef прекрасно ложиться на Technical Operations.
    Вот кстати тоже интересная ссылка по теме, про интеграцию docker с chef docs.deis.io/en/latest/gettingstarted/concepts/#concepts
  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    0
    извиняюсь за оффтопик.
    Чем вы деплоите на видновс сервера? Какую автоматизацию используете?
  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    0
    Я пытался использовать logstash вместе с rsyslog, чтобы syslog сразу пересылать по сети в logstash, так как он на серверах уже есть и мы его используем достаточно тесно с zabbix.
    Не хотелось деплоить агентов logstash вместе с java на сервера, где джава совсем не нужна.
  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    0
    Все достаточно прямолинейно.
    У меня логи переливаются с серверов на центральный rsync сервер и там парсер на питоне их распарсивает и заливает их в elasticsearch. Парсер стартует по крону каждую минуту и заливает файлы начиная с самых свежих. То есть если логов много, когда активность юзеров выше — теоретически парсер может не успевать. Но это не проблема, так как в более спокойное время он подтягивает старые логи. Получается никакой потери логов даже под высокой нагрузкой.
  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    0
    у меня 3 xlarge инстанса на ec2, все упирается в disk-IO к сожалению. я использую striped LVM над 4 дисками ephemeral storage.
    Насколько я понял, проблема не в языке jruby или python. Проблема в реализации, так как logstash тратил ресурсы и время на обработку входящих данных по TCP. Когда я тестировал, производительности не хватало. Я использовал rsync для транспорта данных и python+pyes c мультипроцессингом docs.python.org/2/library/multiprocessing.html для закачки логов в elasticsearch.

    Я недавно видел в действии реализацию flume+elasticsearch. Мне очень понравилось. Если у меня будет достаточно времени — буду переходить на него.
  • Обзор: Puppet, Chef, Ansible, Salt
    0
    не сосвем понял про push для chef

    можно делать
    knife ssh «role:webserver AND chef_environment:production» «sudo chef-client» -С 4
    и деплоить изменения сразу и с указанной конкуренцией ( что может быть удобно, когда сервера стоят за балансировщиком и нужно чтото рестартить).

    По моему скромному мнению, chef идеалогически правильно заточен под devops workflow.
  • Использование Docker-контейнеров как Jenkins-нод
    +1
    не могли бы вы более детально ответить?
  • Использование Docker-контейнеров как Jenkins-нод
    0
    Chroot позволит Вам запускать разные версии Centos на одном сервере.
  • PostgreSQL на разных фс (ext3, ext4, xfs)
    +6
    С какими параметрами смонтированы файловые системы?
    С какими параметрами они были отформатированны?
  • Запуск FreeBSD в Linux KVM
    +3
    Посмотрите в сторону Proxmox, вполне удобно и даст Вам KVM виртуализацию с GUI обвязкой.
    Proxmox cluster будет вполне удобно для фермы.
    Я гоняю на ней в продакше FreeBSD через KVM безо всяких проблем, даже очень старые типа 4.1.
    C другой стороны они потребовали гораздо меньше танцев при переноски с VmWare платформы виртуализации, чем Win2k например.
  • Дамп memcached на диск
    –1
    mongodb тоже может быть использовано для кеширования. С постоянным хранилищем и кучей приятных фич, таких как репликация и шардинг.
    Даже статья была тут habrahabr.ru/post/124212/

  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    +1
    3 amazon x.large инстанса с 2Тb локального хранилища каждый.
    Занято примерно процентов 60-70 дисков, то есть около 5Тб данных.
    Никакого дублирования данных, чтобы получить максимальную скорость. Если инстанс умирает, теряем треть индекса, но логи архивируются на s3, так что всегда можно поднять архив, если что.
  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    0
    Они оба достаточно прожорливы к сожалению
  • Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа
    0
    Cluster Name
    elasticcluster

    Status green Nodes 3 Docs 3 053 513 952

    Но я не использую logstash, он слишком медленный, не успевает за потоком логов. Пришлось кастомный python код писать самому используя pyes.
  • Ключ от всех дверей в непрерывной интеграции — rundeck
    +1
    отличная статья!
    Спасибо
  • Пример использование Splunk для анализа логов
    0
    Я устал с вами спорить, удачного дня.
  • Пример использование Splunk для анализа логов
    0
    как оказывается я совсем не школьник, вернее школьник но не совсем Ж)
  • Пример использование Splunk для анализа логов
    0
    я вам отправил приглашение через линкедин
  • Пример использование Splunk для анализа логов
    0
    извиняюсь, подумал что Вы както связаны с компанией.
  • Пример использование Splunk для анализа логов
    0
    у вас случайно нет профайла на линкедин. Я вам пришлю приглашение, договоримся и продолжим наш спор за бутылочкой вина. Вы кстати какое предпочитаете?
  • Пример использование Splunk для анализа логов
    0
    нету у меня бытовых соображений. один шкурный интерес
  • Пример использование Splunk для анализа логов
    0
    тунельное зрение говорит: опенсорс хорошо, спланк дорого.
  • Пример использование Splunk для анализа логов
    0
    опечатка извиняюсь
  • Пример использование Splunk для анализа логов
    0
    стыдно дяденька такого не знать.
    ru.wikipedia.org/wiki/%D0%91%D1%80%D1%83%D0%B4%D0%B5%D1%80%D1%88%D0%B0%D1%84%D1%82
    стыдно
  • Пример использование Splunk для анализа логов
    0
    удивительное совпадение, я тоже знаком. Вот потому и говорю, что хороший продукт, но дорогой ИМХО. И написал какие есть опенсорс альтернативы, может кому полезно будет посмотреть альтернативные решения. А вот теперь тут в коментах сначала небольшой холиварчик получился, уже даже на личности перешли. Мне это даже нравится в силу моего незаконченного среднего образования и тоннельного видения вместе с недалеким умом.
  • Пример использование Splunk для анализа логов
    0
    я все не могу избавится от ощущения что пил с Вами на бруденшафт.
    Пойду уроки учить чтоли, пока чтото во мне еще не выдало Вам чегото.
  • Пример использование Splunk для анализа логов
    0
    спасибо почитал с большим интересом. где я могу почитать про реализацию спланка для эппл, ведь такое количество логов не шутка анализировать. И что спланк вернул обратно в опенсорс комьюнити в рамках " симбиоза"?
  • Пример использование Splunk для анализа логов
    0
    ах да еще.
    симбиоз подразумевает взаимовыгодное сотрудничество, хотел бы я знать, что дал Splunk обратно комьюнити.
    Получается както симбиоз в одну сторону.
  • Пример использование Splunk для анализа логов
    0
    я помню знаменитый симбиос freebsd и win98 tcp/ip stack. Наверно самый красноречивый из тех что я знаю
  • Пример использование Splunk для анализа логов
    0
    конечно, взять опенсорс и дописать чтото своё и продавать.
  • Пример использование Splunk для анализа логов
    0
    нет, почему.
    У меня есть на спланк комьюнити аккаунт, работал я с ним. Конечно не Яблоко, но тоже было что в спланк засунуть, знаю про что говорю. Вы меня/других убеждаете что это не так, но позвольте с вами не согласится.
    У вас хороший продукт качественный, платформа, но комьюнити любого коммерческого продукта проигрывает к сожалению. Обсуждения не имеет смысла скрывать, если только там непрофессионализм и решения костыль на костыле. Коммерческий продукт не гарантирует безопасность и качество, к сожалению.
  • Пример использование Splunk для анализа логов
    0
    opensource продукты ничем не хуже коммерческих а иногда даже и лучще.

    Хотелось бы посмотреть на white-paper про Apple как они это делают, какие плагины используют и сколько железа на это тратится. Я предполагаю что на таких обьемах у них чтото посерьезнее должно быть типа Hadoop и MapReduce.
  • Пример использование Splunk для анализа логов
    0
    я в свое время делал некоторое исследование, splunk выглядит как вылизанный продукт, и казалось бы решение out-of-the-box, хотя и своими особенностями. Решено было не идти на поводу и построить все вокруг elasticsearch ибо комьюнити и все достаточно прозрачно. Именно комьюнити не хватает коммерческим продуктам особенно дорогим, вы бы посмотрели форумы где ребята общаются по поводу BigIP F5.
  • Пример использование Splunk для анализа логов
    0
    да 5 килобаксов дорого за нескольго гигабайт, особенно когда нужно сотни гигабайт в день.
    Я и слов то таких не знаю, тегирование и макро-корреляция. Обьясните пожалуйста что это такое.
  • Пример использование Splunk для анализа логов
    0
    есть опенсорс альтернативы, см мой комментарии ниже.
  • Пример использование Splunk для анализа логов
    0
    Если кому интересно есть опегсорс альтернативы.
    Погуглите по поводу связки logstash+ elasticsearch+kibana или graylog + elastiucsearch.
    Также есть вариант напрямую писать туда из syslog, omelasticsearch называется.

    Надеюсь этот комментарий будет полезен, особенно у кого нет 5кбаксов за несколько гигабайт логов в день.
  • Microsoft терпит неудачу?
    0
    почему то в теме не затронуты миллиарлные дойные коровы xbox и sharepoint, и медленно набирающий но все же растущий bing.

    То что у майкрософта проблемы на мобильном рынке это понятно давно и к бабушке не ходи. На рынке операционных систем не все так плохо как написано в статье. Домашние пользователи это конечно очень хорошо, но интерпрайз плотно на них сидит, а деньги то с интерпрейза в основном идут.

    А вообще у всех компаний есть сложности и проблемы, у крупных они крупные, а у огромных — заоблачные. Но я бы с удовольствием порассуждал бы в таком ключе про таких игроков рынка на Оракл и АйБиЭм, и про их сложности.
  • Облачные серверы от Infobox
    –1
    мне как пользователю AWS очень понравилась фраза
    «В общем, в сервисе есть всё, чтобы организовать своё облако для любых задач.»
    после списка фич. что примерно процентов 5 что есть у амазона или хотя бы ажура.

    Описание сервиса очень похоже на частные облака, которые добавляют удобство провизии, у публичных облаков все гораздо интереснее. Хотя молодцы, выкатили такую штуку, вот сам великий HP тужится построить своё публичное облако, а по качеству даже не feature-complete.

  • Microsoft терпит неудачу?
    0
    www.google.com/finance?q=NASDAQ:MSFT&fstype=ii

    вот посмотрите на годовые ревенью, не похоже чтобы он загибался. Слова словами, но цифры обычно говорят сами за себя.

    Я вот никак не могу понять, почему Яблоко стоит дороже чем МС и Гугл вместе взятые. Признаю, что правда, но не могу понять почему с точки зрения технологий.
  • Microsoft терпит неудачу?
    –1
    По мнению авторитетного иточника, автор статьи слабо понимает на чем МС зарабатывает.
    А так интересное чтиво но не более.