Comments 18
кстати, вот ещё неплохая статья по теме с реализаций в амазоновском облаке
techportal.ibuildings.com/2009/11/02/precision-color-searching-with-gmagick-and-amazon-elastic-mapreduce/
techportal.ibuildings.com/2009/11/02/precision-color-searching-with-gmagick-and-amazon-elastic-mapreduce/
У Амазона вообще очень интересная реализация Hadoop'a — подробностей особых я не знаю, но было бы интересно разобраться (жду какой-нибудь конференции где будем и мы, и они)
ElasticMapReduce
Для решения ресурсоёмких задач — самое то. Решил, заплатил за времярешения. Выключил все сервера — результат положил на S3.
Для решения ресурсоёмких задач — самое то. Решил, заплатил за времярешения. Выключил все сервера — результат положил на S3.
Ну есть еще один вариант — вы постоянно решаете ресурсоемкие задачи. Но в принципе да, для многих задач такое решение подойдет (потому как даже содержать инфраструктуру из десятков серверов уже совсем не дешево и не просто, не говоря уже о сотнях или тысячах).
Если вы постоянно решаете ресурсоемкие задачи, значит извлекаете из этого определенную прибыль. В этом случае будет не проблема оплатить счета за Amazon. Более того, сервера автоматически выключаются после решения задачи, поэтому о сохранении средств можно не беспокоиться.
В любом случае выгоднее запустить облако, чем покупать или арендовать физические сервера.
В любом случае выгоднее запустить облако, чем покупать или арендовать физические сервера.
Амазон, конечно, молодцы, несут Hadoop в массы :)
Но, как и везде, выгоды эластичного Hadoop-а идут не без цены. И дело не только в деньгах, которые платятся за время работы вашего кластера. Я слушал презентацию одного мужика, который работает на громадном Hadoop-кластере в Yahoo, и он говорил, что физическое расположение машин в кластере имеет громадное значение для его производительности. То есть, на амазоновском Hadoop-е можно делать все, что угодно, но производительность будет хромать, что естественно. Но тут уж, кому что. В целом, возможность запускать задачи Map/Reduce по требованию и платить только за использованное время — это очень круто.
Но, как и везде, выгоды эластичного Hadoop-а идут не без цены. И дело не только в деньгах, которые платятся за время работы вашего кластера. Я слушал презентацию одного мужика, который работает на громадном Hadoop-кластере в Yahoo, и он говорил, что физическое расположение машин в кластере имеет громадное значение для его производительности. То есть, на амазоновском Hadoop-е можно делать все, что угодно, но производительность будет хромать, что естественно. Но тут уж, кому что. В целом, возможность запускать задачи Map/Reduce по требованию и платить только за использованное время — это очень круто.
Кстати, я ЗА создание отдельного блога по Hadoop :)
UFO just landed and posted this here
Лингвистическим корпусом называют собрание текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).
— ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D0%BF%D1%83%D1%81%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0
Крайне расхожий термин в области information retrieval.
UFO just landed and posted this here
Sign up to leave a comment.
Map/Reduce: решение реальных задач — TF-IDF