Я говорю про эээ метакластер на базе elasticsearch на 200+ серверов общим размеров 5 ПЕТАбайт.
Вот тут немножко не понял. Вы же раньше писали про другой порядок чисел? Вот же ваши слова:
Это приводит к тому что для 25ТБ индексов надо иметь ОЗУ 125 гиг только чтобы открыть эти индексы.
То ли я чего то не понял?
Ну а то, что при работе с 5 ПЕТАбайтами разработчик системы будет не простой пользователь/потребитель готовой СУБД, а было бы неплохо чтобы и разбирался досканально и проектировали архитектуру под задачу — совершенно естественно, имхо.
слишком уж много противоречий…
сдается мне, что вы трепло, мил человек…
Ну понятно, в вашу вселенную не вписывается, что можно зарабатывать деньги, игнорируя что вам помогает или не помогает государство…
В вашей вселенной сиротинушке бизнесмену обязательно нужна поддержка извне. Он ведь не бизнесмен — а так, маленький мальчик, который только думает, что у него бизнес…
Чувствуется, я вас хорошенько задел — не поленились цитаты повытаскивать.
Нет никаких противоречий.
Говоря «наш магазин» я имею ввиду свой основной проект как разработчика ПО. В нем я — единственный постоянный разработчик и админ.
Склады, продавцы/менеджеры и товар — этого я вообще не касаюсь и они действительно на другом юридическом лице. В моем юр. лице — я один (раньше были сотрудники, сейчас и без них хорошо).
Кроме основного проекта по интернет-магазину (что забирает у меня порядка 1 дня в неделю, да и то не каждую неделю) — есть куча времени на другие работы, да, да — на тех самых шведов и канадцев и пр…
Для вас удивительно, что являясь разработчиком ПО только можно иметь достаточные заработки, чтобы налоги в 30 000 рублей в год являлись смешной суммой? Что разработчику интернет-магазина обязательно самому заниматься оборотом товара? Зачем? Мне это не интересно…
Но мое время, или время человека который все будет настраивать, также не бесплатно. Говоря о что то не нужно платить за elastic, я имел ввиду все в комплексе.
Тогда вашу фразу можно отнести к вообще любому ПО.
Она попросту вводит в заблуждение.
Но мое время, или время человека который все будет настраивать, также не бесплатно.
А Postgres будет сам доплачивать за то, что с ним разбираются?
Индия очень разнообразна. Даже по дорожному движению и надписям на вывесках…
Скажем в Мумбаи — все почти по европейски.
А где нибудь в Дели, хоть правительство и рядом, но нумерации на домах нетути — специально искал адреса на домах, не обнаружил.
Для придания затее взаимного интереса — с вас скажем по $20 за фото.
Ну так то я и не надеялся, что человек инфантильной жизненной позиции поймет. Такому человеку кажется, что детство не кончилось и ему все вокруг должны и будут решать его проблемы за него…
Возможно, поймут другие:
Дело вовсе не в городе.
А в тебе самом.
Твоя жизнь — твое лично дело.
Никто за тебя не сделает.
Хочешь жить хорошо — шевелись сам.
Да, я действительно хотел уехать. Я тоже думал, что человек зависит от места, а не место от человека.
И где то в году 2002 начинал оформлять документы для выезда в Европу программировать. Но тут у меня как раз поперло с доходами. И я передумал уезжать.
А вы в Москве находитесь? Вполне допускаю, что в Москве дела несколько лучше обстоят, чем в России.
Согласен, что, располагайся мы в Москве, наши обороты были бы выше и значительно выше.
Но мы с маленьком городке в Сибири.
Впрочем, есть бонус, — полагаю, что в своей сфере по азиатской части страны (от Урала до Дальнего Востока) наш интернет-магазин работает куда как эффективнее московских конкурентов.
нет. он находится в уникальном городе в Сибири. и одновременно одинэсничает, фрилансит на зарубежных заказчиков, и занимается интернет-магазином. при этом судя по сообщениям не так давно и на стройках шабашил, и вообще зарабатывал всем, чем ни попадя. а тут раз — и уже 15 лет интернет-магазин…
Ну так то я работаю еще с древних времен, когда СССР существовал и только-только собирался распадаться. Первая запись в трудовой — 1989 год.
За более чем 2 десятилетия можно (и нужно) уже было много чем позаниматься, не находите?
Или вы считаете, что, если вы сидите ровно на попе и ничего не делаете, уперевшись в свой один-единственный не взлетающий бизнес (вместо того. чтобы просто поглядеть по сторонам и найти кучу альтернативных возможностей), но государство при этом должно вас обеспечивать — то и все вокруг такие же, как и вы?
Это приводит к тому что для 25ТБ индексов надо иметь ОЗУ 125 гиг только чтобы открыть эти индексы. Итого на серваке с 256 Гб ОЗУ все это работает в режиме «еле ворочается» — секунда на запрос.
Ребята на конференции Highload утверждают, что как раз таки наоборот. youtu.be/y5OJSIC5yE8
У них действительно была проблема с тем, что одиночный сервер должен быть очень жирным. В их случае — нереально жирным.
Но! Эта проблема была на Sphinx, который не поддерживает кластеризацию.
И они перешли на Elastic как раз именно потому, чтобы избавиться от ограничения огромных аппаратных требований на 1 машину. И размазать свою задачу по кластеру.
Да, они потеряли в производительности (ибо Sphinx быстрее). Это было осознано, так как они получили возможность масштабироваться и расти дальше.
Учитывая политические реалии в нашей стране, очень боязно приобретать себе домой или на работу такое устройство полностью от российского производителя.
А у вас есть свои интересы в нефтяной промышленности или в политике?
P.S.:
Устройства из страны с куда как большими финансовыми возможностями — вас не смущают?
1) Elastic написан на Java. Что вызывает некоторую, гм… требовательность к оперативной памяти.
2) В Elastic отлично реализована работа в кластере на множестве серверов. Завел кластер Elastic — и дальше индекс как-то там сам внутри распределяется и устойчиво работает.
Так вот — п. 2) нужен для серьезнейших и нагруженнейших решений. И благодаря великолепной работе в кластере Elastic'у можно простить п. 1).
Но для задачи:
Создать поиск на Elacsticsearch по базе из 50 000 документов минимум.
Обеспечить высокую скорость ответа на запросы – менее 300 мс.
Лучше подошел бы куда как более легковесный и куда как более шустрый SphinxSearch.
Что я могу сказать? Вам повезло. Мне везёт далеко не всегда. Примерно, 5-10% посылок теряются.
1) Заказываю порядка 10 лет из-за границы. Для личных целей. Покупок — не так уж и много.
2) Порядка 15 лет отправляем товар из нашего интернет-магазина внутри России. Порядка 20 отправок ежедневно.
Выводы:
1) Из-за границы потерялась ровно одна посылка.
2) Почта России куда как надежнее в доставке чем курьерские службы/транспортные компании. Почта медленнее, но теряет значительно реже. Считанное число потерь (даже не каждый год хотя бы одна посылка теряется) при огромном количестве отправок из интернет-магазина.
P.S.:
Интернет-магазин наш отправляет обычной почтой. Не EMS. Но с треккингом, конечно.
Даже и в СШАнии.
Разве с эпохи Paypal хоть одно предприятие Маска вышло на окупаемость?
Все это существует только потому, что инвесторы имеют кучу бабла и не знают куда их вложить. Вот тут Маск со своей харизмой и подсуетился.
Полагаю много предприятия — это тоже следствие. Как только инвесторы начинают спрашивать, а где собственно прибыль, то Маск… фьють… и уже в другом месте.
В свое время, когда только появился C# именно такие требования и встречались в вакансиях. Работодатель еще даже не знал зачем ему это, но просил.
А че, приятно же считать себя умнее других.
Работодатели идиоты, да?
Мало ли чего написано в тех вакансиях?
1) Это всего лишь мечты работодателей.
2) Далеко не всегда вакансии проходят вычитку у технических специалистов.
3) Понимать «три года опыта C#» тогда, когда ему самому было только 3 года следует так — «Три года опыта разработки (конкретный язык мало важен). Точка. Знание языка С#»
даже функции высокого порядка в Java. Так выглядит Java в 2018-м… Функциональное программирование настолько полезно и удобно, что, насколько я вижу, проникло во все современные распространённые языки.
Сформулировано впечатляюще.
Но… «Функции высокого порядка» умели еще Pascal и C, еще порядка полувека тому назад.
А возможно и более древние языки.
Проникло в современные языки, говорите?
Все новое — хорошо забытое старое.
Хотя бы из тех соображений, что непонятно, где я буду брать других специалистов на развитие/поддержку проекта.
Да там же где и обычно.
Разработчики, глубоко разбирающиеся в технологии Х — огромная редкость и стоят дорого.
Потому все согласные на новичков, да на переучившихся.
В конце концов ничего такого сверхуникального в Дельфи нет. Это не Хаскель — любой программист с опытом освоит быстро.
Это вы про ivi-то? Ну-ну.
Вот тут немножко не понял. Вы же раньше писали про другой порядок чисел? Вот же ваши слова:
То ли я чего то не понял?
Ну а то, что при работе с 5 ПЕТАбайтами разработчик системы будет не простой пользователь/потребитель готовой СУБД, а было бы неплохо чтобы и разбирался досканально и проектировали архитектуру под задачу — совершенно естественно, имхо.
Ну понятно, в вашу вселенную не вписывается, что можно зарабатывать деньги, игнорируя что вам помогает или не помогает государство…
В вашей вселенной сиротинушке бизнесмену обязательно нужна поддержка извне. Он ведь не бизнесмен — а так, маленький мальчик, который только думает, что у него бизнес…
Чувствуется, я вас хорошенько задел — не поленились цитаты повытаскивать.
Нет никаких противоречий.
Говоря «наш магазин» я имею ввиду свой основной проект как разработчика ПО. В нем я — единственный постоянный разработчик и админ.
Склады, продавцы/менеджеры и товар — этого я вообще не касаюсь и они действительно на другом юридическом лице. В моем юр. лице — я один (раньше были сотрудники, сейчас и без них хорошо).
Кроме основного проекта по интернет-магазину (что забирает у меня порядка 1 дня в неделю, да и то не каждую неделю) — есть куча времени на другие работы, да, да — на тех самых шведов и канадцев и пр…
Для вас удивительно, что являясь разработчиком ПО только можно иметь достаточные заработки, чтобы налоги в 30 000 рублей в год являлись смешной суммой? Что разработчику интернет-магазина обязательно самому заниматься оборотом товара? Зачем? Мне это не интересно…
Тогда вашу фразу можно отнести к вообще любому ПО.
Она попросту вводит в заблуждение.
А Postgres будет сам доплачивать за то, что с ним разбираются?
Скажем в Мумбаи — все почти по европейски.
А где нибудь в Дели, хоть правительство и рядом, но нумерации на домах нетути — специально искал адреса на домах, не обнаружил.
Морда не треснет?
Зачем вы мне нужны???
Ну так то я и не надеялся, что человек инфантильной жизненной позиции поймет. Такому человеку кажется, что детство не кончилось и ему все вокруг должны и будут решать его проблемы за него…
Возможно, поймут другие:
Дело вовсе не в городе.
А в тебе самом.
Твоя жизнь — твое лично дело.
Никто за тебя не сделает.
Хочешь жить хорошо — шевелись сам.
Да, я действительно хотел уехать. Я тоже думал, что человек зависит от места, а не место от человека.
И где то в году 2002 начинал оформлять документы для выезда в Европу программировать. Но тут у меня как раз поперло с доходами. И я передумал уезжать.
Согласен, что, располагайся мы в Москве, наши обороты были бы выше и значительно выше.
Но мы с маленьком городке в Сибири.
Впрочем, есть бонус, — полагаю, что в своей сфере по азиатской части страны (от Урала до Дальнего Востока) наш интернет-магазин работает куда как эффективнее московских конкурентов.
Ну так то я работаю еще с древних времен, когда СССР существовал и только-только собирался распадаться. Первая запись в трудовой — 1989 год.
За более чем 2 десятилетия можно (и нужно) уже было много чем позаниматься, не находите?
Или вы считаете, что, если вы сидите ровно на попе и ничего не делаете, уперевшись в свой один-единственный не взлетающий бизнес (вместо того. чтобы просто поглядеть по сторонам и найти кучу альтернативных возможностей), но государство при этом должно вас обеспечивать — то и все вокруг такие же, как и вы?
Нет. Маленький город в Сибири.
Ребята на конференции Highload утверждают, что как раз таки наоборот.
youtu.be/y5OJSIC5yE8
У них действительно была проблема с тем, что одиночный сервер должен быть очень жирным. В их случае — нереально жирным.
Но! Эта проблема была на Sphinx, который не поддерживает кластеризацию.
И они перешли на Elastic как раз именно потому, чтобы избавиться от ограничения огромных аппаратных требований на 1 машину. И размазать свою задачу по кластеру.
Да, они потеряли в производительности (ибо Sphinx быстрее). Это было осознано, так как они получили возможность масштабироваться и расти дальше.
Для современного железа и современного софта — это те же семечки.
При грамотном использовании этого софта.
Если бы речь шла о 1-2 миллиарда, а не миллиона — другой вопрос.
А миллионы — только звучит страшно…
А кто должен за них читать?
Привыкать нужно — новая экономика, доп. «сервисы» навязываются сплошь и рядом.
А у вас есть свои интересы в нефтяной промышленности или в политике?
P.S.:
Устройства из страны с куда как большими финансовыми возможностями — вас не смущают?
Меня во всех этих вечно включенных девайсах с микрофонами смущает постоянное подключение с интернетом.
Смартфоны, к сожалению, тоже…
P.S.:
Деготь такой:
Для подобной задачи ElasticSearch — избыточен.
1) Elastic написан на Java. Что вызывает некоторую, гм… требовательность к оперативной памяти.
2) В Elastic отлично реализована работа в кластере на множестве серверов. Завел кластер Elastic — и дальше индекс как-то там сам внутри распределяется и устойчиво работает.
Так вот — п. 2) нужен для серьезнейших и нагруженнейших решений. И благодаря великолепной работе в кластере Elastic'у можно простить п. 1).
Но для задачи:
Лучше подошел бы куда как более легковесный и куда как более шустрый SphinxSearch.
1) Заказываю порядка 10 лет из-за границы. Для личных целей. Покупок — не так уж и много.
2) Порядка 15 лет отправляем товар из нашего интернет-магазина внутри России. Порядка 20 отправок ежедневно.
Выводы:
1) Из-за границы потерялась ровно одна посылка.
2) Почта России куда как надежнее в доставке чем курьерские службы/транспортные компании. Почта медленнее, но теряет значительно реже. Считанное число потерь (даже не каждый год хотя бы одна посылка теряется) при огромном количестве отправок из интернет-магазина.
P.S.:
Интернет-магазин наш отправляет обычной почтой. Не EMS. Но с треккингом, конечно.
Даже и в СШАнии.
Разве с эпохи Paypal хоть одно предприятие Маска вышло на окупаемость?
Все это существует только потому, что инвесторы имеют кучу бабла и не знают куда их вложить. Вот тут Маск со своей харизмой и подсуетился.
Полагаю много предприятия — это тоже следствие. Как только инвесторы начинают спрашивать, а где собственно прибыль, то Маск… фьють… и уже в другом месте.
А че, приятно же считать себя умнее других.
Работодатели идиоты, да?
Мало ли чего написано в тех вакансиях?
1) Это всего лишь мечты работодателей.
2) Далеко не всегда вакансии проходят вычитку у технических специалистов.
3) Понимать «три года опыта C#» тогда, когда ему самому было только 3 года следует так — «Три года опыта разработки (конкретный язык мало важен). Точка. Знание языка С#»
Сформулировано впечатляюще.
Но… «Функции высокого порядка» умели еще Pascal и C, еще порядка полувека тому назад.
А возможно и более древние языки.
Проникло в современные языки, говорите?
Все новое — хорошо забытое старое.
Да там же где и обычно.
Разработчики, глубоко разбирающиеся в технологии Х — огромная редкость и стоят дорого.
Потому все согласные на новичков, да на переучившихся.
В конце концов ничего такого сверхуникального в Дельфи нет. Это не Хаскель — любой программист с опытом освоит быстро.
А че, у нас кроме пенсий — и потратить больше некуда?
А дороги, школы, больницы, границы, МЧС и пр.?
Я нисколько не идеализирую государство — и у него косяков полно.
Просто обращаю внимание на тот факт, что почему-то виновато в том, что конкретный человек плохо живет — именно что государство, а не он сам?
А, собственно, — почему? У нас так-то уже давно не социализм и даже вовсе не коммунизм, а именно что капитализм.
Чтобы зарабатывать — нужно работать. И головой в том числе. И руками.
Законы экономики — они такие.
Но нет. Мы же плохо живем просто потому что государство нам этого не позволяет. Ага, конечно.
При том что самые простые люди, не олигархи, а вполне себе твои одноклассники или однокурсники — имеют успешный бизнес. Что с тобой-то не так?