Обновить
0
Сергей@komgbu

Архитектор Big Data

1
Подписчики
Отправить сообщение

Вот мало ли что там Ауди/БМВ/Порш напридумывали. А что мы, наши, отечественные гении, импортозамещенные - что придумали?

Что там в Москвиче, Ладе, КАМАЗе, УАЗе, е-мобиле - их как проектировали? Над чем думали их инженеры? Что из свеженького придумали? Автомобиль без GPS и мобильного интернета?

Не знал, что макеты из пластилина делают - почему не на 3-d принтере печатать?

Статья хорошая, автомобили то будут? ))

Неужели и законы и даже Конституцию РФ надо?... Кто бы мог подумать... Или это только иностранным вендорам надо соблюдать? Было бы интересно ознакомиться со списком законов, которые они нарушили.

Есть несколько вопросов:

1) Какой у вас дневной инкремент в hdfs (порядок - гигабайты/терабайты)?

2) Что вы товарищу майору покажете, когда с локальной файловой системы файл не удастся прочитать после записи, чтобы его в hdfs отправить?

3) Что если завтра товарищ майор попросит достать и показать историю тех сообщений, которые не были помечены специальным флагом?

4) Как часто схема сообщений мутирует и что с этим делаете?

5) Почему в hdfs репликация X3 а не RS(6,3) с X1,5?

6) Что если не надёжна не только сеть, но и Data Center tier III?

Согласен. Можно в статье спокойно менять "OLAP" на что-то другое, типа DWH и будет ещё одна статья )) Эффективная обработка данных, надёжность, бла-бла-бла... Сейчас стал чаще chatGPT использовать, чтобы какую-то тему поглубже прокопать на первом этапе и уже потом по ссылкам на документацию вендора. Habr, CodeProject будут нужны только для не технических статей, техники останется 0.

Первый: любое решение в архитектуре - это компромисс.

С плюсами всегда в наборе получаешь минусы. Нужно понять, какие архитектурно-значимые функциональные требования критичны и какие нефункциональные требования порождают. Далее - ранжирование по критичности (требования могут быть диаметрально противоположными: хочу чтобы система выдерживала 1млн запросов/сек - high throughput и задержка ответа составляла не более 10мс - low latency) и подбор паттерна, который лучше подходит для выполнения критичных требований.

Фиксация минусов и проработка, чем их нивелировать или какие риски нужно принять (иногда достаточно просто о них знать, так как они могут проявляться в каком-то изменившемся контексте или новых требованиях).

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность