Есть конкуренция и нужно быть #1 во всём. Т.е. не важно насколько эти мощности будут использоваться. А вот показать, что у нас мощнее, для маркетинга и продаж уж очень необходимо. Человек, приобритая самое мощное железо, уже имеет фантазии, что он может сделать что-то такое, такое важное!!! Но сам не догадывается, что именно и платит за статус и фантазии.
Нужно готовить пользовательские девайсы к ИИ нагрузкам.
Мне одному кажется, что 1-3% со всей суммы за каждую транзакцию это просто грабёж? Помню было время в банках были депозиты под 3% годовых в USD. А тут ПС и банки просто в секунду берут ту же сумму...
Как у новичка, незнакомого со spark и потоковой обработкой данных, у меня вопросы по поводу архитектуры.
1. Почему не использовать Kafka streaming, где, по-моему, точно также можно создать обработку сообщений и направлять их в базу данных? Тогда мы отказываемся от целого компонтента, что упрощает систему.
2. Допустим, возникли сложности с Kafka streaming. Следующее, что приходт на ум — почему бы не использовать обычный клиент (java, .net, php...), который, скорее всего, замечательно впшется в текущй стек разработки и уже существующие вопросы тестирования, мониторинга, развёртываня и компетенций разработчиков не должны вызвать трудностей. Если говорить о сheckpoints описанных в статье как
основной механизм в SparkStreaming, который должен быть настроен для обеспечения отказоустойчивости
, то по-моему управление чтением из Kafka с использованием транзакций решает эту проблему.
С ростом объемов данных из различных источников, сложно переоценить практическую ценность Spark Streaming для создания потоковых приложений и приложений, действующих в масштабе реального времени.
Кажется за этими словами, стоит много важной и основной информации, которая, к сожалению, так и осталась за кадром.
Думаю, что те, кто знаком со стеком, описанным в статье, собственно в ней и не нуждается, тогда я просто развожу руками и предвижу, что статья, если и находит читателей, то говорит только о том, что с Kafka, Spark и AWS можно обрабатывать потоки данных…
Только на почту мне пришло сообщение от одной из платформ английского языка italki, где пытаются рассказать насколько преподаватель лучше GPT chat. Видимо, серьёзно запахло жареным.
На это можно смотреть, как на открытие новых возможностей в вашей карьере! Не переживайте :D
1. Расскажите, пожалуйста, каким образом вы создавали начальную базу карточек товаров?
А именно:
— сколько процессов, сколько ip адресов понадобилось и как создавался маршрут для получения необходимой информации :)
— каким образом решали вопрос с водяными знаками на фотографиях
2. Какой тип хостинга предпочли для системы? Рассматривали ли возможность экономии, купив собственное железо, на котором работают массивные части системы например как обработка прайсов и +реплика в облаке на подстраховку в случае отказа локальной машины?
Очень здорово, когда есть несколько алгоритмов для 400 поставщиков! Представляю себе ситуацию, когда каждый поставщик будет предоставлять свои API и для магазина потребуется много реализаций. :)
Как вы считаете, правда ли то, что если на СНГ рынок ворвётся Amazon или EBAY, то можно сворачивать активность своего интернет магазина?
Предполагаю, что для лучшего хранения и сохранения их веса, яблоки срывают незрелыми как собственно и бананы. Только вот, к сожалению, яблоки не дозревают до ароматного вкуса, т.к. начинают высыхать или гнить.
Уродившийся сезон яблок 2018 года был для сельских людей бедой. Горы полезного 'мусора' не знали куда деть. Однако на городском рынке, приходилось пробовать около 5 сортов, чтобы выбрать 1ин достойный, когда как в деревне — слюни текли ручьём от плодов.
Правильно делаете, что не едите то, что не по вкусу и ищете нужное. К примеру, много моих знакомых просто разлюбили 'яблоки'.
Автор действительно поступает некрасиво и даже в комментариях старается использовать аудиторию как тестевую среду.
Благодарю!
Продукт кажется весьма полезным. Любопытно, почему нет комментариев? Какие альтернативы есть?
Кто-нибудь знает, можно ли это использовать как WebRTC media server?
Попытка попасть на европейский/азиатский рынки, а также во многие возрастные категории одновременно...
Есть конкуренция и нужно быть #1 во всём. Т.е. не важно насколько эти мощности будут использоваться. А вот показать, что у нас мощнее, для маркетинга и продаж уж очень необходимо. Человек, приобритая самое мощное железо, уже имеет фантазии, что он может сделать что-то такое, такое важное!!! Но сам не догадывается, что именно и платит за статус и фантазии.
Нужно готовить пользовательские девайсы к ИИ нагрузкам.
Считаю самой большой ошибкой - это делать проект в одиночку и изучать многие предметные области самостоятельно.
Мне одному кажется, что 1-3% со всей суммы за каждую транзакцию это просто грабёж? Помню было время в банках были депозиты под 3% годовых в USD. А тут ПС и банки просто в секунду берут ту же сумму...
1. Почему не использовать Kafka streaming, где, по-моему, точно также можно создать обработку сообщений и направлять их в базу данных? Тогда мы отказываемся от целого компонтента, что упрощает систему.
2. Допустим, возникли сложности с Kafka streaming. Следующее, что приходт на ум — почему бы не использовать обычный клиент (java, .net, php...), который, скорее всего, замечательно впшется в текущй стек разработки и уже существующие вопросы тестирования, мониторинга, развёртываня и компетенций разработчиков не должны вызвать трудностей. Если говорить о сheckpoints описанных в статье как , то по-моему управление чтением из Kafka с использованием транзакций решает эту проблему.
Кажется за этими словами, стоит много важной и основной информации, которая, к сожалению, так и осталась за кадром.
Думаю, что те, кто знаком со стеком, описанным в статье, собственно в ней и не нуждается, тогда я просто развожу руками и предвижу, что статья, если и находит читателей, то говорит только о том, что с Kafka, Spark и AWS можно обрабатывать потоки данных…
Только на почту мне пришло сообщение от одной из платформ английского языка italki, где пытаются рассказать насколько преподаватель лучше GPT chat. Видимо, серьёзно запахло жареным.
На это можно смотреть, как на открытие новых возможностей в вашей карьере! Не переживайте :D
Следующая статья, я так предполагаю, будет иметь заголовок «GPT chat вместо преподавателя английского».
"Фотография, сгенерированная ИИ, обманула судей и выиграла фотоконкурс"
Это не я! Это всё фотография!
Можно уже вводить платную отписку от твитов "популярного".
Если говорить про абсолютные цифры, то нормальным считаем парсинг данных с карточки одного товара в 3-4 секунды.Как это понять?
Каждые 3-4 секунды вы проверяете обновление цены на 1ин товар? Т.е. при 100 тысячах товаров в магазине, каждые 3-4 секунды делаете 100 тысяч запросов?
Парсите по 1ому товару в 3-4 секунды? Кхм... ~21 тысяча товаров в сутки, что маловероятно
Если это время за которое вы обрабатываете один товар, то непоянтно, каким образом это связано с нагрузкой оказываемой на сайт?
Я так понимаю, что вопрос "что появилось раньше - курица или яйцо?" больше не актуален. Стволовая клетка! :D
А именно:
— сколько процессов, сколько ip адресов понадобилось и как создавался маршрут для получения необходимой информации :)
— каким образом решали вопрос с водяными знаками на фотографиях
2. Какой тип хостинга предпочли для системы? Рассматривали ли возможность экономии, купив собственное железо, на котором работают массивные части системы например как обработка прайсов и +реплика в облаке на подстраховку в случае отказа локальной машины?
Как вы считаете, правда ли то, что если на СНГ рынок ворвётся Amazon или EBAY, то можно сворачивать активность своего интернет магазина?
Уродившийся сезон яблок 2018 года был для сельских людей бедой. Горы полезного 'мусора' не знали куда деть. Однако на городском рынке, приходилось пробовать около 5 сортов, чтобы выбрать 1ин достойный, когда как в деревне — слюни текли ручьём от плодов.
Правильно делаете, что не едите то, что не по вкусу и ищете нужное. К примеру, много моих знакомых просто разлюбили 'яблоки'.