Комментарии 2
Прикольно.
Только в 1м примере у вас по сути лишняя колонка, тк она копирует числовую колонку.
Во втором примере немного непривычный агрегат aggregate(count(lit(1))).
А можно как-то узнать подробнее про то, что делают таски в нашем Stage?
Часто интересно узнать какие данные находятся в конкретной проблемной таске и что с ней происходит
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Руководство для начинающих по Spark UI: Как отслеживать и анализировать задания Spark