Comments 6
С одной стороны хочется похвалить автора (всего месяц и без единой строки кода решает такие задачи, да еще бенчмарки и оптимизацию проводит), с другой - сильное ощущение что автор чем-то не тем занимается и вот здесь как раз бы Питон и R с удовольствием бы "пострадали", решив эту задачу в несколько потоков в несколько раз быстрее на том же железе
У меня в итоге вышло 2,5 часа на 223 миллиона строк. Ваше "в несколько раз быстрее" сколько означает времени на 223 миллиона строк, если код написать на питоне?
Для ответа на ваш вопрос надо получить доступ именно к вашим исходным файлам и запускать код на вашей же машине. Будет точно быстрее лучшего результата не только за счёт отсутствия "джава-оверхеда", но и за счет использования более оптимальных библиотек чтения/записи (на плюсах, а там уже вызов хоть из питон хоть из R, не так важно, к обоим написаны).
Тут не про критику (если вы так это воспринимаете), а про то что у всех лоу-код есть границы применимости ограничивающие их масштабирование, и чем дальше нырять за такие границы тем будут страшнее велосипеды
Специально привёл множество деталей про свой комп и условия задачи, чтобы можно было сравнить своё решение на другой машине с другим кодом через сопоставление бенчмарков процессоров. Понятно что это неточно, но вполне достаточно. Конечно, если у меня 2,5 часа, а у кого-то 2 часа, то это ни о чём и бенчмарк ни к чему. Но если есть решение на полчаса, то вполне такого сопоставления по процессорам хватит.
Конечно, у лоу-кода есть границы. Но и Knime - решение для тех, кто не хочет тратить 3 года на обучение программированию, чтобы писать код выжимающий капли времени, а хочет получить мощный инструмент здесь и сейчас. В конце-концов, языки программирования развиваются в направлении соответствия человеческому языку, т.е. языку простого пользователя.
Производительность и стабильность Knime на слабых компьютерах