Комментарии 6
А можно бенчмарк с CsvHelper? Интересно было бы посмотреть, часто используем CsvHelper в продакшен проектах.
Хорошо, добавлю CsvHelper
Когда дойдете до чтения и обработки файлов свыше 4Гб размером, будет еще интереснее.
Делали обновление ФИАСа и базы переданных номеров.
Приходилось сначала тупо считывать файл и раскладывать в блоки по 10000строк, а затем параллельно эти блоки обрабатывать. Тогда не падало и в приемлемое время укладывалось.
Делали обновление ФИАСа и базы переданных номеров.
Приходилось сначала тупо считывать файл и раскладывать в блоки по 10000строк, а затем параллельно эти блоки обрабатывать. Тогда не падало и в приемлемое время укладывалось.
Базу ФИАС я обрабатываю отдельной программой, которая загружает данные в БД MSSQL. При чем, на лету, делаю подмену GUID (поля AOGUID и PARENTGUID) на INT и в базу пишется эта таблица сопоставлений. Это позволяет оптимизировать выборку, когда нужно джойнить дома и улицы. Полное обновление ФИАС в формате DBF (на машине с характеристиками CPU i5-6500 3,2ГГц, 16Гб памяти) занимает не больше часа:
5 минут обновляются все улицы (порядка 1,4 млн)
45 минут обновляются дома (28 млн. записей)
А сколько времени занимает у Вас обработка ФИАС?
5 минут обновляются все улицы (порядка 1,4 млн)
45 минут обновляются дома (28 млн. записей)
А сколько времени занимает у Вас обработка ФИАС?
Результаты, надо сказать, отличаются: https://www.joelverhagen.com/blog/2020/12/fastest-net-csv-parsers
Есть над чем подумать :)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Быстрое чтение CSV в C# (fast read CSV)