Как стать автором
Обновить

Комментарии 6

А можно бенчмарк с CsvHelper? Интересно было бы посмотреть, часто используем CsvHelper в продакшен проектах.
Хорошо, добавлю CsvHelper
Добавил CsvHelper в таблицу результатов
Когда дойдете до чтения и обработки файлов свыше 4Гб размером, будет еще интереснее.
Делали обновление ФИАСа и базы переданных номеров.
Приходилось сначала тупо считывать файл и раскладывать в блоки по 10000строк, а затем параллельно эти блоки обрабатывать. Тогда не падало и в приемлемое время укладывалось.
Базу ФИАС я обрабатываю отдельной программой, которая загружает данные в БД MSSQL. При чем, на лету, делаю подмену GUID (поля AOGUID и PARENTGUID) на INT и в базу пишется эта таблица сопоставлений. Это позволяет оптимизировать выборку, когда нужно джойнить дома и улицы. Полное обновление ФИАС в формате DBF (на машине с характеристиками CPU i5-6500 3,2ГГц, 16Гб памяти) занимает не больше часа:
5 минут обновляются все улицы (порядка 1,4 млн)
45 минут обновляются дома (28 млн. записей)
А сколько времени занимает у Вас обработка ФИАС?
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.