Я хотел это оставить для другой статьи, но скажу предварительные данные.
На моем компьютере (Intex i7, SQL сервер в локальной сети) миллион записей, подобных приведенным выше, вставляется:
— через SqlBulkCopy: 6 405 ms (~ 6,5 сек)
— Bulk Insert: 184 629 ms (~ 185 сек)
Мой друг, посмотрите на количество людей, добавивших эту статью в избранное. Это говорит о том, что материал актуален. И я полагаю, что статья про padding и margin так же нашла бы своего читателя.
Я не буду рассказывать про ту, в которой я участвую, у меня есть причины, чтобы не афишировать это. Но вот например другая, новость про это тоже была на хабре: spanish-village.com/ru/
Весенний раунд там уже подошел к концу, скоро будет осенний. Условия примерно такие же, 3 месяца, но в Испании.
Да все хорошо. Но вы немного утрируете о том, что не существует подобных программ в России. Они уже есть довольно давно. Я сейчас участвую в одной из них. Причем размер предварительных инвестиций значительно выше, а работать нужно не в душой Москве, а в курортном европейском городе.
Согласен с подборкой языков, но для большей простоты я бы остановился на C#. Сразу двух зайцев: C# и для веб, и для софта. А в самом начале я бы учил только с C#.
Нет почему же, именно в этом и суть опроса. Я имею в виду то, что информация после парсинга будет использован на другом сайте для реализации определенного функционала в целом коммерческих целях.
Например, «одолжить» описания товаров из чужого магазина, какие-то характеристика автомобилей с автосайта или даже вытянуть сообщения с другого форума, чтобы ваш форум не смотрелся безлюдным (да, я видел и такое).
Да, согласен, можно было бы сказать точнее. Но вы написали правильный вариант, это первый вариант, то есть с целью, чтобы после использовать полученную информацию (не только статьи) на своем сайте (программе).
На моем компьютере (Intex i7, SQL сервер в локальной сети) миллион записей, подобных приведенным выше, вставляется:
— через SqlBulkCopy: 6 405 ms (~ 6,5 сек)
— Bulk Insert: 184 629 ms (~ 185 сек)
Так же существует исследование от Alberto Ferrari:
www.sqlbi.com/wp-content/uploads/SqlBulkCopy-Performance-1.0.pdf
Спасибо за замечание по сайту, но я открыл его 5 дней назад, пока еще не занимался, там много что еще не так, включая контент. Приходите позже. :)
Иван Сагалаев проделал большую работу, спасибо за ссылку на него, я думаю она пригодится читателям, которым нужны будут подробности.
spanish-village.com/ru/
Весенний раунд там уже подошел к концу, скоро будет осенний. Условия примерно такие же, 3 месяца, но в Испании.
А так я скажу, что 10% за это вполне резонно.