Как Вы представляете себе крупный завод вдали от населенных пунктов? Полностью роботизированный что ли?
адская кислота
Адская кислота — это наоборот хорошо. Им крупно повезло. Плохо, когда внутренний диаметр обсадной трубы ежемесячно уменьшается на несколько миллиметров.
получая пар
Пар в РФ можно получить только на Камчатке и Курилах. Причем, как я уже писал выше, в таких местах, куда только на вертолете доберешься.
Московское энергокольцо полвека назад сбалансировали
Его балансируют каждую минуту вообще то. На вопрос лучше ответьте.
У меня одного устойчивое ощущение, что если бы все средства, которые уже не один десяток лет вливаются в «зеленую энергетику», были бы направлены в термоядерную энергетику, то мы бы уже давно He3 на Луне добывали и вообще никаких проблем с энергией не испытывали?
Так в том то и проблема, что геотермальные источники, обычно, находятся вдали от населенных пунктов. А использовать их для получения электроэнергии сложно и дорого. Сильная минерализация приводит к быстрому выходу из строя оборудования. Например, запустили в 2007 году Океанскую ГеоЭС на Курилах. И через 10 лет вывели из эксплуатации, когда выяснилось, что минерализация разрушила уже все настолько, что дешевле новую ГеоЭС строить, чем эту восстанавливать.
Преимущественно ГеоЭС используются все же для отопления и горячего водоснабжения. Думаете просто так геотермальные станции в РФ есть только на Камчатке и на Курилах? Одно дело, когда глубина термальных вод нулевая (сами на поверхность прут), а совсем другое — когда 1-2 километра.
Ну разведано на Северном Кавказе почти полсотни геотермальных месторождений суммарной мощность в 200 МВт. Так это в 6 раз меньше одного энергоблока АЭС, который обойдется всяко дешевле, чем полсотни ГеоЭС.
Как Вы собираетесь балансировать то же московское энергокольцо из Сибирских рек и Камчатских геотермальных источников?
И все жители обходятся без фиксированной телефонной связи и даже не имеют шансов установить городской телефон? Можете дать подтверждающую ссылку про дом, куда МГТС не пускают? Я скорее поверю в то, что МГТС кого-то не пускает.
ардуина с сетевым модулем
А можно опять таки попросить подтверждающую ссылку? Я не встречал такого, чтобы TCP можно было бы реализовать, а SSH — уже нет. Та же ардуина на ESP8266 замечательно с SFTP дружит.
ни разу не конфиденциальная информация
А чем тогда tftp не устраивает? И проще, быстрее и реализация действительно:
занимает меньше места в памяти, оставляя ее для других полезных вещей
Ведь раз для ftp два TCP сокета открывать не надо и работаем только по UDP, то памяти вообще почти не требуется.
Что касается SSIS, я же явно высказался, что он тоже вынужден работать через текстовый файл. Просто потому, что иного BULK INSERT не позволяет.
SSIS при коммуникации с источником данных точно так же ограничен тем же SQL, что используется при прямом обращении к этому источнику данных. Никакие специальные секретные команды ему не доступны. И ничего кроме того, что описано в статье он сделать не может. Вот только вместо быстрой COPY он будет вынужден фетчить результат SELECT, а вместо ramfs на том же хосте, что и PostgreSQL вынужден будет использовать свой локальный диск для временного файла. И никакого толку от его встроенной многопоточности Вы тут не получите. Все будет строго последовательно.
При чем тут dtexec мне вообще не понятно. SSIS — выделенный хост не потому, что его нельзя физически поставить на тот же хост, что и продуктивный SQL Server. А потому, что во-первых, это не рекомендуется самим MS, во-вторых, я в здравом уме и твердой памяти не стану ограничивать SQL серверу память и ядра ради SSIS. Просто потому, что общая производительность тогда точно упадет. А если не ограничивать в памяти SQL Server, то можно получить проблемы в SSIS из-за нехватки памяти ему.
Что касается установки SSIS на Linux, то это доступно пока скорее только для ознакомления. Слишком много ограничений для продуктивного использования.
В рамках моей статьи он не применим. Потому что формирование его из PostgreSQL — слишком сложная и ресурсоемкая задача. Увы, если источник не MS SQL, то при загрузке в bcp вынужденно используем текстовый формат.
Зачем Вы переходите на демагогию? Вы не уважаете читателей Хабра?
Или Вы искренне считаете, что строительство железных дорог приводит к увеличению себестоимости продукции промышленного производства в государстве, так же как и повышение стоимости электроэнергии?
А цена этого? По Вашей же ссылке экпорт электроэнергии упал на 43%. О возросшем импорте скромно умолчали. А если во Франции вдруг друзья зеленые начнут АЭС закрывать, то энергетика Германии просто ляжет без перетоков из Франции. А это далеко не единственное государство, откуда Германия импортирует электроэнергию для покрытия неравномерной выработки из ВИЭ.
Порой у меня возникает подозрение, что зеленая энергетика в ЕС — дальновидный ход США. Чем дороже будет энергия в ЕС, тем конкурентней будет промышленность США.
Исландия — исключение, благодаря исключительной географии и низкой плотности населения. Например, в РФ гидроэлектростанции можно строить в Сибири. Но электроэнергии там и так избыток. А в европейской части строительство новой гидроэлектростанции нанесет такой удар по экологии, что «зеленой» ее назвать язык не повернется.
Геотермальные электростанции можно строить на Камчатке. В Паратунке даже работает маломощная. Вот только большие мощности можно получить только ближе к Долине Гейзеров, до которой, кроме как на вертолёте, не доберешься.
Вы ошиблись, потому, что не прочитали даже названия статьи.
SSIS медленней, чем описанный в статье способ.
Все равно в нем Вы будете делать те же шаги: экспортировать данные из PostgreSQL в текстовый файл и загружать их BULK INSERT из этого текстового файла в MS SQL. Но передавать по сети данные будете дважды (SSIS — выделенный хост).
Вы действительно думаете, что создание XML, его передача по сети, парсинг, INSERT INTO, да еще и в цикле по слайсам, может оказаться быстрее, чем bcp/BULK INSERT?
Простите, но у меня есть все основания считать, что Вы заблуждаетесь.
При этом, Вы имеете полное право опубликовать здесь код Вашего решения, сравнить время выполнения Вашего и моего кода и разбить меня в пух и прах.
Если же Вы предлагаете менее производительное, но универсальное решение, то, простите, первый код в статье справляется с задачей намного более универсальным путем, чем Ваш. Только медленно. И статья вовсе не об универсальности, а о достижении максимальной производительности.
mssql умеет в gzip
Даже если на стороне PostgreSQL сжать в GZIP xml длиной больше 4ГБ (а это можно сделать), то как Вы его на стороне MS SQL распакуете, если DECOMPRESS() возвращает varbinary(max), длина которого лимитирована 2ГБ?
Просто Вы уже дважды в комментариях призывали голосовать за свою статью, открыто нарушая этикет Хабра. А в этом сообщении еще и на личности перешли. Предположим, что Gordon01 неправ, первым перешел на личности и начал раздувать флейм в комментариях. Но это не повод тоже переходить на личности. Он тут просто гость с отрицательной кармой. А Вы все же автор статьи.
Без обид только пожалуйста. Я описал исключительно свое субъективное восприятие ситуации. Никого не обвиняю.
Один раз внутри bcp — неизбежность. Но зачем лишний раз гонять их на веб-сервер?
У нас три хоста: веб-сервер, MS SQL сервер и PostgreSQL сервер. Инициатор операции веб-сервер.
В моем примере, веб-сервер общатеся только с MS SQL. Код опубликован в статье.
Что же происходит в Вашем примере я не пойму, а код Вы не предоставляете.
То, что INSERT на удаленный сервер всегда медленнный. INSERT… SELECT на удаленный сервер не передать, а INSERT… VALUES ограничен по количеству вставляемых строк.
Иными словами, вставку строк через FDW или Linked Server лучше избегать. А если уж приперло — инкапсулировать данные в JSON/XML и вливать их по RPC.
Вряд ли. Не та целевая аудитория. Вот когда начнут сериалы снимать о том, как доблестная полиция чудом успела спасти ребенка от педофила или предотвратить теракт только благодаря тому, что удалось расшифровать переписку — это будет обозначать подготовку.
Тут срабатывает лавинный эффект. Достаточно незначительному количеству людей принципиально использовать только защищенные методы связи, желающие связаться с ними станут тоже переходить на эти методы.
Так же свободная лицензия и наличие поддержки защищенного стандарта SIP позволяет легко интегрировать тот же Jami с корпоративными средствами связи. С CommuniGate Pro и Asterisk Jami отлично дружит.
Не понимаю.
Вы что, предлагаете вместо использования ramfs, как у меня, дважды гонять эти несколько гигабайт по сети? Или наоборот, из C# на IIS по SSH ходить на сервер, где хостится PostgreSQL под выделенным для этих целей аккаунтом? В чем тогда профит и как управлять правами?
Приведите все же полностью код решения, чтобы можно было запустить его и убедиться, что Ваш вариант более производительный. Прямо по пунктам:
Мне жаль, что я не сумел донести до всех читателей, что статья не об открытии, а о самом производительном способе решения вполне типовой задачи.
А как обойтись без Linked Server я не понял. Кто «все эти команды» запустит при нажатии кнопки в вебформе, кто создаст в этом случае глобальную временную таблицу и как он узнает, что таблица уже заполнена?
Можно без словесных описаний. Просто приведите пример кода, выполняющего ровно ту же задачу, как у меня.
Адская кислота — это наоборот хорошо. Им крупно повезло. Плохо, когда внутренний диаметр обсадной трубы ежемесячно уменьшается на несколько миллиметров.
Пар в РФ можно получить только на Камчатке и Курилах. Причем, как я уже писал выше, в таких местах, куда только на вертолете доберешься.
Его балансируют каждую минуту вообще то. На вопрос лучше ответьте.
Преимущественно ГеоЭС используются все же для отопления и горячего водоснабжения. Думаете просто так геотермальные станции в РФ есть только на Камчатке и на Курилах? Одно дело, когда глубина термальных вод нулевая (сами на поверхность прут), а совсем другое — когда 1-2 километра.
Ну разведано на Северном Кавказе почти полсотни геотермальных месторождений суммарной мощность в 200 МВт. Так это в 6 раз меньше одного энергоблока АЭС, который обойдется всяко дешевле, чем полсотни ГеоЭС.
Как Вы собираетесь балансировать то же московское энергокольцо из Сибирских рек и Камчатских геотермальных источников?
А можно опять таки попросить подтверждающую ссылку? Я не встречал такого, чтобы TCP можно было бы реализовать, а SSH — уже нет. Та же ардуина на ESP8266 замечательно с SFTP дружит.
А чем тогда tftp не устраивает? И проще, быстрее и реализация действительно:Ведь раз для ftp два TCP сокета открывать не надо и работаем только по UDP, то памяти вообще почти не требуется.
SSIS при коммуникации с источником данных точно так же ограничен тем же SQL, что используется при прямом обращении к этому источнику данных. Никакие специальные секретные команды ему не доступны. И ничего кроме того, что описано в статье он сделать не может. Вот только вместо быстрой COPY он будет вынужден фетчить результат SELECT, а вместо ramfs на том же хосте, что и PostgreSQL вынужден будет использовать свой локальный диск для временного файла. И никакого толку от его встроенной многопоточности Вы тут не получите. Все будет строго последовательно.
При чем тут dtexec мне вообще не понятно. SSIS — выделенный хост не потому, что его нельзя физически поставить на тот же хост, что и продуктивный SQL Server. А потому, что во-первых, это не рекомендуется самим MS, во-вторых, я в здравом уме и твердой памяти не стану ограничивать SQL серверу память и ядра ради SSIS. Просто потому, что общая производительность тогда точно упадет. А если не ограничивать в памяти SQL Server, то можно получить проблемы в SSIS из-за нехватки памяти ему.
Что касается установки SSIS на Linux, то это доступно пока скорее только для ознакомления. Слишком много ограничений для продуктивного использования.
Или Вы искренне считаете, что строительство железных дорог приводит к увеличению себестоимости продукции промышленного производства в государстве, так же как и повышение стоимости электроэнергии?
Порой у меня возникает подозрение, что зеленая энергетика в ЕС — дальновидный ход США. Чем дороже будет энергия в ЕС, тем конкурентней будет промышленность США.
Геотермальные электростанции можно строить на Камчатке. В Паратунке даже работает маломощная. Вот только большие мощности можно получить только ближе к Долине Гейзеров, до которой, кроме как на вертолёте, не доберешься.
SSIS медленней, чем описанный в статье способ.
Все равно в нем Вы будете делать те же шаги: экспортировать данные из PostgreSQL в текстовый файл и загружать их BULK INSERT из этого текстового файла в MS SQL. Но передавать по сети данные будете дважды (SSIS — выделенный хост).
Простите, но у меня есть все основания считать, что Вы заблуждаетесь.
При этом, Вы имеете полное право опубликовать здесь код Вашего решения, сравнить время выполнения Вашего и моего кода и разбить меня в пух и прах.
Если же Вы предлагаете менее производительное, но универсальное решение, то, простите, первый код в статье справляется с задачей намного более универсальным путем, чем Ваш. Только медленно. И статья вовсе не об универсальности, а о достижении максимальной производительности.
Даже если на стороне PostgreSQL сжать в GZIP xml длиной больше 4ГБ (а это можно сделать), то как Вы его на стороне MS SQL распакуете, если DECOMPRESS() возвращает varbinary(max), длина которого лимитирована 2ГБ?
Без обид только пожалуйста. Я описал исключительно свое субъективное восприятие ситуации. Никого не обвиняю.
У нас три хоста: веб-сервер, MS SQL сервер и PostgreSQL сервер. Инициатор операции веб-сервер.
В моем примере, веб-сервер общатеся только с MS SQL. Код опубликован в статье.
Что же происходит в Вашем примере я не пойму, а код Вы не предоставляете.
Иными словами, вставку строк через FDW или Linked Server лучше избегать. А если уж приперло — инкапсулировать данные в JSON/XML и вливать их по RPC.
Так же свободная лицензия и наличие поддержки защищенного стандарта SIP позволяет легко интегрировать тот же Jami с корпоративными средствами связи. С CommuniGate Pro и Asterisk Jami отлично дружит.
Вы что, предлагаете вместо использования ramfs, как у меня, дважды гонять эти несколько гигабайт по сети? Или наоборот, из C# на IIS по SSH ходить на сервер, где хостится PostgreSQL под выделенным для этих целей аккаунтом? В чем тогда профит и как управлять правами?
Приведите все же полностью код решения, чтобы можно было запустить его и убедиться, что Ваш вариант более производительный. Прямо по пунктам:
А как обойтись без Linked Server я не понял. Кто «все эти команды» запустит при нажатии кнопки в вебформе, кто создаст в этом случае глобальную временную таблицу и как он узнает, что таблица уже заполнена?
Можно без словесных описаний. Просто приведите пример кода, выполняющего ровно ту же задачу, как у меня.