Миграция данных Salesforce с помощью Pentaho Data Integration

[shizo]

Серьёзно, абсолютно не понятно, что же вы в итоге join'или и загружали.

[maovrn]

Список контактов, каждый из которых имеет поля имя, адрес и т.д., а также ссылку на запись аккаунт (то есть компанию, в которой этот человек работает). Эти сущности связаны отношением один-ко-многим (как таблицы в реляционной базе данных). Может быть несколько контактов, у которых указан один и тот же аккаунт. Кроме того, часть записей могут быть созданы ранее, поэтому необходим Join с существующими для предотвращения дублирования.

[G12ES]

ETL инструментов великое множество, естественно их удобнее использовать, чем стандартные средства. Среди Salesforce разработчиков очень популярен Jitterbit.
P.s. ваш запрос является ярким примером non-selective query.

[maovrn]

Спасибо за упоминание Jitterbit, хорошая альтернатива.
Насчет фильтрации по Email, согласен, для примера не слишком удачно получилось. Но тут более узкое место — передача данных из веб-сервиса, а не выполнение Select.

[G12ES]

Видимо, вы просто не работали с большими объемами данных в СФ. (:

[maovrn]

Что для вас большие объемы? В СФ даже 100 тысяч записей — большой объем. Хотя по меркам какого-нибудь DWH цифра смешная.

[shizo]

Ну не знаю. Мы в компании могли позволить выделить месяц на написание нормальной инфраструктуры вокруг SF Api для решения всех возможных задач манипуляции с данными (а не только тех, которые можно решить с помощью сторонних инструментов через боль и слезы). Теперь разработка сервиса по, допустим, рекурсивной переливки данных (или метаданных) с инстанса на инстанс занимает день-два, а служит вечно и экономит админам кучу времени.

[G12ES]

С помощью Pentaho Data Integration можно перенести множество связанных объектов с одного инстанса на другой?