Как ускорить выборку в 1с Битрикс в 20 раз

Задача - сформировать фид для выгрузки.

Дано:

• кол-во товаров более 50 000

• Товары выгружаются с пользовательскими свойствами

Результат эксперимента

Довольно частая задача - это формирование фидов, что подразумевает под собой выгрузку большого кол-ва элементов.

Битрикс часто ругают за то - что при простых операциях - происходит огромное ко-во запросов к БД, я видел на проектах , как для отображения простой страницы каталога, битрикс делал более 5000 запросов к БД. Именно из- за этого проекты на Битрикс иногда очень требовательны к железу на хостинге.

Современное ядро D7 позволяет значительно снизить нагрузку на БД и сильно ускоряет все процессы связанные с обращением к БД.

Долгое время на одном проекте работал скрипт по формированию фида для загрузки на сторонние сервисы. Скрипт работал, никаких сбоев не выдавал, и все всех устраивало, но вот пришло время вносить изменения и в него.

Первое что бросилось в глаза это то. как в этом скрипте происходила выборка товаров из каталога и добавление к ним пользовательских свойств

\Bitrix\Main\Diag\Debug::startTimeLabel('f_time1');
$obj_items=\CIBlockElement::GetList([] ,$filter, false, false, $select);
while ($objItem = $obj_items->GetNextElement()) {
    $arItem=$objItem->GetFields();
    $result[$arItem['ID']] = $arItem;
    $result[$arItem['ID']]['PROPERTIES'] = $objItem->GetProperties();   
}
\Bitrix\Main\Diag\Debug::endTimeLabel('f_time1');
$f_time=\Bitrix\Main\Diag\Debug::getTimeLabels();
$str_res= "Кол-во эл-в выборки Старое ядро: ".$obj_items->SelectedRowsCount().PHP_EOL;
$str_res.= "Время выполонения выборки Старое ядро: ".round($f_time['f_time1']['time'], 8, PHP_ROUND_HALF_UP).PHP_EOL;
echo $str_res;

Первое что пришло на ум это изменить добавление свойств к элементу

$obj_items=\CIBlockElement::GetList([] ,$filter, false, false, $select);
while ($arItem = $obj_items->fetch()) {
    $result[$arItem['ID']] = $arItem;
    $result[$arItem['ID']]['PROPERTIES'] = [];
    $ids[] = $arItem['ID'];
}
$chunks = array_chunk($ids, 1000);
foreach ($chunks as $key => $chunk) {
    \CIBlockElement::GetPropertyValuesArray(
        $result,
        2,
        ['ID' => $chunk],
        ['CODE' => $properties],
        ['GET_RAW_DATA' => 'Y']
    );
}
\Bitrix\Main\Diag\Debug::endTimeLabel('f_time1');
$f_time=\Bitrix\Main\Diag\Debug::getTimeLabels();
$str_res= "Кол-во эл-в выборки Старое ядро: ".$obj_items->SelectedRowsCount().PHP_EOL;
$str_res.= "Время выполонения выборки Старое ядро: ".round($f_time['f_time1']['time'], 8, PHP_ROUND_HALF_UP).PHP_EOL;
echo $str_res;

Что дало уже приемлемый результат:

Но, обращаться к БД в цикле - это точно нехорошо.

Поэтому решил попробовать Переписать этот код с использованием возможностей ядра D7

//список свойств
//CODE свойств изменены
$properties = [
    'PROP_1',
    'PROP_2',
    'PROP_3',
    'PROP_4',
    'PROP_5',
    'PROP_6',
    'PROP_7',
    'PROP_8',
    'PROP_9',
    'PROP_10',
    'PROP_11',
    'PROP_12',
    'PROP_13',
    'PROP_14',
    'PROP_15',
    'PROP_16',
    'PROP_17',
    'PROP_18',
    'PROP_19',
    'PROP_20',
    'PROP_21',
    'PROP_22',
    'PROP_23',
    'PROP_24',
    'PROP_25',
];
//ищем IBLOCK_ID по CODE
$CatalogiblockId = Helper::getIblockIdByCode("catalog");

foreach ( $properties as  $property_code) {
    //ID свойства по CODE
    $PROP_ARTICLE_ID = Helper::getIblockPropIDByCode($property_code, $CatalogiblockId);

    $props['PROPERTY_'.$PROP_ARTICLE_ID ]= ['data_type' => 'string'];

}
$props['IBLOCK_ELEMENT_ID']= ['data_type' => 'integer'];


$entityProps = Bitrix\Main\Entity\Base::compileEntity(
    'PROPS',
    $props,
    [
        'table_name' => sprintf('b_iblock_element_prop_s%s', $CatalogiblockId),
    ]
);
$select = [
    'ID',
    'IBLOCK_ID',
    'NAME',
    'SORT',
    'IBLOCK_SECTION_ID',
    'DETAIL_PICTURE',
    'PROPS'
];

$result = \Bitrix\Iblock\ElementTable::getList([
    'select'  => $select,
    'filter'  => [
        'IBLOCK_ID' => $CatalogiblockId,
    ],     
    'runtime' => [
        'PROPS'         => [
            'data_type' => $entityProps->getDataClass(),
            'reference' => [
                '=this.ID' => 'ref.IBLOCK_ELEMENT_ID',
            ],
        ],
    ],
]);
\Bitrix\Main\Diag\Debug::endTimeLabel('f_time1');

$f_time=\Bitrix\Main\Diag\Debug::getTimeLabels();

echo "Кол-во эл-в выборки D7: ".$result->getSelectedRowsCount().PHP_EOL;
echo "Время выполонения выборки D7: ".round($f_time['f_time1']['time'], 4, PHP_ROUND_HALF_UP).PHP_EOL;

И результат который очень порадовал

Т.к. получить свойства элементов напрямую нельзя, то сначала создаем сущность $entityProps которая содержит поля из таблицы b_iblock_element_prop_s.IBLOCK_ID где наименование столбцов свойств являются PROPERTY_.ID (ID свойства, поэтому надо их сначала получить по CODE, или добавить посмотрев в свойствах элементов)

Затем мы делаем выборку присоединив сущность к выборке.

Данный пример показывает не только как ускорить выполнение выборки на больших массивах, но и может помочь существенно снизить нагрузку на БД даже в обычных каталогах. Где на первый взгляд время выборки не столь существенно. Ведь на выборке в 30 товаров из каталога разница во времени будет не существенной, и на скорость загрузки это будет влиять минимально.

Но если взять во внимание существенное снижение количества запросов к БД - это может существенно снизить нагрузку на БД. И проведя простую оптимизацию - вы добьетесь потрясающих результатов.

Итог:

• Добились ускорения выполнения скрипта с 1333 сек до 0,552, т.е. почти в 700 раз.

• Снижение количества запросов к БД с более 50 000. до ОДНОГО.