Pull to refresh
1

User

Send message

Добрый день.

Типы данных сравнивал. В моем случае различия были для полей 'store_id', 'user_id', 'product_id', которые в БД хранятся как строковые и при выгрузке из БД остались строковыми, а при выгрузке из файла стали 'int64'.
Поле же 'quantity' и при выгрузке из БД, и при выгрузке из файла имеет тип 'int64', в 'int8' данные не преобразовывались.

В статье речь идет об интернировании, которое можно применить к строковым типам. Как видите при способе "Выгрузка из БД с интернированием" не применяется преобразование числовых типов, а происходит только интернирование строковых данных, за счет чего достигается эффект.

Суть больше не в том, что при выгрузке из файла меньший размер (это служило лишь основанием усомниться в объеме выгружаемых данных из БД), а в том, что можно значительно сэкономить память при выгрузке данных из БД.

Вы описываете хороший способ экономии памяти через понижение размерности числовых типов, который также стоит применять для достижения лучшего эффекта.

Information

Rating
Does not participate
Registered
Activity

Specialization

Аналитик по данным
Git
Python
Docker
SQL
Pandas
Анализ данных
Microsoft Excel
Машинное обучение