Работа со 100 000 000 строк данных в Excel через PowerPivot

[AndrewTishkin]

Зверски полезная штука. Пойду мучать лабу :)

[YasonBy]

Интересно, как они впихнули в эксель 100 млн. строк, если он столько не поддерживает?

In Excel 2007, the worksheet size is 16,384 columns by 1,048,576 rows, but the worksheet size of earlier versions of Excel is only 256 columns by 65,536 rows.

[XaocCPS]

Кэп подсказывает, что с установкой PowerPivot поддержка появляется

[jil]

Написано «PowerPivot — это дополнение к Excel 2010,… „
При чем тут 2007?

[mr_fresh]

Интересная информация. Но… ээ-э… я никого не хочу обидеть, но какова область применения у таких таблиц? Для обработки больших объемов есть базы данных. Есть уже развитые инструменты работы с ними. Хотя разнообразие не так и плохо =)

[Boomburum]

Вы так говорите, как буд-то никогда не создавали таблиц на пару миллионов строк )

[se7en]

кстати, зря шутите, есть компании, в которых отчётность в xls и реально не хватает 65 000 строк, я такое видел в одной крупной рекламной компании, делили на несколько файлов сетку вещания и размещения роликов

[poh]

Cогласен. Мы занимаемся оценкой и новый 2007-й Excel был спасением. Однако при сложных расчетах (и реестре в 800 тысяч позиций) он иногда умирает. Приходится шаманить.

[YasonBy]

Пару дней назад мне понадобилось быстренько объединить два больших CSV-файла с логами. Строки в них шли через одинаковые интервалы времени, но запись одного из файлов была начата позже.
Казалось бы, открываем оба файла экселем, находим нужное смещение и вставляем одну табличку в другую, начиная с нужной строки. Ан вот фигушки, лимит на 65 тысяч строк…

[DarkPhoenix]

Радость-то какая.

[utf9]

Крутая лабораторная работа! Есть ли там еще какие-нибудь?

[AndrewTishkin]

Есть, хоть отбавляй :)
msdn.microsoft.com/en-us/aa570323.aspx

Вот за это я и люблю Microsoft…

[egorinsk]

А как можно мгновенно отсортировать столько записей? Там используются ключи по всем полям? А как тогда делать LIMIT на ключе (ну чтобы там показать например только часть записей)

[Boomburum]

Недавно мне тут понадобилось создать таблицу на 10 миллионов строк. Уже половину заполнил, а потом передумал )

[demmsnt]

Вообще это кошмар. Такой объем данных человеку не нужен. Зато как маркетинговый инструмент: «А вот что умеет эксель» это очень страшное оружие.

У нас огромное количество отчетности ведется в Excel и знаете что? Там где это хорошо для компании в 3 человека, для компании в 250 человек это кошмар. Постоянные сломанные таблицы. Десятки человек тупо копирующие из одной в другую… Лучшеб его небыло.

[Usmekhaiouschiysia]

В экселе можно не только прибавлять одну строку к другой, но и работать с достаточно суровыми вычислениями. Разумеется, специально написанная программа будет считать шустрее, но табличку в экселе набросать намного проще и быстрее. В результате часто получается существенный выигрыш — машинка всё равно железная, и на пару-тройку часов её на время расчётов оставить не страшно.

[demmsnt]

Для моделирования — да хорошо. Проблемы появляются когда начинают работать на этом. Каждый день заходим все дальше и дальше и вот уже это ядро ИТ фирмы.

Помню лет 6 назад я работал в одном банке, в нем главбух сделал ежемесячный баланс в Excel, так вот он стартовал 25 минут. А уж поиски ошибки это было что, то. Программа на Python из 3-х файлов делала отчет за полторы минуты…

[gaploid]

Мы тут решили строить дом, накупили лопаток и начали рыть котлован. Рыли несколько десятков лет, уж лучше этих лопаток небыло.

[demmsnt]

Верно. Проблема в том, что вариант с лопатками действительно понятен. Все понимают, что это абсурд. А вот вариант с Excel не виден. Бухгалтера вместо ТЗ на ПО начинают что-то мастерить, а потом проблемы.

Эксель оброс таким количеством примочек, что уже давно не является табличным процессором. И беда в том, что эти примочки не предназначались для активного промышленного применения. Как в том анекдоте: Джип это автомобиль который застрянет там куда другой автомобиль не доедет.

[gaploid]

Спрос порождает предложение, этот плагин появился не с пустого места. А в вашем примеру я думаю, что это проблема АйТи отдела который не смог предоставить более лучшего интструмента для бухгалтера, либо обучить его использовать существующий.

[demmsnt]

Ну если АйТи отдела нет — то и проблемы нет.

Но вы отошли от основной посылки — Человек не может оперировать такими объемами эффективно без применения статистических аппаратов.

Тут мое мнение, что это просто «понты» какие-то. Приходит Босс, а я миллиард строк кручу. Цифра-то какая.

[Goodkat]

Да, Excel — зло, но альтернативы часто нет — бухов Аксессу не обучишь, собственный софт с тысячей функций под их нужды писать дорого, а если и напишешь, то получишь подобие Excel с централизованным хранением таблиц :)

[FTM]

В заголовке «Работа со 100 000 000 строк данных в Excel через PowerPivot», а в тексте «PowerPivot — это дополнение к Excel 2010, которое позволяет оперировать в реальном времени десятками миллионов записей в таблицах Excel.» 100 — это предел?

[tigra_alive]

Жалко, что не к Excel 2007…

[stronciy]

А конкуренция хорошо отражается на микрософте, и операционку вменяемую сделали, и среду разработки отточили, и эксель расширили, засуетились однако. :)

[XaocCPS]

такой?
habrahabr.ru/blogs/ui_design_and_usability/70425/
habrahabr.ru/blogs/microsoft/70371/

[Qiwichupa]

«на основе не предназначенного для работы с базами экселя мы сделаем бд». А потом все удивляются что скриншоты блондинками присылаются в ворде =\

[poh]

Опробовали на действующем проекте. Достаточно удобная штука на данном этапе как минимум для построения сложных сводных таблиц при работе с удаленным sql сервером.