Гига-фотография Млечного Пути в разрешении 108199x81503 или очередная история «xyz хватит всем»

    Пару дней назад была новость о том, что Астрономы Европейской южной обсерватории сшили мозаику центра нашей галактики (Млечного Пути) с разрешением 108199x81503 в ИК диапазоне (в ИК меньше рассеяние света на межзвездном газе и пыли — звезд видно намного больше).

    К сожалению, результат они выложили лишь в виде онлайн-смотрелки и .psb-файла, размером 24Гб который можно открыть только фотошопом, при этом сам фотошоп отказывался экспортировать его в любой другой формат кроме опять же psb, tiff(само собой неудачно, там размер файла не может превышать 2/4Гб) и RAW. А хотелось что-нибудь, из чего было бы удобно вырезать интересный кусочек на wallpaper…

    Забегая вперед, сразу покажу результаты:

    1920x1200 2560x1600 2880x1800



    1920x1200 2560x1600 2880x1800

    Полноразмерные изображения (суммарно 33.4Гб): rutracker.org thepiratebay
    Тут выложен как raw-файл, так и несколько версий jpeg-ов, от wallpaper-ов и 10% (10820x8150) до максимального (65500x65500 с центром в центре галактики, 5.8Гб, 100% масштаб, не влезающие части обрезаны) + 65500x65500 сжатая до 170Мб для стресс тестов софта .

    Драматические детали опустим, лишь факты о JPEG и ImageMagick

    Такие большие картинки получается обрабатывать только x64 версией ImageMagick, причем крайне желательно использовать Q8 версию, а не Q16 (с повышенной точностью внутреннего представления): Q8 отжирала примерно 45Гб памяти во время работы, а Q16 — ~72Гб, что очень плохо сказывалось на скорости.

    JPEG исторически не может иметь размер выше 65535x65535, но во многих библиотеках ограничение 65500x65500 (когда-то это действительно казалось недостижимым размером...).

    Для того, чтобы не падало сохранение в JPEG нужно отключать оптимизацию Huffman-таблиц (видимо происходит переполнение счетчиков частоты кодов): -define jpeg:optimize-coding=false

    Также удалось сохранить полноразмерное изображение в PNG, но его вообще ничто не смогло открыть + размер получился 22Гб, так что пришлось остановиться на JPEG.

    Конечные команды получаются такие
    convert -size 108199x81503 -depth 8 RGB:eso1242a.data -scale 50% -quality 95 -define jpeg:optimize-coding=false eso1242a.jpg
    
    convert -size 108199x81503 -depth 8 RGB:eso1242a.data -crop "65500x65500+22500-0!" -gravity North  -quality 95 -define jpeg:optimize-coding=false eso1242a_sq.jpg
    

    Время работы — порядка 30 минут на 1 операцию.

    Вот тут я понял, что 32Гб памяти - не хватит всем :-)

    Ссылки & credits


    Credit:ESO/VVV Consortium
    Released under the Creative Commons Attribution 3.0 Unported license
    Acknowledgement: Ignacio Toledo, Martin Kornmesser

    www.vista.ac.uk
    www.stfc.ac.uk/News%20and%20Events/42932.aspx
    www.eso.org/public/images/eso1242a/zoomable
    Share post

    Similar posts

    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 120

      +19
      Впечатляет. Даже в самом «пустом» куске снимка звезд просто какое-то немыслимое количество. Все таки цифры слишком абстрактны, что бы дать представление о том, насколько мы ничтожная крупинка в этом космическом океане. Понятно, что в нашей галактике ~300 миллиардов звезд, но это слишком большое число, что бы его интуитивно понимать, и только полазив по такой картинке мозг начинает воспринимать масштаб этого «дофига».
        +7
        А меня впечатляют ресурсы той машины или фермы где это собиралось.)
          +17
          И вот теперь нужно глядя на эту фотографию с уверенностью сказать, что ни у одной из этих звезд нет другой разумной жизни :-)
            +9
            Миллиард — это кубометр песчинок 1мм*1мм*1мм.
            А число 300 наверное все могут представить.
              +6
              Тридцать КАМАЗов песка звезд, короче. :)
                +2
                Только не обычного песка, а вровень уложенных песчинок, без зазоров между ними.
                  0
                  средняя песчинка таки меньше 1*1*1 мм, так что нормуль.
                    +2
                    Если без зазоров, то влезет в кубометр больше чем миллиард, укладка по решетке не оптимальна.
                      0
                      Это образ, который я использовал при объяснении людям 14 миллиардов лет.
                      Год на аккуратную укладку песчинки — нормально.
                        0
                        А 14 гигабайт не проще?
                          0
                          Пропробуйте объяснить человеку даже после того как вы обозначили «Войну и Мир» как 3.5 мегабайта.
                            0
                            Еще можно через мегапиксели… Ходит он с мыльницей, делает по 120 кадров в день (что немного). Через неделю число пикселей на его фотографиях превысит возраст Вселенной в годах :)
                              +4
                    +5
                    >Все таки цифры слишком абстрактны, что бы дать представление о том, насколько мы ничтожная крупинка в этом космическом океане.

                    И на этом фото только центральная часть нашей Галактики. До этого они еще выкладывали фото всего Млечного пути, но в меньшем разрешении.

                    Кстати, тут фото на 9 мегапиксель, я так прикинул, что если распечатать с разрешением 300dpi, то хватит на потолок во всей квартире, только черной краски много уйдет…
                      +2
                      >на 9 мегапиксель

                      на 9 гигапикселей конечно же
                      • UFO just landed and posted this here
                          0
                          да
                            +2
                            И по полному фото хорошо видно что мы на самом-самом краю Галактики.
                            Вот у тех, кто там в центре, небо наверно и правда светится, а у нас спальный район :)
                        0
                        Напомнило, по-моему у Никонова читал про вселенную мнение, что если звёзд бесконечное множество, то наше небо должно ночью светиться полностью от их света, а оно тёмное. Так вот же, светится, только человеческий глаз не воспринимает это свечение! Красота.
                          0
                          Есть такое понятие как «видимая вселенная». Действительно если бы вселенная была бесконечная и не расширялась бы, то небо светилось бы полностью — в любой точки был бы свет от некой близкой звезы, от пачки более далеких или пачки еще более далеких. Но из за расширения пространства между галактиками и кластерами, мы ограниченны сферой дальше которой ничего не видно, так как звезды за ее границами удаляются от нас быстрее скорости света.
                            0
                            Эти звезды на фотографии правда совсем рядом (по масштабам вселенной) и мы не видим их только потому, что большинство из них слишком тусклые или слишком далеко, что бы различить их невооруженным взглядом.
                              0
                              Или же мы «видим то время», когда некоторые звезды еще не успели сформироваться. Или уже погасли. Это называется парадокс Ольберса.
                                0
                                Помню, я в детстве сам допер, что что то тут нечисто (почему небо не яркое?) и пошел копать эту тему.

                                Кстати, я выше написал, что граница видимой вселенной — это расширение быстрее скорости света, но сейчас задумался и понял, что не уверен так ли это. Быстрое гугление не дало ответа что ближе (дальше) — первые звезды или космологический горизонт событий?
                                  +3
                                  Таки был не прав похоже. нынешний возраст вселенной ~13 миллиардов лет, а горизонт событий за котором звезды удаляются быстрее скорости света — 16 миллиардов световых лет. Получается, что пока что нам видно все или почти все, что получилось когда бабахнуло. Правда еще есть теории вроде гиперинфляции ББ которые считают настоящие размеры вселенной намного больше наблюдаемых.
                                    0
                                    Спасибо за уточнение.
                                    Еще можно уточнить, что если такие галактики и существуют (удаляющиеся быстрее скорости света в вакууме), то их все же можно увидеть, ведь свет от них рано или поздно дойдет до нас.
                                      +2
                                      Скорее всего нет. Ведь мы удаляемся от них быстрее чем свет идет к нам. Следовательно мы удаляемся от фронта распространения их свечения. Это не считая всяких эффектов связанных со сверхсветовой скоростью. И даже предположим этот свет до нас доберется, но размер наблюдаемой галактики будет бесконечно малым для наблюдателя, и мы все равно его не увидим.
                                        0
                                        Доберется. Вспомните задачу о червяке на резиновой ленте.
                                    +1
                                    Мы видим реликтовое излучение. А оно возникло гораздо раньше любых звезд, и сейчас точки его возникновения гораздо дальше, чем возраст Вселенной — 50-70 млрд световых лет. И даже если там сейчас есть звезды, мы их (в нынешнем состоянии) всё равно когда-нибудь увидим, несмотря на то, что расстояние между нами увеличивается быстрее скорости света. Но это случится нескоро — через несколько триллионов лет.
                                    Я не уверен, что «космологический горизонт событий» при равномерном расширении Вселенной существует. При ускоряющемся (быстрее, чем t*log(t)) — возможно.
                                  –2
                                  > дальше которой ничего не видно, так как звезды за ее границами удаляются от нас быстрее скорости света

                                  Эк вы загнули. Эйнштейн в шоке.
                                    +6
                                    КЭП, расширение пространства ≠ движению в пространстве, и часть вселенной удаляется она нас быстрее скорости света, что ничуть не противоречит ОТО.
                                      –2
                                      Удаляется != движению в пространстве? Если так что это значит: «удаляется»?
                                        +4
                                        Удаляется, значит расстояние увеличивается. Но не за счет движения, а за счет расширения пустого пространства между ними. Надо понимать, что это имеет мало чего общего с интуитивным нам «движением», и происходит только между очень удаленными (не связанными гравитационно) космическими объектами.
                                  0
                                  +1
                                  Вы телескоп себе купите лучше. Или, хотя-бы, бинокль.
                                  Это куда больше поражает, чем фотография. Уж поверьте :)
                                    0
                                    Уже :)
                                      0
                                      Помню свой восторг, когда у друга в гостях увидел кольца Сатурна в довольно небольшой телескоп (по-моему, с диаметром зеркала 14 см).
                                        +1
                                        Они и в 11 см неплохо видны. Хотя щель Кассини уже не разглядеть.
                                        Действительно, впечатляет — убеждаешься, что они в самом деле существуют, а это не всемирный заговор :)
                                          0
                                          Ещё на Юпитер недавно смотрели — видно было, что он «рябой». И 3 спутника было отчётливо видно.

                                          А ещё офигенно впечатляет, когда смотришь на Луну. Во-первых, реально видно, что кратеры объёмные (когда часть поверхности в тени, то на границе вид просто шикарный). А во-вторых реально ощущается вращение Земли и самой Луны — она прям заметно уходит из области видимости, постоянно приходится подкручивать винты и поворачивать телескоп :)
                                            +1
                                            Джентльменский набор астронома-новичка:
                                            — кратеры на Луне
                                            — серп Венеры
                                            — Юпитер и спутники
                                            — кольца Сатурна
                                            — какая-нибудь двойная звезда, например, Альбирео
                                            — Плеяды
                                            — какой-нибудь кластер
                                            — туманность Андромеды
                                            — M81/M82 (если не лень)
                                            — покрытие какой-нибудь планеты Луной
                                            — можно убирать телескоп :)
                                              0
                                              Оу, так у нас ещё впереди куча неизведанного! :)

                                              Мы ещё как-то собирались посмотреть уход одного из спутников Юпитера в его тень, но в тот день облачно было, а потом как-то забили.
                                      0
                                      ЕМНИП, галактик во вселенной тоже огромное число. И таких же, и меньших, и бóльших.
                                        0
                                        Конечно. Можете погуглить hubble deep field или ultra deep field. Просто там масштабы вообще невообразимы, тут хоть какая то опорная точка для масштаба есть (размер одной звёздной системы), и то…
                                      –13
                                      С непонимаю смотрю на свое ЧСВ и Мнение… Они, кстати, тоже в шоке.

                                      Потрясно. Скачиваю, днём поколдую в фотошопе, сделаю дополнение к вашим обоинам.
                                        +3
                                        В Chrome 22 и IE10 на Windows 8 онлайн смотрелка совершенно не тормозит. Зато в firefox заметно подвисает.
                                          0
                                          В Опере тоже нормально. На одном ноуте с средними характеристиками подлагивает только на ФФ, да и то не очень сильно.
                                          +3
                                          В некоторых местах напоминает наскальную живопись
                                          habrastorage.org/storage2/4f7/602/b24/4f7602b2463ce7dbc53abe009e294014.png
                                            0
                                            По-моему, краб какой-то.
                                              +9
                                              А что вы видите здесь?
                                                +16
                                                Ось симметрии в центре :)
                                                  +5
                                                  Поздравляю, тест пройден)
                                                  +1
                                                  Я ясно вижу маску Хищника из одноименного фильма. 0_о
                                                    0
                                                    по-моему, это скорее Iron Man!)
                                                    +4
                                                      +4
                                                      Попробовал ещё раз, получилось опять зловеще (для меня). По горизонтале сжато.
                                                        +12
                                                        Давно хотел спросить, кто такой этот ваш Роршах, и почему он всегда рисует картинки, на которых отец меня избивает?
                                                        • UFO just landed and posted this here
                                                            0
                                                            Турианец из Mass Effect.
                                                            0
                                                            Тест Роршаха?
                                                              +1
                                                              Именно он:

                                                                +1
                                                                Две няньки качают одну колыбельку.
                                                                  +1
                                                                  Девушка в зеркальном туалете
                                                                    +1
                                                                    Суслик!
                                                                  • UFO just landed and posted this here
                                                                      +3
                                                                      Earthworm Jim!
                                                                      0
                                                                      Пятно Роршаха.
                                                                    0
                                                                    Мм… курочка гриль
                                                                        0
                                                                        Optimus Prime
                                                                      0
                                                                      Ктулху
                                                                      +2
                                                                      и .psb-файла, размером 24Гб который можно открыть только фотошопом

                                                                      Ещё можно открыть и пересохранить софтиной FastStone Image Viewer. Правда не знаю как он воспримет файл такого размера.
                                                                      Поставил на закачку, скорость пока всего 500 КБ/с. Как скачается — проверю.
                                                                        0
                                                                        Боюсь, он будет долго-долго её открывать, а затем кончится память :)
                                                                        –1
                                                                        С подписями звезд было-бы куда интереснее
                                                                          0
                                                                          Тогда за текстом ничегоне будет видно. Тогда уж со всплывающими подсказками.
                                                                            –1
                                                                            Отдельный слой как в картах, хотя-бы крупные звезды
                                                                              0
                                                                              Меня больше интересует интересует, неужели все эти звезды названы?
                                                                                +1
                                                                                Нет, но вы можете за деньги поучаствовать в этом деле и назвать какую-нибудь звезду и получить сертификат
                                                                                  +7
                                                                                  И заодно узнать тайны своей фамилии
                                                                                  +2
                                                                                  У самых ярких есть собственные имена, в основном арабские (Вега, Арктур). У всех (или почти всех) видимых есть буквенные названия, данные Гиппархом в первом в Европе каталоге звёзд, типа «альфа Центавра». Потом были другие каталоги, в которых звёздам просто давали номера (обычно там содержатся как минимум координаты и яркость). Но не все звёзды Галактики «пронумерованы», не говоря уж об именах.
                                                                            • UFO just landed and posted this here
                                                                                +12
                                                                                вы издеваетесь?
                                                                                  +5
                                                                                  По ту сторону объектива, Кэп!
                                                                                    +3
                                                                                    Откройте данное фото, смотрите в центр и мееедленно переводите взгляд от центра фото вниз… поздравляю… вы нашли Землю.
                                                                                  +3
                                                                                  результат они выложили лишь в виде тормозящей онлайн-смотрелки


                                                                                  по-моему не такая она и тормознутая, эта смотрелка.
                                                                                  • UFO just landed and posted this here
                                                                                    –3
                                                                                    Вот зачем Мак Про с двенадцатью ядрами и 64 гигабайтами оперативной памяти.
                                                                                      +7
                                                                                      И ноутбук с Retina-дисплеем.
                                                                                        +3
                                                                                        Я всегда буду смеяться над минусами на Хабре 8)
                                                                                      +2
                                                                                      И пусть скажут что жизни в космосе нет кроме нашей, 300 млрд шансов, и это только в нашей галактике. Масштаб поражает.
                                                                                        +5
                                                                                        это если «вояджер» не упрётся через десять лет в стенку, на которой вся эта красота нарисована
                                                                                          +1
                                                                                          Любая гипотеза имеет право на жизнь. Эффект мыльного пузыря. У него на стенках тоже яркое анимированное движение наблюдается. Но вот движение звезд слишком сложное, чтобы быть стенкой пузыря.
                                                                                            0
                                                                                            Сложное для чего? Для нашего восприятия?
                                                                                            Как я понимаю — сейчас идет глобальное переосмысление космологии. Темная материя и т.д. — пока никто не понимает, что это такое.
                                                                                        • UFO just landed and posted this here
                                                                                          +1
                                                                                          К слову, Microsoft Deep Zoom Compozer справляется с очень большими TIFF. Можно попробовать.

                                                                                          ps: не посмотрел сразу, вроде бы и krpano не тормозит.
                                                                                            +2
                                                                                            отжирала примерно 45Гб памяти во время работы

                                                                                            А что за машина-то такая? Домашний компьютер?
                                                                                              0
                                                                                              64битная система может жрать сколько влезет памяти, у неё нет проблем с адресацией, а при наличии файла подкачки можно действительно много адресовать памяти
                                                                                                0
                                                                                                Ясно. Я думал про физическое ОЗУ.
                                                                                                0
                                                                                                Домашний, немного в своп вылезло.
                                                                                                  0
                                                                                                  Немного?
                                                                                                    +1
                                                                                                    У меня 32, соответственно на 13. Но когда своп на SSD это не так печально, хотя ресурса за день наверное процентов 5 сжег.
                                                                                                +1
                                                                                                А вы не пробовали специальные опции для работы с большими изображениями в imagemagick: http://www.imagemagick.org/script/architecture.php#tera-pixel?
                                                                                                  0
                                                                                                  Он вроде и по дефолту все это использует — занимает всю память, и если что не влезло — пишет на диск. Так было и у меня.
                                                                                                  0
                                                                                                  раздачу на т… ру прикрыли, «подправьте» пож. чтобы приоткрыли. спасибо
                                                                                                    0
                                                                                                    Исправление приведет к нарушению условий лицензии обсерватории, так что не судьба. Остается TPB.
                                                                                                      0
                                                                                                      Ан нет, оказалось проблемы все-же решаемы, и раздачу открыли снова.
                                                                                                    • UFO just landed and posted this here
                                                                                                        0
                                                                                                        «Максимальный объем загружаемого файла до 10Мб»

                                                                                                        +6
                                                                                                        На что только не идут люди, чтобы не использовать netpbm:
                                                                                                        (echo "P6 108199 81503 255 ";
                                                                                                         cat eso1242a_108199x81503.raw.data) | pamscale 0.5 | pnmtojpeg > scale.jpg
                                                                                                        (echo "P6 108199 81503 255 ";
                                                                                                         cat eso1242a_108199x81503.raw.data) | pamcut -left 22500 -width 65500 -height 65500 | pnmtojpeg > cut.jpg
                                                                                                        

                                                                                                        Скрипт работал 20 минут, при этом использовал меньше 100% CPU (узкое место — диск). Использовалось не более 12Мб оперативки. Видимо, всё-таки «хватит». :)
                                                                                                          0
                                                                                                          Очень круто, спасибо :-)
                                                                                                          0
                                                                                                          Что посоветуете, чтоб смотреть многогигабайтные многогигапиксельные картинки на компе?
                                                                                                            0
                                                                                                            Успешно работали FastPictureViewer и относительно нормально обычный Windows Photo Viewer, но это при условии что памяти хватает, и не открывать фотографии больше 27k на 20к.
                                                                                                            0
                                                                                                            Дыры в цетре ярких звёздных дисков — что это за эффект? Пересвеченные ячейки матрицы?
                                                                                                              0
                                                                                                              Я склоняюсь к тому-же.
                                                                                                                0
                                                                                                                Пересвет.
                                                                                                                +2
                                                                                                                Теперь надо написать ImageMagick скрипт который вырезает рандомно кусок 1680х1050, и неиссякаемый источник уникальных обоев на каждый день — готов.
                                                                                                                Как докачается — выложу тут код (обе строчки).
                                                                                                                  +2
                                                                                                                  Докачалось?)
                                                                                                                    0
                                                                                                                    Да, докачалось. Но видимо с ошибками, или у меня что-то с ImageMagick-ом. Выдает ошибку при конвертации.
                                                                                                                    Собственно скрипт должен быть такой:
                                                                                                                    @echo off
                                                                                                                    set /A seed_x=%random%
                                                                                                                    set /A x_limit = 108199-1680
                                                                                                                    set /A X=%seed_x%-(%seed_x%/%x_limit%)*%x_limit%+1
                                                                                                                    
                                                                                                                    set /A seed_y=%random%
                                                                                                                    set /A y_limit = 81503-1050
                                                                                                                    set /A y=%seed_y%-(%seed_y%/%y_limit%)*%y_limit%+1
                                                                                                                    
                                                                                                                    convert  eso1242a_108199x81503.raw.data -crop 1680x1050+%x%+%y%  result.jpg
                                                                                                                    

                                                                                                                    Большую часть занимает вычисление случайных координат, поэтому не 2 а аж 7 строчек.
                                                                                                                      0
                                                                                                                      64-х битный imagemagick? Q8 версия? Физической+виртуальной памяти 40Гб есть?
                                                                                                                        0
                                                                                                                        Q16.
                                                                                                                        > 40Гб есть?
                                                                                                                        нет, наверно нету. попробую на другой машине еще.
                                                                                                                          0
                                                                                                                          С Q16 нужно 70, берите неофициальный билд Q8.
                                                                                                                            0
                                                                                                                            Попробую. Впрочем сам скрипт рабочий, я его тестировал вот на этой картинке:
                                                                                                                            wms.lroc.asu.edu/lroc/view_lroc/LRO-L-LROC-2-EDR-V1.0/M135847041RE

                                                                                                                            Всегда приятно иметь свежий слой реголита перед глазами :)
                                                                                                                            только я немного подправил размеры и вызов:
                                                                                                                            convert  M135847041RC_pyr.tif[0] -crop 1680x1050+%x%+%y%  crop_%x%_%y%.jpg
                                                                                                                            

                                                                                                                Only users with full accounts can post comments. Log in, please.