Comments 54
Так и не понял, вы уже с виртуалкой вышли в продакшн или какая-то поздняя отметка была?
Ну конечно с виртуалкой. И еще 3000 дисков в нее воткнули.
Остро :-)
Вот потому и спросил.
Эта система, написанная на коленке за две недели, проработала несколько месяцев.
Вот потому и спросил.
оскольку стораджей очень много, нагрузка по генерации миниатюр «размазана» примерно равномерно, и, по нашим ощущениям, генератор работает достаточно быстро (ну, может, за исключением тех случаев, когда запрашивается файл 16 000 x 16 000 пикселей).
Сейчас проверил, для панорамы в 14000х9000 не создается превью вообще. Кроме этого, она вообще не открывается через веб интерфейс, элемент не реагирует на щелчок мышью.
Но это редкий случай, главная проблема в другом:
Кроме мелких превью (иконка файла), не предусмотрено создание превью для веба и самое ужасное — для мобильного приложения. Всегда грузится вся фотография целиком. Если для домашнего компьютера с нормальной скоростью интернета, это еще терпимо, а вот для смартфона, с низкой скоростью интернета, это не совсем правильно.
P.S. ну и немного поною по поводу отсутствия ландшафтной ориентации в android приложении, это позор )
Мы как раз работаем наб обеими проблемами в Андроид-приложении. В следующей версии планируется и ландшафтный дизайн и загрузку миниатюр.
Вот это отлично, а то посмотрел папочку с фотографиями со смартфона, и 500 мб в кэш легло )
Где нибудь можно в бета тесте поучаствовать?
Где нибудь можно в бета тесте поучаствовать?
У нас есть сообщество на Google+ plus.google.com/u/0/communities/109819884866346500127 в нем мы раздаем бета-версии Android приложения
Может быть я что то делаю не так, но по ссылке «бета версия приложения» — 404 ( play.google.com/apps/testing/ru.mail.cloud )
Меня выше поправили. Бета тестирование есть, но только для Андроида.
То что генератор миниатюр работает на лету ощущается, но это простительно по сравнению с предоставляемым местом в 1ТБ. Mail.Ru умеет приятно удивлять :)
UFO just landed and posted this here
«Высказанный комментарий абсолютно не отражает позиции Mail.Ru Group. В данном случае сотрудник существенно превысил свои полномочия и высказался на тему, не относящуюся к сфере его компетенций. После обсуждения инцидента мы приняли решение расстаться — больше Михаил Кочергин не работает в компании». От пресс-службы Мейл.ру
Комментарий на тему «отсебячины» сотрудника или техническая статья? Хм… я даже не знаю :)
Для такого рода комментариев есть профильные ресурсы — Roem, Цукерберг и прочая.
Хабр, имхо — это информация для технической аудитории в первую очередь.
Для такого рода комментариев есть профильные ресурсы — Roem, Цукерберг и прочая.
Хабр, имхо — это информация для технической аудитории в первую очередь.
Обыскал ближайшие посты от Mail.ru про WoT, можете дать ссылку?
Мы планируем в ближайшем будущем серьезно ускорить показ миниатюр. Причем, со стороны сервера уже должно работать быстро. Но есть небольшие проблемы производительности на стороне client-side'а, которые мы решаем.
А чего на картинке кот такой недовольный?
Имея терабайт в «облаке», очень хочется иметь к нему еще и открытое API для того, чтобы найти этому терабайту хорошее применение, а не делать просто хранилище фоточек :)
Тяжелый день для публикации.
Ждем webdav)
Дико извиняюсь, но из-за дурной репутации вашей организации, читать пост просто нет никакого желания. Отвращение, что-ли.
Уверен, что под катом много годноты от хороших программистов, но ребят…
Уверен, что под катом много годноты от хороших программистов, но ребят…
Зря вы так. Вся команда Облака пришла в Mail.Ru 1-1,5 года назад, проект писался полностью с нуля. К прошлым пригрешениям Mail.Ru ребята отношения не имеют.
Я не имею притензий к команде, я говорю о том, что у меня из-за кармы компании, нету желания слышать «mail.ru»
Я понимаю вашу точку зрения. Но, не наступая на свободу слова, хочу лишь высказать мысль, что ребятам, принимающим участие в проекте, могут быть обидны ваши высказывания про компанию, где они работают.
>>ребятам, принимающим участие в проекте, могут быть обидны ваши высказывания про компанию, где они работают
И ребята набежали и «вогнали в краску» неосторожного комментатора? Вместо тысячи слов…
И ребята набежали и «вогнали в краску» неосторожного комментатора? Вместо тысячи слов…
Мы не знаем, кто вогнал в краску. У статьи более 15000 просмотров. А разработчиков в ОблакеMail.Ru в 100 раз меньше.
Этот мир жесток
А если не секрет, сколько человек у вас занимается разработкой этого проекта?
Самописную базу данных в open source не собираетесь выкладывать? или она узко специализирована?
Самописную базу данных в open source не собираетесь выкладывать? или она узко специализирована?
Разработчиков на всем проекте 15 человек (включая сервер-сайд, базу, хранилище, веб, мобильную разработку, десктоп-разработку). Про выкладывание в open source думаем, но пока наша база достаточно узко специализирована. Как только найдем ей применение в более чем одном проекте, то можно будет всерьез этим заняться.
Изначально мы хотели запуститься на большом количестве дешевых машин
А как в итоге получилось?
У нас есть отдельная команда, которая пишет анализатор, строящий различные графики для выявления и анализа проблем.
Так же было бы интересно послушать о результатах работы этой команды. На чем пишут, какого объема данными оперируют, чем могут похвастать, о чем мечтают?
И хотелось бы как-то понять, какой технологический стек получился в итоге. Правильно ли я понял, что в backend всё написано на C? За исключением, наверное, аналитики.
Так и получилось изначально. Максимальная оптимизация кода проходит красной нитью через всю нашу разработку с самого старта.
Насчет команды статистики — используем Perl. Много самописных инструментов, но есть и сторонние, например, graphite. Когда-нибудь мы напишем про это подробную статью.
Насчет технологического стека. В самом низу (хранилища и база) — старый добрый C. Чуть повыше — С++ и Perl. С самого верху все более или менее стандартно, веб — HTML/JavaScript, iOS — Objective C, Android — Java, десктопные приложения — C++.
Насчет команды статистики — используем Perl. Много самописных инструментов, но есть и сторонние, например, graphite. Когда-нибудь мы напишем про это подробную статью.
Насчет технологического стека. В самом низу (хранилища и база) — старый добрый C. Чуть повыше — С++ и Perl. С самого верху все более или менее стандартно, веб — HTML/JavaScript, iOS — Objective C, Android — Java, десктопные приложения — C++.
Спасибо за ответ! Созрел еще один вопрос.
А вы это как-нибудь поддерживаете в Continuous Integration? Синтетические тесты? Нагрузочные тесты?
оптимизация кода проходит красной нитью
А вы это как-нибудь поддерживаете в Continuous Integration? Синтетические тесты? Нагрузочные тесты?
Синтетические нагрузочные тесты. Но они до конца еще не внедрены в Continuous Integration и проводятся только тогда, когда мы делаем серьезное изменение в коде.
Кроме того, у нас масса графиков, фиксирующих малейшие изменения в производительности или скорости ответа. Админы в них поглядывают + получают смс в случае совсем критичных изменений, и сообщают все разработчикам, которые быстро разбираются в неоптимальностях в коде.
И кроме того, у нас есть сплит-тестирование. Мы очень любим внедрять новые фичи или серьезные изменения в серверном коде на часть аудитории, чтобы следить в том числе за нагрузкой.
Кроме того, у нас масса графиков, фиксирующих малейшие изменения в производительности или скорости ответа. Админы в них поглядывают + получают смс в случае совсем критичных изменений, и сообщают все разработчикам, которые быстро разбираются в неоптимальностях в коде.
И кроме того, у нас есть сплит-тестирование. Мы очень любим внедрять новые фичи или серьезные изменения в серверном коде на часть аудитории, чтобы следить в том числе за нагрузкой.
Какая выгода с подобного проекта? Ну кроме доступа и ретрансляции файлов…
Способов применения действительно много и оно полезно для использования, но что же движет этим проектом?
Способов применения действительно много и оно полезно для использования, но что же движет этим проектом?
Запилите уже WebDAV, я буду счастлив :)
Да ладно Вы, так ведь все, все будут счастливы!
Наконец duplicati опять сможет работать, т.е. шифрование данных в «облаке» можно будет реализовать почти прозрачно — и хранить, таким образом, что хочешь, а не только то, что «не жалко отдать толпе».
Правда, трафик тогда еще подрастет, CPU нагрузятся, дедупликация задумается (как же, поищите в криптоконтейнерах одинаковые блоки!) — в общем, площадка рада не очень будет, зато особо параноидальные пользователи сервиса (думаю, на Хабре таких хватает) перестанут переживать.
И количество просьб провести еще одну раздачу «1000 Гб бесплатно» резко возрастет )
Наконец duplicati опять сможет работать, т.е. шифрование данных в «облаке» можно будет реализовать почти прозрачно — и хранить, таким образом, что хочешь, а не только то, что «не жалко отдать толпе».
Правда, трафик тогда еще подрастет, CPU нагрузятся, дедупликация задумается (как же, поищите в криптоконтейнерах одинаковые блоки!) — в общем, площадка рада не очень будет, зато особо параноидальные пользователи сервиса (думаю, на Хабре таких хватает) перестанут переживать.
И количество просьб провести еще одну раздачу «1000 Гб бесплатно» резко возрастет )
Вот бы еще сделали чтоб можно было делиться «совсем» прямыми ссылками…
И консольный клиент для пингвиноводов! А то на сервер без гуя не поставить!
На мой взгляд, несмотря на малый рейтинг, пока это лучшая статья на Хабре за весь — пока недолгий — 2014 год. Во-первых, вы изложили всё очень простым языком (так, что даже я, 5 лет назад отошедший от разработки словно почувствовал себя на вашем месте).
Во-вторых, в статье описано именно то, что достойно называться словом highload. Потому что в большинстве случаев называть этим словом обычный сложный проект не всегда корректно. Возможно, сейчас это звучит еще не как общее место и даже отчасти спорно, но на мой взгляд, к 2014 году не так уж просто найти ИТ-задачу на производительность, которую невозможно было бы «в лоб» решить тем, что по большому счету можно хотя бы с натяжкой назвать вертикальным масштабированием. Иными словами, побольше денег вложить в «железо» и дорогостоящие проприетарные технологии (в духе «run SAP HANA and don't care»). И совсем другое дело, когда бизнес требует от CTO реального технологического прорыва потому что вертикальное масштабирование банаљно нерентабељно, а CTO ничтоже сумняшеся принимает решение изготовить «самописную базу данных» потому что «так дешевле». Не знаю как по-вашему, а по-моему, для этого нужны стальные яйца.
Вы молодцы не только в том, что впервые с 1997 года выпустили под лейблом mail.ru действитељно крутой проект, но и в том, что очень харизматично его представили широкой публике. Последние годы меня сложно было назвать хоть сколько-нибудь лояльным Mail.Ru Group (взять хотя бы историю с Хабром или Вконтакте), но именно этот ваш продукт меня в буквальном смысле подкупает. Мне кажется, я не один такой. Удачи!
Во-вторых, в статье описано именно то, что достойно называться словом highload. Потому что в большинстве случаев называть этим словом обычный сложный проект не всегда корректно. Возможно, сейчас это звучит еще не как общее место и даже отчасти спорно, но на мой взгляд, к 2014 году не так уж просто найти ИТ-задачу на производительность, которую невозможно было бы «в лоб» решить тем, что по большому счету можно хотя бы с натяжкой назвать вертикальным масштабированием. Иными словами, побольше денег вложить в «железо» и дорогостоящие проприетарные технологии (в духе «run SAP HANA and don't care»). И совсем другое дело, когда бизнес требует от CTO реального технологического прорыва потому что вертикальное масштабирование банаљно нерентабељно, а CTO ничтоже сумняшеся принимает решение изготовить «самописную базу данных» потому что «так дешевле». Не знаю как по-вашему, а по-моему, для этого нужны стальные яйца.
Вы молодцы не только в том, что впервые с 1997 года выпустили под лейблом mail.ru действитељно крутой проект, но и в том, что очень харизматично его представили широкой публике. Последние годы меня сложно было назвать хоть сколько-нибудь лояльным Mail.Ru Group (взять хотя бы историю с Хабром или Вконтакте), но именно этот ваш продукт меня в буквальном смысле подкупает. Мне кажется, я не один такой. Удачи!
Есть планы поддержки доступа по IPv6, и если есть, то примерно когда? Спасибо.
Не узнаю mail.ru. Правда, так много времени это название служило символом… ну, все знают, чего. И в смысле толп «хомячков» со званиями экспертов на всяких «ответах» (а оттого — и контента там же) так оно и по сию пору. Но техническая часть (которую мы, как читатели Хабра, видим только «из глаз» рассказчика, да и то видим фрагментально) хороша, интересна, заслуживает уважения и вообще вызывает желание работать с вами и сейчас, и далее.
Скажите, это у вас курс сменился в компании — «вперед, к обелению нашего имени!», или вы всегда были белые и пушистые, просто по какой-то сложной причине никому об этом не рассказывали?
Скажите, это у вас курс сменился в компании — «вперед, к обелению нашего имени!», или вы всегда были белые и пушистые, просто по какой-то сложной причине никому об этом не рассказывали?
скажем так, в прошлом мы совершали много ошибок, но последние несколько лет мы сознательно и активно над ними работаем. в том числе большие изменения происходят в области технологий, техническая команда значительно усилилась и сейчас не соврем, если скажем, что это одна из лучших команд в России, а в некоторых направлениях и вообще, наверное, лучшая :)
Cкажите, а есть ли официальная страничка проекта, с новостями а-ля 'вышла новая версия'?
Sign up to leave a comment.
В Облака на Zeppelin: опыт создания облачного сервиса Mail.Ru Group