Pull to refresh

Comments 54

Так и не понял, вы уже с виртуалкой вышли в продакшн или какая-то поздняя отметка была?
Ну конечно с виртуалкой. И еще 3000 дисков в нее воткнули.
Остро :-)
Эта система, написанная на коленке за две недели, проработала несколько месяцев.

Вот потому и спросил.
Наверное, мы не совсем четко сформулировали. Разумеется, проработала в тесте, не на продакшне.
Видимо уже привык к стартапам и гибкой разработке: каждый месяц релиз, каждую фичу сразу в деплой )
А вы основательно тестировали.
Ну, разумеется. Тем более, сервис, который хранит личные данные, надо очень тщательно тестировать.
У Mail.Ru Group есть более 3000 сотрудников, которых можно использовать в качестве бета-тестеров. Не у каждого стартапа в первые месяцы набирается столько пользователей ;-)
оскольку стораджей очень много, нагрузка по генерации миниатюр «размазана» примерно равномерно, и, по нашим ощущениям, генератор работает достаточно быстро (ну, может, за исключением тех случаев, когда запрашивается файл 16 000 x 16 000 пикселей).

Сейчас проверил, для панорамы в 14000х9000 не создается превью вообще. Кроме этого, она вообще не открывается через веб интерфейс, элемент не реагирует на щелчок мышью.

Но это редкий случай, главная проблема в другом:
Кроме мелких превью (иконка файла), не предусмотрено создание превью для веба и самое ужасное — для мобильного приложения. Всегда грузится вся фотография целиком. Если для домашнего компьютера с нормальной скоростью интернета, это еще терпимо, а вот для смартфона, с низкой скоростью интернета, это не совсем правильно.

P.S. ну и немного поною по поводу отсутствия ландшафтной ориентации в android приложении, это позор )
Мы как раз работаем наб обеими проблемами в Андроид-приложении. В следующей версии планируется и ландшафтный дизайн и загрузку миниатюр.
Вот это отлично, а то посмотрел папочку с фотографиями со смартфона, и 500 мб в кэш легло )
Где нибудь можно в бета тесте поучаствовать?
в сообщество нужно было вступить, оказывается. Вопрос снят. Уже тестирую.
То что генератор миниатюр работает на лету ощущается, но это простительно по сравнению с предоставляемым местом в 1ТБ. Mail.Ru умеет приятно удивлять :)
UFO just landed and posted this here
«Высказанный комментарий абсолютно не отражает позиции Mail.Ru Group. В данном случае сотрудник существенно превысил свои полномочия и высказался на тему, не относящуюся к сфере его компетенций. После обсуждения инцидента мы приняли решение расстаться — больше Михаил Кочергин не работает в компании». От пресс-службы Мейл.ру
Комментарий на тему «отсебячины» сотрудника или техническая статья? Хм… я даже не знаю :)
Для такого рода комментариев есть профильные ресурсы — Roem, Цукерберг и прочая.
Хабр, имхо — это информация для технической аудитории в первую очередь.
Мы планируем в ближайшем будущем серьезно ускорить показ миниатюр. Причем, со стороны сервера уже должно работать быстро. Но есть небольшие проблемы производительности на стороне client-side'а, которые мы решаем.
Кот важный просто, а вот у программиста волосы дыбом встали почему-то.
Программист уже просто в облаке, а коту тоже хочется)
Имея терабайт в «облаке», очень хочется иметь к нему еще и открытое API для того, чтобы найти этому терабайту хорошее применение, а не делать просто хранилище фоточек :)
Очень. Именно его отсутствие пока останавливает от использования сервиса.
Дико извиняюсь, но из-за дурной репутации вашей организации, читать пост просто нет никакого желания. Отвращение, что-ли.

Уверен, что под катом много годноты от хороших программистов, но ребят…
Зря вы так. Вся команда Облака пришла в Mail.Ru 1-1,5 года назад, проект писался полностью с нуля. К прошлым пригрешениям Mail.Ru ребята отношения не имеют.
Я не имею притензий к команде, я говорю о том, что у меня из-за кармы компании, нету желания слышать «mail.ru»
Я понимаю вашу точку зрения. Но, не наступая на свободу слова, хочу лишь высказать мысль, что ребятам, принимающим участие в проекте, могут быть обидны ваши высказывания про компанию, где они работают.
>>ребятам, принимающим участие в проекте, могут быть обидны ваши высказывания про компанию, где они работают
И ребята набежали и «вогнали в краску» неосторожного комментатора? Вместо тысячи слов…
Мы не знаем, кто вогнал в краску. У статьи более 15000 просмотров. А разработчиков в ОблакеMail.Ru в 100 раз меньше.
А если не секрет, сколько человек у вас занимается разработкой этого проекта?
Самописную базу данных в open source не собираетесь выкладывать? или она узко специализирована?
Разработчиков на всем проекте 15 человек (включая сервер-сайд, базу, хранилище, веб, мобильную разработку, десктоп-разработку). Про выкладывание в open source думаем, но пока наша база достаточно узко специализирована. Как только найдем ей применение в более чем одном проекте, то можно будет всерьез этим заняться.
Изначально мы хотели запуститься на большом количестве дешевых машин

А как в итоге получилось?

У нас есть отдельная команда, которая пишет анализатор, строящий различные графики для выявления и анализа проблем.

Так же было бы интересно послушать о результатах работы этой команды. На чем пишут, какого объема данными оперируют, чем могут похвастать, о чем мечтают?

И хотелось бы как-то понять, какой технологический стек получился в итоге. Правильно ли я понял, что в backend всё написано на C? За исключением, наверное, аналитики.
Так и получилось изначально. Максимальная оптимизация кода проходит красной нитью через всю нашу разработку с самого старта.

Насчет команды статистики — используем Perl. Много самописных инструментов, но есть и сторонние, например, graphite. Когда-нибудь мы напишем про это подробную статью.

Насчет технологического стека. В самом низу (хранилища и база) — старый добрый C. Чуть повыше — С++ и Perl. С самого верху все более или менее стандартно, веб — HTML/JavaScript, iOS — Objective C, Android — Java, десктопные приложения — C++.
Спасибо за ответ! Созрел еще один вопрос.

оптимизация кода проходит красной нитью

А вы это как-нибудь поддерживаете в Continuous Integration? Синтетические тесты? Нагрузочные тесты?
Синтетические нагрузочные тесты. Но они до конца еще не внедрены в Continuous Integration и проводятся только тогда, когда мы делаем серьезное изменение в коде.
Кроме того, у нас масса графиков, фиксирующих малейшие изменения в производительности или скорости ответа. Админы в них поглядывают + получают смс в случае совсем критичных изменений, и сообщают все разработчикам, которые быстро разбираются в неоптимальностях в коде.
И кроме того, у нас есть сплит-тестирование. Мы очень любим внедрять новые фичи или серьезные изменения в серверном коде на часть аудитории, чтобы следить в том числе за нагрузкой.
Какая выгода с подобного проекта? Ну кроме доступа и ретрансляции файлов…
Способов применения действительно много и оно полезно для использования, но что же движет этим проектом?
Как минимум выгода в привлечении и удержании аудитории на портале Mail.Ru, и в т.ч. на главной странице и почте. А главная страница, портал, почта — это доходы от рекламы.
Да ладно Вы, так ведь все, все будут счастливы!

Наконец duplicati опять сможет работать, т.е. шифрование данных в «облаке» можно будет реализовать почти прозрачно — и хранить, таким образом, что хочешь, а не только то, что «не жалко отдать толпе».

Правда, трафик тогда еще подрастет, CPU нагрузятся, дедупликация задумается (как же, поищите в криптоконтейнерах одинаковые блоки!) — в общем, площадка рада не очень будет, зато особо параноидальные пользователи сервиса (думаю, на Хабре таких хватает) перестанут переживать.

И количество просьб провести еще одну раздачу «1000 Гб бесплатно» резко возрастет )
Вот бы еще сделали чтоб можно было делиться «совсем» прямыми ссылками…
И консольный клиент для пингвиноводов! А то на сервер без гуя не поставить!
На мой взгляд, несмотря на малый рейтинг, пока это лучшая статья на Хабре за весь — пока недолгий — 2014 год. Во-первых, вы изложили всё очень простым языком (так, что даже я, 5 лет назад отошедший от разработки словно почувствовал себя на вашем месте).

Во-вторых, в статье описано именно то, что достойно называться словом highload. Потому что в большинстве случаев называть этим словом обычный сложный проект не всегда корректно. Возможно, сейчас это звучит еще не как общее место и даже отчасти спорно, но на мой взгляд, к 2014 году не так уж просто найти ИТ-задачу на производительность, которую невозможно было бы «в лоб» решить тем, что по большому счету можно хотя бы с натяжкой назвать вертикальным масштабированием. Иными словами, побольше денег вложить в «железо» и дорогостоящие проприетарные технологии (в духе «run SAP HANA and don't care»). И совсем другое дело, когда бизнес требует от CTO реального технологического прорыва потому что вертикальное масштабирование банаљно нерентабељно, а CTO ничтоже сумняшеся принимает решение изготовить «самописную базу данных» потому что «так дешевле». Не знаю как по-вашему, а по-моему, для этого нужны стальные яйца.

Вы молодцы не только в том, что впервые с 1997 года выпустили под лейблом mail.ru действитељно крутой проект, но и в том, что очень харизматично его представили широкой публике. Последние годы меня сложно было назвать хоть сколько-нибудь лояльным Mail.Ru Group (взять хотя бы историю с Хабром или Вконтакте), но именно этот ваш продукт меня в буквальном смысле подкупает. Мне кажется, я не один такой. Удачи!
В свою очередь скажу, что я за этот год не встречал еще на Хабре такой развернутой, точной и существенной рецензии на статью.
Спасибо вам огромное!
Есть планы поддержки доступа по IPv6, и если есть, то примерно когда? Спасибо.
Планы есть. Сроков назвать, к сожалению, не можем.
Не узнаю mail.ru. Правда, так много времени это название служило символом… ну, все знают, чего. И в смысле толп «хомячков» со званиями экспертов на всяких «ответах» (а оттого — и контента там же) так оно и по сию пору. Но техническая часть (которую мы, как читатели Хабра, видим только «из глаз» рассказчика, да и то видим фрагментально) хороша, интересна, заслуживает уважения и вообще вызывает желание работать с вами и сейчас, и далее.

Скажите, это у вас курс сменился в компании — «вперед, к обелению нашего имени!», или вы всегда были белые и пушистые, просто по какой-то сложной причине никому об этом не рассказывали?
скажем так, в прошлом мы совершали много ошибок, но последние несколько лет мы сознательно и активно над ними работаем. в том числе большие изменения происходят в области технологий, техническая команда значительно усилилась и сейчас не соврем, если скажем, что это одна из лучших команд в России, а в некоторых направлениях и вообще, наверное, лучшая :)
Cкажите, а есть ли официальная страничка проекта, с новостями а-ля 'вышла новая версия'?
Sign up to leave a comment.