Комментарии 6
Расскажите подробнее, в чем проблема использования разных фс, систем мониторинга, операционных систем. Как часто биологами приходится что-то делать вне программ, специально для них разработанных?
Это у физиков-то компьютеры с малым объёмом памяти?
Посмотрите, какой объём информации хранится в вычислительном центре ЦЕРНа.
Посмотрите, какой объём информации хранится в вычислительном центре ЦЕРНа.
Я попросила Сергея прокомментировать. Вот его ответ:
Не совсем ясно, имеется в виду оперативная память, или хранилище.
У российских физиков мне не приходилось видеть узел с RAM 512 GB.
Обычно задачи у них вычислительно-интенсивные, а не требующие большой памяти. Что касается хранилищ, то, ясное дело, данные с коллайдера CERN хранятся по всему миру, объем в петабайтах. Для этого был разработан grid. Здесь речь о другом — об организации датацентра в научной лаборатории биологического профиля, не имеющий IT-отдела. У всех физиков, с которыми мне приходилось общаться, задачи требовали расчетов, а не обработки данных, и, соответственно, получить от них советов по архитектуре датацентра не получилось. Если Вы приведете примеры таких лабораторий, то все биологи с секвенаторами немедленно пойдут к этим физикам за советом.
Не совсем ясно, имеется в виду оперативная память, или хранилище.
У российских физиков мне не приходилось видеть узел с RAM 512 GB.
Обычно задачи у них вычислительно-интенсивные, а не требующие большой памяти. Что касается хранилищ, то, ясное дело, данные с коллайдера CERN хранятся по всему миру, объем в петабайтах. Для этого был разработан grid. Здесь речь о другом — об организации датацентра в научной лаборатории биологического профиля, не имеющий IT-отдела. У всех физиков, с которыми мне приходилось общаться, задачи требовали расчетов, а не обработки данных, и, соответственно, получить от них советов по архитектуре датацентра не получилось. Если Вы приведете примеры таких лабораторий, то все биологи с секвенаторами немедленно пойдут к этим физикам за советом.
Ответ Сергея Науменко:
Файловая система lustre — это сложная вещь. Почитайте о её архитектуре.
Фактически она распределяет нагрузку на несколько файл-серверов.
По быстродействию и надежности практически не имеет конкурентов, во всяком случае, в свободном сегменте — она установлена на многих суперкомпьютерах из списка top500. Установить её, мониторить, настраивать — это отдельная деятельность. Можете полистать мануал на 400с.
wiki.lustre.org/index.php/Lustre_Documentation
Насчет операционных систем. Windows отпадает — просто и дешево на ней такую систему вы не построите. Остается Linux. Важно сделать правильный выбор дистрибутива, чтобы потом не пришлось все переделывать.
Наш опыт — использовать RHEL/CentOS/Scientific Linux/Oracle Linux/Springdale Linux
Существует множество программ, которые пишут биоинформатики. Достаточно посмотреть в журнал bioinformatics. Однако при использовнии этих программ приходится все время что-то допиливать, и в любом случае ежедневно писать скрипты для запуска программ, обработки данных и т.д.
Файловая система lustre — это сложная вещь. Почитайте о её архитектуре.
Фактически она распределяет нагрузку на несколько файл-серверов.
По быстродействию и надежности практически не имеет конкурентов, во всяком случае, в свободном сегменте — она установлена на многих суперкомпьютерах из списка top500. Установить её, мониторить, настраивать — это отдельная деятельность. Можете полистать мануал на 400с.
wiki.lustre.org/index.php/Lustre_Documentation
Насчет операционных систем. Windows отпадает — просто и дешево на ней такую систему вы не построите. Остается Linux. Важно сделать правильный выбор дистрибутива, чтобы потом не пришлось все переделывать.
Наш опыт — использовать RHEL/CentOS/Scientific Linux/Oracle Linux/Springdale Linux
Существует множество программ, которые пишут биоинформатики. Достаточно посмотреть в журнал bioinformatics. Однако при использовнии этих программ приходится все время что-то допиливать, и в любом случае ежедневно писать скрипты для запуска программ, обработки данных и т.д.
Ответ Сергея Науменко:
Файловая система lustre — это сложная вещь. Почитайте о её архитектуре.
Фактически она распределяет нагрузку на несколько файл-серверов.
По быстродействию и надежности практически не имеет конкурентов, во всяком случае, в свободном сегменте — она установлена на многих суперкомпьютерах из списка top500. Установить её, мониторить, настраивать — это отдельная деятельность. Можете полистать мануал на 400с.
wiki.lustre.org/index.php/Lustre_Documentation
Насчет операционных систем. Windows отпадает — просто и дешево на ней такую систему вы не построите. Остается Linux. Важно сделать правильный выбор дистрибутива, чтобы потом не пришлось все переделывать.
Наш опыт — использовать RHEL/CentOS/Scientific Linux/Oracle Linux/Springdale Linux
Существует множество программ, которые пишут биоинформатики. Достаточно посмотреть в журнал bioinformatics. Однако при использовнии этих программ приходится все время что-то допиливать, и в любом случае ежедневно писать скрипты для запуска программ, обработки данных и т.д.
Файловая система lustre — это сложная вещь. Почитайте о её архитектуре.
Фактически она распределяет нагрузку на несколько файл-серверов.
По быстродействию и надежности практически не имеет конкурентов, во всяком случае, в свободном сегменте — она установлена на многих суперкомпьютерах из списка top500. Установить её, мониторить, настраивать — это отдельная деятельность. Можете полистать мануал на 400с.
wiki.lustre.org/index.php/Lustre_Documentation
Насчет операционных систем. Windows отпадает — просто и дешево на ней такую систему вы не построите. Остается Linux. Важно сделать правильный выбор дистрибутива, чтобы потом не пришлось все переделывать.
Наш опыт — использовать RHEL/CentOS/Scientific Linux/Oracle Linux/Springdale Linux
Существует множество программ, которые пишут биоинформатики. Достаточно посмотреть в журнал bioinformatics. Однако при использовнии этих программ приходится все время что-то допиливать, и в любом случае ежедневно писать скрипты для запуска программ, обработки данных и т.д.
Интересная статья.
Тоже используем Lustre и Red Hat в качестве ОС. Но у нас много серверов по 50 ядер + 500 гб оперативки, и нагрузка распределяется с помощью Condor.
У вас у сервера 400 ядер, или несколько серверов? И как распределяются ресурсы между разными задачами?
Тоже используем Lustre и Red Hat в качестве ОС. Но у нас много серверов по 50 ядер + 500 гб оперативки, и нагрузка распределяется с помощью Condor.
У вас у сервера 400 ядер, или несколько серверов? И как распределяются ресурсы между разными задачами?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Компьютеры для геномики