Войти
Grid2003
В рамках проекта Grid2003 развернут один из самых крупных грид в мире - “Grid3”, объединяющий мощные вычислительные центры США и функционирующий в непрерывном режиме с ноября 2003 года. Созданная инфраструктура используется в интересах нескольких областей науки: поддерживается 6 виртуальных организаций, более 100 членов которых решают прикладные задачи по обработке данных физических экспериментов, астрофизики, а также анализа генома человека и молекулярных структур. Инфраструктура состоит из 23 сайтов – грид-узлов и включает 2800 процессоров. На Grid3 выполняется 10 разных приложений, средняя загрузка составляет 1300 одновременно выполняющихся заданий, объем передачи данных между узлами - более 2 Тбайтов ежедневно.
Помимо производственного назначения Grid3 служит полигоном для исследовательской деятельности по развитию ПО грид. Базовое ПО Grid3 - пакет Virtual Data Toolkit (VDT) [1], который включает Globus Toolkit, Condor, ряд служб проектов GriPhyN [2] и PPDG [3], а также некоторые компоненты платформы EU DataGrid. Этот комплект расширяем несколькими дополнительными службами: Replica Location Service (RLS) [4], Storage Resource Manager (SRM) [5], и dCache [6].
Большое внимание в Grid3 уделяется вопросам обслуживания и управления инфраструктурой: инсталляции узлов, мониторингу и информационной службе, управлению виртуальными организациями.
o серверное и клиентское ПО, основанное на концепции агентов среды мониторинга MonALISA [9].
Распределенная служба мониторинга Grid3 в оперативном режиме отслеживает состояние всех компонентов грид и выполняющихся в нем приложений. Применяется несколько пакетов, собирающих данные мониторинга [10] и предоставляющих их прочим службам и клиентским программам.
Концепция Виртуальной организации позволяет упростить доступ пользователей к ресурсам Grid3 и уменьшить нагрузку на администратора ресурсного узла. Такая организация поддерживается средствами Virtual Organization Management System (VOMS) [11] из проекта EU DataGrid. Пользователи ресурсов имеют доступ в узлах к групповым профилям и к файлам grid-map, которые отображают пользовательские сертификаты стандарта X509 в эти профили и могут быть получены с сервера VOMS.
[1]. The Virtual Data Toolkit (VDT), www.cs.wisc.edu/vdt.
[2]. Grid Physics Network, www.griphyn.org.
[3]. Particle Physics Data Grid, www.ppdg.org.
[4]. A. Chervenak, E. Deelman, et al., "Giggle: A Framework for Constructing Sclable Replica Location Services," presented at SC'02: High Performance Networking and Computing., 2002.
[5]. A. Shoshani, Sim, A. and Gu, J., "Storage Resource Managers: Essential Components for the Grid," in Resource Management for Grid Computing, J. Nabrzyski, Schopf, J. and Weglarz, J., Ed., 2003.
[6]. The dCache Project, www.dcache.org.
[7]. S. Youssef, Pacman, a Package Manger, physics.bu.edu/~youssef/pacman/.
[8]. Mason J. Katz Federico D. Sacerdoti, Matthew L. Massie, David E Culler, "Wide Area Cluster Monitoring with Ganglia," IEEE Cluster 2003 Conference, Hong Kong, 2003.
[9]. I.C. Legrand H.B. Newman, P.Galvez, R. Voicu, C. Cirstoiu, "MonALISA: A Distributed Monitoring Service Architecture," CHEP 2003, La Jola, California, 2003.
[10]. The Grid2003 Production Grid: Principles and Practice. Proc. 13th IEEE Intl. Symposium on High Performance Distributed Computing, 2004. www-fp.grids-center.org/news/pdf/HPDC13-Grid3-final.pdf.
[11]. EU DataGrid Java Security Working Group, VOMS Architecture v1.1, grid-auth.infn.it/docs/VOMS-v1_1.pdf.
Помимо производственного назначения Grid3 служит полигоном для исследовательской деятельности по развитию ПО грид. Базовое ПО Grid3 - пакет Virtual Data Toolkit (VDT) [1], который включает Globus Toolkit, Condor, ряд служб проектов GriPhyN [2] и PPDG [3], а также некоторые компоненты платформы EU DataGrid. Этот комплект расширяем несколькими дополнительными службами: Replica Location Service (RLS) [4], Storage Resource Manager (SRM) [5], и dCache [6].
Большое внимание в Grid3 уделяется вопросам обслуживания и управления инфраструктурой: инсталляции узлов, мониторингу и информационной службе, управлению виртуальными организациями.
- VDT существенно облегчает задачу администраторов ресурсных узлов по установке и конфигурированию интерфейсов грид-служб, элементов памяти и поставщиков информации. Собственно инсталляция поддерживается конфигуратором Pacman [7]. Стандартная конфигурация включает следующее ПО:
- компоненты Globus Toolkit GSI, GRAM, и службу GridFTP;
- информационную службу MDS, адаптированную для каждой виртуальной организации;
- службу мониторинга ресурсов, опирающуюся на систему мониторинга кластеров
[1]. The Virtual Data Toolkit (VDT), www.cs.wisc.edu/vdt.
[2]. Grid Physics Network, www.griphyn.org.
[3]. Particle Physics Data Grid, www.ppdg.org.
[4]. A. Chervenak, E. Deelman, et al., "Giggle: A Framework for Constructing Sclable Replica Location Services," presented at SC'02: High Performance Networking and Computing., 2002.
[5]. A. Shoshani, Sim, A. and Gu, J., "Storage Resource Managers: Essential Components for the Grid," in Resource Management for Grid Computing, J. Nabrzyski, Schopf, J. and Weglarz, J., Ed., 2003.
[6]. The dCache Project, www.dcache.org.
[7]. S. Youssef, Pacman, a Package Manger, physics.bu.edu/~youssef/pacman/.
[8]. Mason J. Katz Federico D. Sacerdoti, Matthew L. Massie, David E Culler, "Wide Area Cluster Monitoring with Ganglia," IEEE Cluster 2003 Conference, Hong Kong, 2003.
[9]. I.C. Legrand H.B. Newman, P.Galvez, R. Voicu, C. Cirstoiu, "MonALISA: A Distributed Monitoring Service Architecture," CHEP 2003, La Jola, California, 2003.
[10]. The Grid2003 Production Grid: Principles and Practice. Proc. 13th IEEE Intl. Symposium on High Performance Distributed Computing, 2004. www-fp.grids-center.org/news/pdf/HPDC13-Grid3-final.pdf.
[11]. EU DataGrid Java Security Working Group, VOMS Architecture v1.1, grid-auth.infn.it/docs/VOMS-v1_1.pdf.
