TR-GRID Servisleri ve Grid Güvenliği Küme Bilgisayar ve

TR-GRID Servisleri ve Grid Güvenliği (Küme Bilgisayar ve Grid Mimarileri) Aslı Zengin asli@ulakbim. gov. tr Ankara, Temmuz 2007 Bu sunum Bob Jones’un ve Christos Filippidis’in sunumlarından alıntılar içermektedir. www. grid. org. tr

İÇERİK Küme Bilgisayar Mimarisi Bileşenler Kuyruk Sistemi İş Akışı Grid Mimarisi (g. Lite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi

Küme Bilgisayar ve Grid. . . Küme Bilgisayar Grid • Birbirine LAN yoluyla bağlı homojen hesaplama kaynakları • Coğrafi olarak dağıtık, heterojen kaynaklar • Araştırmaların önünü açacak insan ağının oluşturulması • Hesaplama + DEPOLAMA kaynakları • Ölçeklenirlikte kısıt yok! • Karmaşık mimari (Küme servisleri + siteler arası ortak servisler) • Network bağlantılarının yeterince hızlı olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken. ) • Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri • Her ne kadar ölçeklenirliği olsa da, karşılan sorunlar var: – Isı, boyut, donanım kısıtlamaları. . . • Basit mimari • İş göndermede ve sonuç almada hızlı erişim

Küme Bilgisayar Bileşenleri (yazılım)

Küme Bilgisayar Bileşenleri (donanım)

Küme Bilgisayar Kuyruk Sistemi Hesaplama Kaynakları Kuyruk A Kuyruk B A B Planlayıcı Kuyruk C C Kuyruk D D

Küme Bilgisayarlarda İş Akışı (Örnek: TR-03 -METU)

Grid Mimarisi (Ortakatman) Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur. Grid ortakatmanı: uygulamaların çalışacağı uygun yerleri bulur. kaynak kullanımını optimize eder. veri yığınlarına etkin erişim sağlar. birçok grid sitesinde kullanılan ortak bir kimlik doğrulama ve yetkilendirme servisi sağlar. işleri çalıştırır ve anlık iş durumunu izlemenize izin verir. işlerin sonuçlarını kullanıcılara taşır.

g. Lite-3. 0 Ortakatman Sürümü, Tarihçe 2006 Baharıyla birlikte LCG-2. 7. 0 ve g. Lite-1. 5 ortakatman yazılımları g. Lite-3. 0 çatısı altında birleşti: Uygulamalar sağlanması İşyükü yönetimine yönelik yeni çalışmalar tarafından prototyping kullanılırlığın LCG ve g. Lite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an g. Lite-3. 0 birçok proje ve altyapıda kullanılmaktadır. g. Lite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır. g. Lite prototyping Üretim seviyesinde altyapıda süreklilik LCG-2 2004 product 2005 product 2006 g. Lite 3. 0

Grid Katmanları Uygulamalar UYGULAMALAR Grid Uygulama Katmanı Grid Ortak Servisler ORTAKATMAN Temel Grid Servisleri Altyapı Taşları En Alt Seviye Yapı Servisleri GLOBUS Condor (VDT)

Grid Yapıtaşları (Temel Servisler) Gridin kaynaklarını kullanmak istiyorum! İşimin sonuçlarını depolamak istiyorum! Doğru kaynağı nerden bulabilirim? Tüm bu istediklerim güvenli bir ortamda yapılmalı!

Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme Kimlik Doğrulama • GSI (Grid Security Infrastructure) ve x 509 sertifikaları, Sertifika Otoriteleri (CA) Yetkilendirme • VOMS (Virtual Organization Membership Service), sanal organizasyonlar (VO) – Kullanıcıların disiplinlere göre gruplandırılması – Sitelerin VO tabanlı kaynak ayırımı – Proxy sertifikaları – My. Proxy Sunucusu ve uzun süreli proxy sertifikaları • LCG-2. 7. 0 ortakatmanına kadar APGrid. PMA EUGrid. PMA TAGPMA sadece grid-mapfile yapısı vardı. – International Grid Trust Federation • Kabul gören güven ağı: (IGTF) » EUGrid. PMA » APGrid. PMA » TAGPMA The Americas Grid PMA • Tüm EGEE siteleri IGTF altındaki CA’lara güvenir. – Kullanıcı tabanlı yetkilendirme • LCG-2. 7. 0 ve g. Lite ile birlikte VO Asiaeklentili proxy sertifikaları European Grid PMA Pacific – VO tabanlı lokal yetkilendirme Grid PMA servisleri

Kullanıcı Arayüzü (UI) g. Lite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. Kullanıcı arayüzünde: - Kullanıcılar kişisel hesaplara sahiptir. - Kullanıcıların sertifikaları yüklüdür. Aşağıdaki işlemleri komut satırı arayüzü sağlar: - Çalıştırılmak üzere iş göndermek - Bir iş için uygun kaynakları göstermek - Dosyaları kopyalamak ve replika etmek - İşleri takip etmek ve iptal etmek - Bitmiş işlerin sonuçlarını almak

Bilgi Servisleri (GRIS, GIIS, BDII) Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. g. Lite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır. IS servisleri üç ana aşamada bulunabilir: - GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir. - GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir. - BDII: Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir.

GRIS, GIIS, BDII İlişkisi Kullanıcılar İş Dağıtıcısı BDII-A CE Site GIIS SE Lokal GRIS CE Lokal GRIS BDII-B İzleme Servisleri CE Site GIIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS

Bilgi Servisleri (RGMA) Grid UI RGMA Plug-in Service Discovery Producer kullanıcı Hesaplama Elemanı (CE) sorgu RGMA Plug-in Registry BDII File Plug-in Consumer Service Discovery is a client for finding services and discovering their basic attributes İlişkisel Veri Modeli API’ler: Java, Python, C++ , C bilgi Depolama Elemanı (SE)

g. Lite Grid Servisleri İş Yönetimi Veri Yönetimi • İş Yükü Yönetimi (WMS) • Dosya ve Replika Katalogları (LFC) – Kaynak arayıcısı (RB) – Veri kullanan işler için DLI/SI arayüzü ile kataloglara erişim – Toplu iş gönderimi – İş akışına dayalı işler • Hesaplama Elemanı (CE) – Globus/EDG/LCG->Condor_C(Sanal organizasyon tabanlı iş planlama) • Loglama ve Servis Bilgilerinin Tutulması (Logging and Bookkeeping) • Lokal Kuyruk Yöneticisi – LSF, PBS, Condor, (Sun Grid Engine) – Depolama elemanlarındaki verilere kolay erişim – Grid dosyalarının düzenlenmesi – Merkezi veya lokal • Depolama Elemanları (SE) – DPM (VOMS grupları/rollerine, dosya erişim haklarının kullanılmasına izin verir. ) – Diğer SE’ler: d. Cache, Castor – Classic SE: artık kullanılmıyor • Diğer Özellikler ve IO Kütüphaneleri – Lcg-utils – GFAL – g. Lite IO

Hesaplama Elemanı (CE) g. Lite ortakatman yazılımını kullanan iki tip CE vardır: g. Lite-CE (yeni tip) ve lcg-CE (eski tip) g. Lite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. Bütün g. Lite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir. Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır: - Globus kapısıdır. - Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur. - Lokal kaynak yönetim sisteminin ana sunucusudur. (PBS, LSF, Condor. . . )

İş Yükü Yönetimi (WMS) Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların: - İşlerini gönderebilmelerini, - İşlerini en uygun kaynaklarda çalıştırmalarını, - Kaynakların kullanımını da aynı anda optimize etmeyi, - İşleri hakkında bilgi almasını, - İşlerinin sonuçlarını almasını sağlar.

İş Yükü Yönetimi (WMS) WMS aşağıdaki parçalardan oluşur: - İş Yükü Yöneticisi: Sistemin ana parçasıdır. - Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. - İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. - Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. - Kayıt Tutma: İş hakkında bilgi tutar. İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır. WMS servisinin bir işi çalıştırabilmesi için: - İşin karakteristiğini (basit, MPI, DAG) - Hesaplama ihtiyaçlarını ve seçeneklerini - Yazılım bağımlılıklarını bilmesi gerekir.

Gridde İş Akışı Grid UI VOMS kullanıcı CE iş SE (WMS) BDII WMProxy API’leri: Java, Python, C++ LFC

Depolama Elemanı (SE) g. Lite ortakatman yazılımını kullanan değişik tipte SE vardır: Classic SE (eski tip, artik kullanılmayacak), DPM, d. Cache, Castor Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. Her bir g. Lite sitesi en az bir depolama elemanı içerir. İki protokol kullanırlar: - Dosya transferi için GSIFTP - Dosya erişimi için RFIO (“Remote File Input/Output”) Depolama kontrol yönetimi: - Dosyalara saydam erişim sağlar - Dosyaların durumunu gösterir - Dosyaların saklanma zamanını takip eder Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.

Veri Yönetimi Servisleri, LFC Veri yönetimi nedir? - Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. - Veriler grid dosyaları şeklinde saklanabilirler. - Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. - Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. Kullanıcı ve uygulamalar g. Lite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. (LFC) Gridde dosya isimlendirmeleri: Globally Unique Identifier (GUID) “guid: f 81 d 4 fae-7 dec-11 d 0 -a 765 -00 a 0 c 91 e 6 bf 6” Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) “sfn: //lxshare 0209. cern. ch/data/alice/ntuples. dat” Logical File Name (LFN) “lfn: cms/20030203/run 2/track 1” Transport URL (TURL) “gsiftp: //lxshare 0209. cern. ch//data/alice/ntuples. dat”

Veri Yönetimi Mimarisi Depolama Elemanı VOMS WSDL DISK Dosya I/O g. Lite I/O SRM API grid. FTP Dosya İsimalanı ve Metaveri Yönetimi LFC Dosya ve replika kataloğu Veritabanı Dosya Replikası My. Proxy yenilemesi FPS Transfer Agent Veritabanı Dosya Transferi ve dosya FTS yerleştirme servisi Storage. Index Replika Yeri WMS

Veri Yönetimi İlişkileri Grid UI (kullanıcı) GFAL dosya pola SRM depola de SE 2 SE 1 kaydet Kat a kay loğa det File Catalog (LFC) Grid file (ref: LFN)

Özet: Grid Topolojisi ve Servisler Kullanıcı Arayüzü (UI) gönder Bilgi Sistemi (BDII, RGMA) Kaynak Arayıcısı (RB) sorgula Sonuç al Yetkileri güncelle gönder sorgula Sonuç al Dosya ve Replika Katalogları (LFC) X Sitesi Hesaplama Elemanı Yetkilendirme Servisi (VOMS) Site durumunu yayınla Depolama Elemanı

GRIDDE GÜVENLİK. . . Güvenlik ihtiyacı: Artan sanal bilgi paylaşımı ve haberleşme Bilgi değerli! Servis sağlayıcıların sorumluluğu Kullanıcıların güveninin sağlanması Güvenlik ve kişisel gizlilik dengesinin kurulması

GÜVENLİK. . . Güvenlik konusunda üç temel kavram: - Kimlik doğrulama “Sistemdeki kullanıcı kim? ” - Yetkilendirme “Kullanıcının yapacağı işe yetkisi var mı? ” - Sorumluluk “Kullanıcı ne zaman, nerde, ne yaptığından sorumludur”

Güvenlik Niye Gerekli? Grid kullanıcıları: Geniş ve dinamik kullanıcı kitlesi Farklı sitelerde farklı kullanıcılar Kişisel ve gizli veriler Heterojen yapıda öncelikler Grid siteleri: Heterojen dağılmış kaynaklar Sitelere erişim yolları Yerel politikalar Üyelik

ÇÖZÜM: Sayısal Sertifika Sayısal sertifika nedir? Sayısal sertifika, ya da sayısal kimlik, günlük hayatta kullanılan ehliyet, pasaport gibi kimlik kartlarının elektronik ortamdaki karşılığıdır. Sayısal sertifika kişinin kimliğini ve söz konusu bilgiye veya online hizmete ulaşım hakkını kanıtlamak için geliştirilmiştir.

Asimetrik Şifreleme Yöntemi Açık anahtar: Sertifika otoritesi güvenilir bir kaynak olarak, bir kurum ya da kişiyi bir açık anahtar ile eşleştirir. Açık anahtar sayısal imzaların doğrulanması için kullanılır. Gizli anahtar: Gizli anahtar sadece sahibi olan kişi ya da kurum tarafından bilinir ve sayısal imzayı oluşturmak için kullanılır.

Sayısal sertifika hangi bilgileri içerir? Kullanıcıya ait açık anahtar Kullanıcının adı Sertifikanın geçerli olduğu tarih aralığı Sertifika Otoritesinin adı Sertifika Otoritesinin seri numarası

Sertifika Otoritesi Sertifika otoritesi, sayısal sertifikaların oluşturulması, yönetilmesi, gerektiği durumlarda sertifikaların dünyaya duyurulmasını sağlayan sertifika hizmet sağlatıcısıdır. Sertifika otoriteleri, oluşturdukları sertifikaların güvenliğini sağlayarak, gerektiği durumlarda sertifikaları yenilemek ile sorumludur.

PKI PKI-Public Key Infrastructure (Açık Anahtarlama Yapısı): Sertifikaların, anahtar ikililerinin yönetimini sağlayan yazılımsal ve yordamsal bütünlüktür. PKI Sertifika Otoritesi tarafından yönetilir.

PKI’in İşlevleri Anahtar ve sertifika üretimi Gizli anahtarın korunması Belli durumlarda sertifikaların iptal edilmesi Anahtar yedeklenmesi ve yeniden elde edebilme Anahtar ve sertifika güncelleme Sertifika arşivi

EUGrid. PMA European Policy Management Authority for Grid Authentication in e-Science: Avrupa’da Grid sağlayıcılarının güvenlik ve sertifika otoritelerini denetleyen uluslararası bir üst kuruldur. Grid ortamında kullanıcıların güvenli bir şekilde dağıtık kaynaklara ulaşması için gereken minimum şartları belirler. IGTF (International Grid Trust Federation) aracılığıyla diğer kuruluşlardan APGrid. PMA (Asia-Pacific) ve TAGPMA (America) iletişim ve işbirliği içindedir.

TR-GRID Sertifika Otoritesi (TR-GRID CA) Türkiye’deki ulusal Grid uygulamalarında güvenlik altyapısını sağlamaktan sorumludur. Ulusal Grid Sertifikasyon Politikası-CP/CPS Belgesi (Certification Policy/Certificate Practice Statement) : http: //www. grid. org. tr/servisler/sertifika/policy Web sayfasından veya e-posta yoluyla sertifika başvurusu: http: //www. grid. org. tr/servisler/sertifika/cert_request ya da ca@grid. org. tr E-posta yoluyla sertifika iptali: ca@grid. org. tr

X. 509 Proxy Sertifikası ve VO Eklentisi Grid kullanıcı sertifikaları(geçerlilik süresi: 1 YIL) – Tek başına GÜVENSİZ ve EKSİK!!! => Grid’de iş çalıştırırken güvenliği arttıran: Proxy Sertifikası: Kullanıcı sertifikası tarafından imzalanır. Default olarak 12 saat geçerliliği vardır. 12 saat geçtikten sonra, hala grid altyapısı kullanılıyorsa yenilenmesi gerekir. => Grid’de yetkilendirmeyi sağlayan: Proxy sertifikasına VO (Sanal Organizasyon) bilgisinin eklentisi: Grid kullanıcılarının kimlik doğrulama dışında yetkilendirilmesinin yapılması için mutlaka bir sanal organizasyona üye olmaları gerekir. Grid kullanıcıları üye oldukları VO’yu destekleyen sitelerde iş çalıştırabilir. Grid kullanıcıları birden fazla VO’ya üye olabilirler.