Paralel Hesaplamanın Bilimsel Simülasyonları Taşıyan Teknolojik Altyapısı.

Paralel Hesaplama ve Sayısal Modellemeye Doğrudan Bağlantısı

Paralel hesaplama (ya da koşut hesaplama), birden fazla hesaplama işleminin aynı anda gerçekleştirildiği bir hesaplama biçimidir. Bu yaklaşımda büyük bir problem daha küçük parçalara bölünür; her parça bağımsız olarak işlenir ve sonuçlar birleştirilerek nihai yanıt elde edilir. Geleneksel dizisel hesaplamada adımlar sırayla, tek bir merkezi işlem birimi üzerinde yürütülürken, paralel hesaplamada pek çok işlemci ya da çekirdek eş zamanlı olarak birlikte çalışır.

Günümüzde paralel hesaplama; çok çekirdekli işlemcilerden binlerce düğümlü süper bilgisayarlara, grafik işlem birimlerinden (GPU) bulut tabanlı dağıtık sistemlere kadar çok farklı ölçeklerde uygulanmaktadır. Makine öğrenimi, iklim modelleme, ilaç tasarımı ve büyük veri analitiği gibi güncel uygulama alanları, günümüz hesaplama altyapısının paralel doğasına doğrudan bağımlıdır. Yapay zekâ modellerinin eğitimi gibi görevler, on binlerce GPU’yu eşgüdümlü biçimde çalıştırmayı gerektirmektedir.

Çok Çekirdekli Mimarinin Doğuşu ve GPU’ların Gündeme Gelişi

Paralel hesaplamayı zorunlu kılan temel etken, Moore yasası kapsamında transistör yoğunluğunun artmaya devam etmesine karşın Dennard ölçeklemesinin 2000’li yılların ortasında çökmesidir. Bu çöküş, saat frekansını artırmanın beraberinde getirdiği güç tüketimi ve ısı sorunlarıyla birlikte “güç duvarı” olarak adlandırılan bir engeli gündeme getirdi. Tasarımcılar tek bir çekirdeği hızlandırmak yerine aynı kırmık üzerine birden fazla çekirdek yerleştirme yolunu seçti; bu sayede çok çekirdekli işlemciler, 2005’ten itibaren masaüstü bilgisayarlardan sunuculara uzanan geniş bir alanda standart hâle geldi.

2010’ların sonundan itibaren derin öğrenme ve büyük dil modellerinin yükselişi, grafik işlem birimlerini ve özelleşmiş yapay zekâ hızlandırıcılarını hesaplama gündeminin odak noktası hâline getirdi. Günümüzde eksaölçek (Ingilizce: exascale) süper bilgisayarlar, saniyede 1018 kayan noktalı işlem sınırını aşmış bulunmaktadır.

GPU’ların SIMD Yapısı ve Sayısal İşlem Kapasitesi

Grafik işlem birimlerindeki binlerce küçük çekirdek, özünde son derece geniş bir SIMD (tek buyruk, çoklu veri) yapısıdır. Veri düzeyi paralellik, aynı işlemin büyük veri kümelerinin tüm elemanları üzerinde eş zamanlı uygulanmasını tanımlar. Modern masaüstü ve sunucu işlemcilerindeki SSE, AVX ve ARM NEON gibi vektör uzantıları bu mimarinin tüketici donanımındaki yansımasıdır. Vektör işlemciler ise tüm tasarımı geniş yazmaçlara ve toplu veri işlemine yönelik olan ve bu sayede sıkıştırma/genişletme döngülerine gerek bırakmayan özelleşmiş birimlerdir. Vektör boyutu bazen 1024 bit ya da daha fazlasına ulaşabilir.

Hızlanma Sınırları ve Sayısal Modellemenin Doğası

Paralel bir sistemin bilimsel modellemede ne kadar hızlanma sağlayabileceği, Amdahl yasası ile tanımlanır. Gene Amdahl, 1967’de bir programın paralelleştirilebilen kesiminin p oranında olduğunu varsayarak elde edilebilecek maksimum hızlanmayı formüle etti. Bu formülün en çarpıcı sonucu şudur: N sonsuza gitse bile hızlanma 1/(1-p) ile sınırlıdır. Örneğin programın yalnızca %5’i dizisel kalıyorsa sonsuz işlemciyle bile 20 kattan fazla hızlanma sağlanamaz. Bu sınır, paralel sistem tasarımında dizisel darboğazların ne denli kritik olduğunu vurgular.

Ancak pratikte kullanıcılar genellikle daha hızlı bilgisayarla daha büyük problemi çözmeyi hedefler; bu durumda problem boyutu işlemci sayısıyla birlikte büyür. John Gustafson 1988’de bu gözlemden yola çıkarak “zayıf ölçekleme” yaklaşımını önerdi. Gustafson yasası, paralel sistemlerin sabit bir problemde çöktüğü iddiasını yanlışlar; problem büyüdükçe büyük işlemci sayılarında bile anlamlı hızlanma elde edilebileceğini gösterir. Bu bulgu, iklim simülasyonu ve genomik gibi problem boyutunun veri miktarıyla doğrudan büyüdüğü uygulamalar için büyük önem taşır.

Paralelleştirilebilirlik ve ハードウェア Altyapısı

Bir bilimsel modelin ne ölçüde paralelleştirilebileceğini belirleyen temel etken, işlemler arasındaki veri bağımlılıklardır. Bernstein koşulları, iki işlemin çakışan okuma/yazma kümeleri olmadığında güvenle paralel yürütülebileceğini tanımlar. “Utanç verircesine paralel” (Ingilizce: embarrassingly parallel) problem ise parçaları arasında hiç ya da çok az iletişim gerektiren, dolayısıyla neredeyse mükemmel hızlanma sağlayan bir iş yüküdür. Monte Carlo benzetimleri ve kaba kuvvet arama algoritmaları bu sınıfın tipik örnekleridir.

ハードウェア düzeyinde GPU’lar, tek bir entegre devre kırmığı üzerinde birden fazla çekirdek barındıran çok çekirdekli sistemlerin bir uzantısıdır. Günümüz tüketici işlemcilerinde 4 ila 24 çekirdek alışıldık bir sayı iken, GPU tabanlı ve sunucu sistemleri çok daha yüksek çekirdek yoğunluklarını karşılar. Paylaşımlı bellek modellerinde önbellek tutarlılığı (MESI ve MESIF gibi protokollerle sağlanır) kritik bir sorun oluştururken, dağıtık bellekli sistemlerde düğümler arası veri alışverişi açık mesaj geçişiyle gerçekleştirilir.

Bu açıklama Vikipedi kaynaklarından uyarlanmıştır ve şu lisans altında sunulur: CC BY-SA 4.0.