Yapılan bir çalışmaya göre derin öğrenmenin hesaplama sınırlarına yaklaşılıyor. Massachusetts Teknoloji Enstitüsü, Underwood International Üniversitesi, MIT-IBM Watson AI Lab ve Brasilia Üniversitesi araştırmacıları ortak bir çalışma yaptı. Araştırmacılar, derin öğrenme performansı ve hesaplama arasındaki bağlantıyı anlamak için Arxiv.org’dan 1.058 makaleyi ve diğer karşılaştırma kaynaklarını analiz ettiler.
Araştırmacılar, derin öğrenme performansının görüntü sınıflandırma, nesne algılama, soru cevaplama, adlandırılmış varlık tanıma alanlarında hesaplama gücüne nasıl bağlı olduğunu anlamak için bu kaynakları dikkatlice analiz etti. Yapılan çalışmalar sonucunda derin öğrenmedeki ilerlemenin hesaplamadaki artışlara büyük ölçüde bağımlı olduğu tespit edildi. İlerlemenin devam etmesi için mevcut tekniklerde yapılacak değişiklerle ya da yeni teknikler keşfedilerek daha etkili hesaplama yöntemleri keşfedilmeli iddiasında bulundular.
Araştırmacılar, üç yıllık algoritmik iyileştirmenin, hesaplama gücündeki 10 kat artışa eşdeğer olduğunu tahmin ediyorlar. Eğer ilerleme aynı çizgide devam ederse, derin öğrenmenin hesaplama gereksinimlerinin teknik, ekonomik ve çevresel olarak engelleyici olacağı sonucuna vardılar.
Araştırmacılar, ekonomik ve çevresel maliyetlerin yanı sıra, çeşitli teorik ölçütlere ulaşmak için gereken hesaplama gücünü anlamaya da çalıştı. En iyimser hesaplamalara göre, ImageNet’teki görüntü sınıflandırma hata oranını azaltmak 105 daha fazla bilgi işlem gerektiriyor.
Synced raporu, Washington Üniversitesi’nin Grover sahte haber algılama modelinin yaklaşık iki hafta içinde eğitilmesi için 25.000 dolara mal olduğunu hesapladı. OpenAI’nin GPT-3 dil modelini eğitmek için 12 milyon dolarlık bir maliyet olduğu bildirildi. Google, 11 doğal dil işleme görevi için son teknoloji ürünü bir çift yönlü transformatör modeli olan BERT’i eğitmek için 6.912 dolar harcadı. Araştırmacılar, donanım, çevresel ve parasal maliyetlerin engelleyici olacağını öngörmüyor.
Derin öğrenmenin hesaplama konusundaki müthiş iştahı, özellikle donanım performansındaki iyileşmelerin yavaşladığı bir dönemde, performansı ne kadar artırabileceği konusunda bir sınır getiriyor. Bu hesaplama sınırlarının olası etkisi derin öğrenmede hesaplama açısından daha verimli tekniklere doğru zorlamaktadır. Derin öğrenme modellerinin gerçek hesaplama yükünün teoriden daha hızlı bir şekilde ölçeklendiğini ve önemli iyileştirmelerin mümkün olabileceğini düşünüyorlar.
Derin Öğrenme Nedir?
Derin öğrenme, makine öğrenmesinin bir alt kümesidir. İnsan beyninin çalışmalarını taklit eden bir yapay zeka fonksiyonudur. Beynin yapısı ve işlevinden esinlenerek algoritma dizileri oluşturur. Yapay sinir ağları adı verilen bu algoritmalar, sinyalleri diğer nöronlara ileten katmanlar halinde düzenlenmiş fonksiyonlardan (nöronlar) oluşur. Ağa beslenen giriş verilerinin ürünü olan sinyaller, her bir bağlantının sinaptik kuvvetini (ağırlıkları) ayarlayarak, katmandan katmana ilerler ve ağı yavaşça düzenler. Ağ sonunda veri kümesinden özellikler çıkararak ve çapraz örnekleme eğilimlerini belirleyerek tahminlerde bulunmayı öğrenir.
