Bu hafta Arxiv.org’ta paylaşılan bir makalede Intel Sample Factory’i tanıttı. Sample Factory ile Intel Pekiştirmeli Öğrenme sürecini çok daha hızlı bir şekilde kaydetti. Şimdiye kadar bu tarz deneylerde dağınık sunucu ve donanımlara rastlamıştık. Fakat Intel bunun aksine Sample Factory’i tek bir makinede çalışacak şekilde optimize etti ve benzeri görülmemiş bir çalışmaya imza attı. Geliştirici ekip Sample Factory’nin video oyunları, robotlar gibi konularda yapay zekanın çok daha etkili biçimde eğitilebileceğini açıkladı.
Yapay zeka agentlarını (ajan) simülasyonda eğitmek günümüzde pekiştirmeli öğrenmenin temel taşıdır. Fakat önde gelen yöntemler gelişmesine rağmen çoğu veri ve hesaplama konusunda ciddi problemler yaşamakta. Performans, deneyler ve deneme sayılarının artması ile doğru orantılı olarak artmıştır. Ajanların tek bir oturumda milyarlarca hatta trilyonlarca eylem gerçekleştirmesi performans sıkıntıların doğmasına neden olmakta.
Sample Factory ise bu ajanların eğitimini ciddi bir şekilde paralel hale getirdi. Tek bir GPU bilgisayarında 130.000 FPS’ye kadar üretim sağlayan “asynchronous proximal policy optimization” adı verilen algoritma ile verimliliği en üst düzeye çıkarmayı hedefliyor.
Eldeki her iş yükünü 3 bileşenden biriyle ilişkilendirerek zaman kaybını en aza indirir. Bu üç bileşen: Rollout Mekanizması, Policy Mekanizması ve Öğreniciler’dir. Bu bileşenler birbirleri ile sürekli iletişim halinde olup belirli protokoller sayesinde işlem süreçlerini oldukça hızlandırdı.
Yeni Bir Şey Getirmiyor Fakat Eldekini Hızlandırıyor
İşin aslında, Sample Factory daha önce gerçekleştirilemeyen pekiştirmeli öğrenme deneylerini gerçekleştirmiyor. Ancak tek PC sahipleri için öncekinden daha pratik çözümler sunmakta. Intel pekiştirmeli öğrenme işlemlerinde Sample Factory ile saniyede 1 GB’tan fazla veri üretebilir ve aynı zamanda tüketebilir. Modelin bir kez güncellenmesi yaklaşık olarak 1 milisaniyeden az sürmekte.
Intel ekibi iki farklı PC üzerinde testler yaptılar. Bilgisayarlardan bir tanesi 10 çekirdekli CPU ve GTX 1080 Ti GPU diğeri ise 36 çekirdekli CPU ve RTX 2080 Ti GPU’ya sahipti. Ekip, testleri Atari Vizdoom ve Deepmind Lab simülasyon ortamlarında yaptı. 700 ila 2.000 ortamda yapılan testlerden sonra Sample Factory performans bakımından onay aldı.
Bir testte ekip Sample Factory’i kullanarak 30 ortamı aynı anda çözecek bir ajan eğitti. Bir diğerinde ise Vizdoom içine sekiz düello ve ölüm maçı senaryosu için sekiz adet ajan yerleştirildi. Ajanlar en zor botlara karşı olan senaryoları %100 galibiyet oranı ile tamamladılar.
Intel bu olay sayesinde pekiştirmeli öğrenmeyi daha da pratik hale getirdiğini ve geliştiricilere paralel olarak ajan eğitme imkanı sunduklarını açıkladı.
