Pekiştirmeli Öğrenme

Pekiştirmeli Öğrenme

Pekiştirmeli öğrenme, bir ajanın çevreyle etkileşim kurarak hangi davranışların daha yüksek ödül sağladığını öğrenmesine dayanan makine öğrenmesi yöntemidir. İngilizcede “Reinforcement Learning” olarak adlandırılır. Bu yaklaşımda öğrenen sisteme ajan adı verilir. Ajan belirli bir çevrede eylemler gerçekleştirir. Her eylem sonucunda çevrenin durumu değişir ve ajan ödül veya ceza niteliğinde bir geri bildirim alır. Ajanın amacı, yalnızca anlık ödülü değil, uzun vadede elde edeceği toplam ödülü en yüksek düzeye çıkarmaktır. Bu nedenle bazen kısa vadede düşük ödül getiren bir eylem, gelecekte daha iyi sonuçlara ulaşmak için seçilebilir. Pekiştirmeli öğrenmede durum, eylem, ödül ve politika temel kavramlardır. Politika, ajanın belirli bir durumda hangi eylemi seçeceğini belirleyen stratejidir. Ajan, daha önce başarılı olan eylemleri kullanmak ile yeni seçenekleri denemek arasında denge kurmalıdır. Bu durum keşif ve yararlanma ikilemi olarak bilinir. Bir robotun yürümeyi öğrenmesi pekiştirmeli öğrenmeye örnek olabilir. Robot yaptığı hareketler sonucunda dengesini korursa ödül alır, düşerse ceza alır. Çok sayıda deneme sonucunda daha başarılı hareketleri öğrenebilir. Pekiştirmeli öğrenme oyunlarda önemli başarılar göstermiştir. Satranç, Go ve bilgisayar oyunlarında çevre kuralları açık olduğu ve çok sayıda deneme yapılabildiği için bu yöntem etkili olabilir. Gerçek dünyada ise deneme yapmak maliyetli veya tehlikeli olabilir. Otonom bir aracın hatalı davranışları fiziksel zarara yol açabileceğinden eğitim çoğunlukla simülasyon ortamlarında gerçekleştirilir. Ödül fonksiyonunun doğru tanımlanması kritik öneme sahiptir. Ajan, tasarlanan ödülü artırırken insanların asıl amacına aykırı davranışlar geliştirebilir. Buna ödül istismarı denebilir. Pekiştirmeli öğrenme robotik, enerji yönetimi, kaynak planlama ve öneri sistemlerinde araştırılmaktadır. Bununla birlikte yöntemin kararlı çalışması çok sayıda deney ve yüksek hesaplama gücü gerektirebilir. İnsan geri bildiriminden pekiştirmeli öğrenme yöntemlerinde, insanlar modelin ürettiği sonuçları değerlendirir. Bu değerlendirmeler modelin tercih edilen yanıtları üretmesi için kullanılır. Pekiştirmeli öğrenme, doğrudan doğru cevabın verilmediği ve davranışların sonuçlarından öğrenmenin gerektiği problemlerde güçlü bir yöntemdir.