Yinelemeli Sinir Ağları (RNN)

Yinelemeli Sinir Ağları(RNN)

Yinelemeli sinir ağları, sıralı verileri işlemek amacıyla geliştirilmiş yapay sinir ağı mimarileridir. İngilizcede “Recurrent Neural Networks” olarak adlandırılır ve RNN kısaltmasıyla gösterilir. Sıralı verilerde unsurların sırası önemlidir. Bir cümledeki kelimelerin, bir konuşmadaki seslerin veya bir zaman serisindeki ölçümlerin yerleri değiştirildiğinde anlam değişebilir. RNN’ler her adımda mevcut girdiyi önceki adımlardan gelen gizli durumla birlikte işler. Gizli durum, geçmişe ilişkin özet bilgi taşır. Örneğin bir cümledeki kelimeler sırayla işlenirken ağ önceki kelimelerden elde ettiği bilgiyi sonraki kelimenin yorumlanmasında kullanabilir. RNN’ler dil modelleme, konuşma tanıma, makine çevirisi ve zaman serisi tahmini gibi alanlarda kullanılmıştır. Ancak geleneksel RNN’ler uzun dizilerde eski bilgileri korumakta zorlanabilir. Eğitim sırasında gradyanların çok küçülmesi, önceki bilgilerin öğrenilememesine neden olabilir. Bu sorun kaybolan gradyan olarak adlandırılır. Gradyanların çok büyümesi ise eğitim sürecini kararsız hâle getirebilir. Bu durum patlayan gradyan problemi olarak bilinir. LSTM ve GRU gibi geliştirilmiş yinelemeli ağlar, hangi bilginin saklanacağı veya unutulacağını kontrol eden kapı mekanizmaları kullanır. Bu sayede daha uzun süreli bağımlılıklar öğrenilebilir. RNN’lerin önemli bir sınırlaması, verileri sıralı biçimde işlemesidir. Bir adımın sonucu sonraki adım için gerektiğinden paralel hesaplama sınırlı kalabilir. Dönüştürücü mimarileri dikkat mekanizması sayesinde dizideki unsurları daha paralel biçimde işleyebilir. Bu nedenle doğal dil işleme alanında birçok görevde RNN’lerin yerini büyük ölçüde dönüştürücüler almıştır. Bununla birlikte RNN’ler düşük kaynak gereksinimi, çevrim içi veri işleme ve belirli zaman serisi problemlerinde hâlâ kullanılabilir. RNN’ler sıralı bilginin önemini yapay sinir ağlarına kazandıran temel mimarilerden biridir. Modern dil modellerinin tarihsel gelişiminde önemli bir aşama oluşturmuştur.