Uzun-Kısa Süreli Bellek (LSTM)

Uzun-Kısa Süreli Bellek(LSTM)

Uzun-kısa süreli bellek, geleneksel yinelemeli sinir ağlarının uzun süreli ilişkileri öğrenmekte yaşadığı sorunları azaltmak amacıyla geliştirilmiş bir ağ mimarisidir. İngilizcede “Long Short-Term Memory” olarak adlandırılır ve LSTM kısaltmasıyla gösterilir. Geleneksel RNN’ler yakın geçmişteki bilgileri kullanabilir ancak uzun dizilerde önceki adımlardan gelen bilgiyi kaybedebilir. Bir metnin başındaki önemli bir bilginin çok sonra kullanılmasının gerektiği durumlarda performans düşebilir. LSTM mimarisi, hücre durumu adı verilen özel bir bellek yapısı kullanır. Bu yapı bilginin uzun adımlar boyunca taşınmasını sağlar. LSTM içinde unutma, giriş ve çıkış kapıları bulunur. Unutma kapısı geçmiş bilgilerin hangilerinin silineceğini belirler. Giriş kapısı yeni bilgilerin ne kadarının belleğe ekleneceğini kontrol eder. Çıkış kapısı ise bellekteki bilginin hangi bölümünün sonraki adıma aktarılacağını belirler. Bu mekanizmalar ağın gereksiz bilgileri unutmasına ve önemli bilgileri daha uzun süre korumasına yardımcı olur. LSTM’ler dil modelleme, metin üretimi, konuşma tanıma, zaman serisi tahmini ve sensör analizi gibi alanlarda kullanılmıştır. Örneğin bir makinenin sensör verilerindeki geçmiş değişiklikler incelenerek gelecekte arıza oluşma ihtimali tahmin edilebilir. LSTM, zaman içindeki uzun süreli ilişkileri öğrenebilir. LSTM’lerin eğitimi geleneksel RNN’lere göre daha kararlı olabilir ancak yapıları daha karmaşıktır. Daha fazla parametre içerir ve hesaplama maliyeti yükselebilir. Dizilerin adım adım işlenmesi nedeniyle paralel hesaplama sınırlıdır. Bu durum çok büyük veri kümelerinde eğitim süresini uzatabilir. Dönüştürücü mimarilerinin gelişmesiyle doğal dil işleme alanında LSTM kullanımının önemi azalmıştır. Dönüştürücüler uzun mesafeli ilişkileri dikkat mekanizmasıyla daha etkili biçimde işleyebilir. Bununla birlikte LSTM’ler küçük veri kümelerinde, zaman serilerinde ve gerçek zamanlı uygulamalarda hâlâ yararlı olabilir. Her problem için dönüştürücü kullanmak gerekli değildir. LSTM, yapay zekâ tarihinde sıralı verilerin işlenmesinde önemli bir dönüm noktasıdır. Konuşma tanıma ve çeviri sistemlerinin gelişimine önemli katkılar sağlamıştır.