Shourov Joarder ve diğer üç yazar, büyük dil modellerinin eğitimini harici denetim olmadan daha kararlı hale getirmek için çoklu-ödüllü pekiştirmeli öğrenme önermektedir.
Yazarlara göre, iki dahili ödül sinyalinin birleştirilmesi, matematiksel akıl yürütme ve kod üretimi kıyaslamalarında sağlamlığı artırıyor. Performans, denetimli yöntemlerin seviyesine yaklaşıyor.
Yöntem, eğitim sinyallerini doğrudan modelin kendisinden alan reinforcement learning from internal feedback (RLIF) yaklaşımından yola çıkıyor. Bu, sıklıkla insan açıklamalarına veya referans çözümlere dayanan reinforcement learning with verifiable rewards (RLVR) yaklaşımından farklı bir yöntem.
Makale, mevcut RLIF yöntemlerinde bir zayıf nokta tespit ediyor: Genellikle yalnızca tek bir dahili ödül kullanıyorlar. Yazarlara göre bu bağımlılık, ödül manipülasyonuna (reward hacking), entropi çöküşüne ve akıl yürütme yapısının zayıflamasına yol açabiliyor.
İçindekiler
Çoklu-ödüllü pekiştirmeli öğrenme eğitimi nasıl dengeliyor
Çerçeve, tek bir dahili ölçüt yerine iki tamamlayıcı sinyale dayanıyor. Birincisi, küme oylamasına (cluster voting) dayalı, yanıt düzeyinde bir ödül. İkincisi ise, token token öz-kesinliğe (token-wise self-certainty) dayalı, tamamlanma düzeyinde bir ödül.
Bunları bir araya getirmek için araştırmacılar, iki ödülün ölçekleri arasındaki dengesizlikleri azaltan GDPO tabanlı bir normalizasyon uyguluyor. Bu adım, sinyalleri dengelemeye yarıyor. Eğitim çökmesini engellemek için ise ayrı bir teknik devreye giriyor.
Bu teknik, orantısız bir entropi azalımından sorumlu olan düşük entropili token dağılımlarını hedef alan KL-Cov düzenlemesidir. Yazarlar, bunu keşfi koruyan ve eğitimin ileri aşamalarında çöküşü önleyen bir araç olarak tanımlıyor.
Kararlılık ve kıyaslama sonuçları
Matematiksel akıl yürütme ve kod üretimi kıyaslamalarında, makale, önceki denetimsiz pekiştirmeli öğrenme yaklaşımlarına kıyasla daha yüksek kararlılık ve sağlamlık bildirmektedir.
Yazarlara göre, çoklu-ödüllü pekiştirmeli öğrenme çerçevesi ayrıca, denetimli RLVR yöntemine yakın sonuçlar elde etmektedir.
Makale, yazarların kodu yayımlamayı planladığını belirtmektedir.
İçerik, yapay zekâ desteğiyle ve insan editoryal incelemesiyle hazırlanmıştır.




