Bir dil modeli, dil, ton veya niyetle ilgili bir yönerge alıp oluşturduğu metinde bunu yansıtmayabilir. Gömme tutarlılığı düzenlemesi (ECR), dil yönlendirmesinde %99,93 ± %0,12 doğruluk oranına ulaşmıştır.
Rastgele, karıştırılmış ve sahte (random, shuffled ve dummy) kontroller ise yalnızca %34–36 seviyesinde kalmıştır. Bu bulgu, kontrollü deneylere dayanan Chung-Wei Victor Yuan’ın araştırmasında raporlanmaktadır.
Çalışma, kalıcı anlamsal yönlendirmeyi inceliyor: bir girdiye atanan yol, modelin çıktısında tüm üretim boyunca yansımaya devam etmelidir.
Konu, bellek ve hesaplama açısından sıkı kısıtlar altında çalışan dil modellerini ilgilendiriyor. Bu durumlarda yönlendirme kod çözmeden önce kararlaştırılabilir, ancak üretilen metinde görünür kalacağı garanti değildir.
İçindekiler
Gömme tutarlılığı düzenlemesi yönlendirmenin kalıcılığını nasıl doğrular?
ECR, başlangıçta atanan bir yönlendirmenin nihai yanıta kadar hayatta kalıp kalmadığını anlamaya yarar. Bunu yapmak için her girdiden kısa ve ayrık bir önek çıkaran “dondurulmuş” bir gömme modeli kullanır.
Önek oluşturma işlemi hem eğitimde hem çıkarımda aynıdır. Böylece araştırma, atanan yolun üretim sırasında dayanıp dayanmadığını denetleyebilir.
Doğruluk farkı, kontrollü önek atama deneylerinden ortaya çıkıyor. ECR neredeyse kusursuz bir isabet oranına yaklaşırken, rastgele, karıştırılmış ve sahte kontroller %34 ile 36 arasında, tesadüf düzeyine yakın kalmıştır.
Response Routing Recoverability: yanıtta geriye neyin kaldığını ölçmek
Çalışmaya göre olasılıklılık (likelihood) ölçüleri, yönlendirme tutarlılığını güvenilir biçimde yakalayamıyor. Bu boşluğu doldurmak için Yuan, kodlayıcıdan bağımsız bir tanılama yöntemi olan Response Routing Recoverability (RRR)’yi tanıtıyor.
RRR, atanan yönlendirmelerin üretimden sonra hâlâ gözlemlenebilir olup olmadığını denetler. Bu nedenle doğrudan yanıta bakar: üretilen metin, kod çözmeden önce seçilen yolu hâlâ yansıtıyor mu?
Çalışma, yanıt yönlendirmesinin geri kazanımının çok dilli bağlamlarda, gözetimsiz bölütlemede, azaltılmış hassasiyet koşullarında ve transfer görevlerinde kalıcı olduğunu bildiriyor.
Bu içerik, yapay zekâ desteği ve insan editoryal incelemesi ile hazırlanmıştır.




