Bilimsel yazıların giderek büyüyen bir kısmı artık en azından kısmen yapay zeka tarafından değerlendiriliyor ve yeni bir çalışma, bir araştırmacının seçtiği kelimelerin, altta yatan veriler hiç değişmese bile bir YZ değerlendiricisinin hükmünü değiştirebileceğini öne sürüyor. YZ değerlendirmesi üzerindeki retorik etkinin incelendiği araştırmada, kanıttan çok çerçevelemenin, büyük dil modeli tabanlı hakemlik sistemlerinde puanları sessizce yukarı veya aşağı çekebildiği bulundu; bu da makine yargıçların gerçekte ne kadar güvenilir olduğu konusunda yeni sorular doğuruyor.
Endişe teorik değil. Araştırmacıların yayınlanmadan önce birbirlerinin çalışmalarını değerlendirdiği, onlarca yıllık hakemlik sistemi, halihazırda başvuru seli altında zorlanıyor. Ars Technica tarafından aktarılan yakın tarihli bir Frontiers dergileri anketi, hakemlerin yarısından fazlasının inceleme sürecinin bir yerinde, çoğu zaman sadece hacme yetişebilmek için YZ araçlarına yaslandığını ortaya koydu. Tam da bu bağımlılık, YZ değerlendirmesindeki retorik önyargı sorusunu bu kadar acil kılıyor: Eğer makaleleri zaten makineler notluyorsa ve yalnızca kelime seçimi bile puanlarını oynatabiliyorsa, bilimsel adaletin önemi hızla artıyor demektir.
Ming Li liderliğindeki bir ekibin ölçmeye çalıştığı boşluk tam da bu. Ağustos 2026’da sunulan ve ICLR 2026 başvuruları etrafında inşa edilen makaleleri, aynı çalışmanın farklı sürümleri arasında değişen tek şey olarak retoriği, yani sunumu, içerikten ayırıyor; sonuçlar ise yapısal, eşit dağılmayan ve bazı durumlarda şaşırtıcı derecede öngörülebilir bir önyargı tablosu çiziyor.
Summary
Öne çıkan bulgular
- Yalnızca retorik çerçeveleme, altta yatan bilimsel içerik aynı kalmasına rağmen YZ değerlendirme puanlarını ölçülebilir biçimde değiştirdi.
- Araştırmacılar, etkiyi test etmek için 120 anonimleştirilmiş ICLR 2026 başvurusundan türetilmiş 4.200 tam makale taslağından oluşan bir derlem oluşturdu.
- Kanıt çerçevelemesi ve yenilik iddiası, genel değerlendirme puanlarındaki en büyük dalgalanmaları, diğer tüm retorik boyutlardan daha fazla tetikledi.
- Başlangıçta daha düşük YZ puanları alan makaleler, retorik yeniden yazımdan sonra yükselme eğilimindeyken, daha yüksek puanlı makaleler düşme eğilimindeydi.
- Daha sıkı bir inceleme protokolü ortalama puanları 1,36 puan düşürdü ancak altta yatan retorik duyarlılığı güvenilir biçimde azaltmadı.
Çalışmanın Genel Çerçevesi ve Yöntem
Araştırma ekibi, bir makalenin nasıl ifade edildiği dışında tüm değişkenleri ortadan kaldırmak için özel olarak tasarlanmış kontrollü bir deney kurdu; böylece aynı taslağın sürümleri arasında değişen tek şey olarak retorik duyarlılık izole edildi. Bu tasarım tercihi, bulgulara ağırlığını veren şey: Taslak sürümleri arasındaki her puan farkı, gerçek bilimsel farklılıklardan çok sunuma kadar geri izlenebiliyor.
ICLR 2026 Başvurularından Oluşturulan Kontrollü Taslak Derlemi
Bunu temiz biçimde test etmek için araştırmacılar, alanın önde gelen makine öğrenimi konferanslarından biri olan ICLR 2026’ya yapılan 120 anonimleştirilmiş başvurudan türetilmiş 4.200 tam makale taslağından oluşan bir derlem kurdu. Her özgün makale, bir avuç makalenin ortaya çıkaramayacağı kalıpları görebilecek kadar büyük bir veri kümesi oluşturacak şekilde, birden çok retorik varyanta dönüştürüldü.
Retorik Yeniden Yazım ve YZ Değerlendirme Protokolleri
İki ayrı büyük dil modeli yeniden yazıcısı, her taslağın altı farklı retorik boyutunu, örneğin daha kendinden emin ile daha temkinli çerçeveleme gibi zıt yönlere iterek değiştirdi; bildirilen bilimsel içeriğe ise dokunulmadı. Ardından beş farklı BDM değerlendiricisi, ortaya çıkan tüm taslakları önce standart bir inceleme protokolü, sonra da daha sıkı bir protokol altında değerlendirdi; böylece ekip, retoriğin farklı değerlendirme koşullarında nasıl oynadığını karşılaştırabildi. Çalışma ayrıca, birleştirilmiş, özyinelemeli ve değerlendirici yönlendirmeli yeniden yazım geçişlerini de test ederek, stratejilerin birleştirilmesinin etkiyi büyütüp büyütmediğine baktı.
Retorik Tercihlerin YZ Değerlendirme Puanlarına Etkisi
En önemli bulgu, YZ tabanlı hakemlikteki retorik duyarlılığın rastgele gürültü olmaması; açık bir hiyerarşi izlemesi; bazı üslup tercihleri diğerlerinden çok daha fazla önem taşıması. Bu yapı, olguyu anekdotsal bir tuhaflıktan, değerlendiricilerin aktif olarak etrafında tasarım yapması gereken bir meseleye dönüştürüyor.
Temel Retorik Boyutlar: Kanıt Çerçevelemesi ve Yenilik İddiası
Test edilen altı retorik boyut arasında, kanıt çerçevelemesi ve yenilik iddiası, genel değerlendirme puanlarında açık ara en büyük pozitif-negatif karşıtlıkları üretti. Kapsam çerçevelemesi daha zayıf bir ikinci katman oluştururken, kalan boyutlar daha küçük ve daha az tutarlı etkiler gösterdi. Başka bir deyişle, bir makalenin ne kadar kendinden emin biçimde yeni olduğunu iddia ettiği ya da kanıtlarını ne kadar iddialı sunduğu, bir YZ değerlendiricisi için, diğer birkaç üslup faktörünün toplamından daha fazla önem taşıyabiliyor.
Özgün Değerlendirme Puanlarına Göre Puan Hareketi Kalıpları
Kaymanın yönü, büyük ölçüde taslağın nereden başladığına bağlıydı. Başlangıçta daha düşük YZ değerlendirme puanları alan makaleler, retorik yeniden yazımdan sonra yükselme eğilimindeyken, zaten yüksek puan alan makaleler düşme eğilimindeydi. Aynı makalenin olumlu ve olumsuz yeniden çerçevelenmiş sürümleri arasındaki en net yönlü karşıtlıklar, yani en keskin farklar, puanların orta aralığında ortaya çıktı; bu da bir taslağın kaderinin belki de en çok tartışmalı olduğu bölge.
Yeniden Yazım İş Akışlarında Karmaşıklık ve Bağımlılık
Yeniden yazım tekniklerini üst üste koymanın daha büyük puan dalgalanmaları üreteceği varsayılabilir, ancak veriler bunu desteklemedi. Birleştirilmiş, özyinelemeli ve değerlendirici yönlendirmeli yeniden yazım da dahil olmak üzere daha karmaşık iş akışları, daha basit yaklaşımlara kıyasla güvenilir biçimde daha büyük kazanımlar getirmedi. Birleştirilmiş yeniden yazım etkileri, kullanılan yeniden yazıcı modeline güçlü biçimde bağımlı çıktı ve değerlendiricilere açık talimatlar vermek, taslağa basit, yönlendirilmemiş ikinci bir bakış atmaktan tutarlı biçimde daha iyi performans göstermedi. Tekrarlanan yeniden yazım geçişleri, sürekli bileşik avantajlar yerine, azalan ve yapılandırmaya bağlı getiriler sağladı. Test edilen her koşulda, yeniden yazıcı, zıt retorik varyantların birbirinden ne kadar uzaklaştığını; değerlendirici ise ortaya çıkan puan değişiminin büyüklüğünü ve yönünü belirledi.
Değerlendirme Protokolü Etkileri ve Sonuçları
İnceleme kurallarını sıkılaştırmak, genel olarak puanları düşürdü; ancak belki de YZ değerlendirme sistemlerini kuran ya da bunlara güvenen herkes için daha önemli olan altta yatan retorik önyargıyı düzeltmedi.
Sıkı İnceleme Protokolünün Etkisi ve Sağlam Değerlendirme Gerekliliği
Sıkı inceleme protokolüne geçmek, ortalama genel değerlendirme puanını standart protokole kıyasla 1,36 puan düşürdü. Bu mutlak anlamda kayda değer bir düşüş; ancak YZ değerlendiricilerinin retorik çerçevelemeye ne kadar duyarlı kaldığını tutarlı biçimde azaltmadı. Daha sıkı kurallar, değerlendiricileri genel olarak daha sert yaptı; fakat üslup manipülasyonuna direnme anlamında mutlaka daha adil hale getirmedi.
Bu ayrım, YZ tabanlı hakemliğin yükselişini izleyen herkes için önemli. Eğer ölçütü sıkılaştırmak retorik duyarlılığı etkisizleştirmiyorsa, yalnızca YZ değerlendiricilerinden daha eleştirel olmalarını istemek tek başına bir çözüm değil. Bulgular, farklı türde bir çözüme işaret ediyor: İçeriği koruyan retorik varyasyonlara karşı açıkça sağlam olacak şekilde inşa edilen değerlendirme sistemleri; yani, altta yatan bilim değişmediği sürece, kanıtları kendinden emin ya da temkinli çerçevelenmiş olsun, bir makaleyi aynı şekilde yargılayan sistemler.
Hacim, tükenmişlik ve tutarsız insan hakemleri konusunda zaten kaygılı olan bir alan için, Ars Technica’nın daha geniş hakemlik krizine dair haberlerinde de belgelendiği gibi, YZ notlayıcılara daha fazla yaslanma cazibesi yalnızca artacak. Bu çalışma, yargıyı otomatikleştirmenin önyargıyı otomatik olarak ortadan kaldırmadığını; sadece önyargının kaynağını değiştirdiğini hatırlatıyor.
SSS
Retorik tercihler YZ tabanlı hakemlik puanlarını nasıl etkiler?
Kanıt çerçevelemesi ve yenilik iddiası gibi retorik tercihler, bilimsel içerik değişmeden kalırken YZ değerlendirme yargılarını önemli ölçüde etkiler.
YZ değerlendirmesinde retorik duyarlılığı analiz etmek için hangi veri kümesi kullanıldı?
Analiz için, 120 anonimleştirilmiş ICLR 2026 başvurusundan türetilmiş 4.200 taslaktan oluşan kontrollü bir derlem kullanıldı.
Daha karmaşık yeniden yazım stratejileri daha iyi YZ değerlendirme puanlarına yol açar mı?
Hayır, daha karmaşık yeniden yazım iş akışları, YZ değerlendirme puanlarında güvenilir biçimde daha büyük kazanımlar sağlamadı.
Sıkı bir inceleme protokolü kullanmanın YZ değerlendirme puanlarına etkisi nedir?
Sıkı inceleme protokolü, ortalama genel değerlendirmeyi 1,36 puan düşürdü ancak retorik duyarlılığı tutarlı biçimde değiştirmedi.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Retorik tercihler YZ tabanlı hakemlik puanlarını nasıl etkiler?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Kanıt çerçevelemesi ve yenilik iddiası gibi retorik tercihler, bilimsel içerik değişmeden kalırken YZ değerlendirme yargılarını önemli ölçüde etkiler.”}},{“@type”:”Question”,”name”:”YZ değerlendirmesinde retorik duyarlılığı analiz etmek için hangi veri kümesi kullanıldı?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Analiz için, 120 anonimleştirilmiş ICLR 2026 başvurusundan türetilmiş 4.200 taslaktan oluşan kontrollü bir derlem kullanıldı.”}},{“@type”:”Question”,”name”:”Daha karmaşık yeniden yazım stratejileri daha iyi YZ değerlendirme puanlarına yol açar mı?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Hayır, daha karmaşık yeniden yazım iş akışları, YZ değerlendirme puanlarında güvenilir biçimde daha büyük kazanımlar sağlamadı.”}},{“@type”:”Question”,”name”:”Sıkı bir inceleme protokolü kullanmanın YZ değerlendirme puanlarına etkisi nedir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Sıkı inceleme protokolü, ortalama genel değerlendirmeyi 1,36 puan düşürdü ancak retorik duyarlılığı tutarlı biçimde değiştirmedi.”}}]}
Bu makale, yapay zekanın yardımıyla üretilmiş ve editör ekibi tarafından gözden geçirilmiştir.
