Manuel Israel Cázares tarafından yazılan yeni bir araştırma makalesi, istem mühendisliğinin gerçek dünya güvenlik görevlerinde büyük dil modellerini gerçekte ne kadar ileri taşıyabileceği konusunda sessizce rahatsız edici sorular gündeme getiriyor. Çalışma, kod güvenliğinde yapısal önbilgilerin zafiyet tespitinde biçimsel matematiksel akıl yürütmede davrandıklarıyla aynı şekilde davranıp davranmadığını test ediyor — ve ortaya çıkan yanıt, evet. Kazanımlar sentetik veride dramatik, gerçek dünya verisindeki çöküş ise aynı derecede dramatik.
İçindekiler
Temel çıkarımlar
- Yapısal önbilgiler (ipuçları) sentetik veri kümelerinde test edilen üç LLM’in tamamında anlamsal zafiyet yakalama oranını %20’den %100’e çıkardı.
- Aynı önbilgiler, VUDENC’ten alınan gerçek CVE verilerinde F1 skorlarının sentetik verideki %100’den %48,9’a düşmesine neden oldu — 51,1 puanlık bir gerileme.
- Yinelemeli yeniden kalibrasyon, durumu iyileştirmek yerine kötüleştirdi ve gerçek dünya verisinde orijinal v1’den daha kötü performans gösteren bir v2 ipucu seti üretti.
- Yönlendirici hipotezi — modellerin bilgiye sahip olduğu ancak bunu etkinleştirmek için güvenilir yönlendirmeden yoksun olduğu — artık matematiğin ötesine geçerek kod güvenliğine de uzanan alanlar arası bir olgu olarak destekleniyor.
- Sadece istem kalibrasyonundan ziyade dağılım farkındalıklı eğitimin daha yapısal olarak sağlam bir çözüm olduğu öneriliyor.
Yapısal Önbilgiler Sentetik Zafiyet Tespitini Artırıyor
Temel bulgu neredeyse fazla temiz görünüyor: Doğru yapısal bağlamı bir isteme enjekte edin ve sentetik kod üzerindeki LLM zafiyet tespiti, zar zor çalışır durumdan neredeyse kusursuza geçsin. Test edilen üç modelin tamamında — GPT-OSS-120B, Llama-3.3-70B ve Gemma-4-31B — yapısal önbilgiler eklendiğinde anlamsal zafiyet yakalama oranı %20’den %100’e çıktı. Farklı mimarilere sahip modeller arasında bu kadar yeknesak bir iyileşme nadirdir ve hemen sistematik bir şeylerin iş başında olduğuna işaret eder.
Test Edilen LLM’ler Arasında Performans Kazanımları
Bu çalışmada kullanılan önbilgiler, ipuçları (cheatsheet) biçimini alıyor — modele zafiyetleri tespit etmesi için açık bağlamsal iskelet sunan yapılandırılmış istem enjeksiyonları. Sentetik test paketinde performansı doyum noktasına ulaştırdılar. Boyut veya mimariden bağımsız olarak her model, tavan seviyesinde F1 skorlarına ulaştı. Bu, istem genişletme stratejilerini araştıran araştırmacılar için önemli bir sonuç: Doğru yapısal çerçeveyle LLM’lerin, ince güvenlik açıklarını bile tespit etme yönünde gizil bir yeteneğe sahip olduğu açıkça görülüyor.
Zafiyet Kategorileri ve Karmaşıklık
Çalışma, tam bir karmaşıklık gradyanını kapsayan üç zafiyet kategorisini ele aldı. CWE-798 (gömülü kimlik bilgileri), nispeten yüzeysel ve desen eşleştirmeye uygun bir sözdizimsel zafiyeti temsil ediyor. CWE-284 (hatalı erişim kontrolü) bağlamsal orta alanda yer alıyor. N+1 anti-pattern ise, CWE dışı bir anlamsal verimsizlik olarak en yüksek karmaşıklık katmanında bulunuyor. Sıfır-atış (zero-shot) performansı, karmaşıklık arttıkça öngörülebilir biçimde bozuldu; bu da yapısal iskelet olmadan bu modellerin, bildikleri göründüğü şeyleri güvenilir biçimde etkinleştirmekte zorlandığını doğruluyor.
Anlamsal Karmaşıklık ve Gerçek Dünya Verisiyle Performans Düşüşleri
Daha zorlayıcı hikâye, aynı ipuçları eğitim dağılımlarının dışına uygulandığında başlıyor. Bir dengeleyici gibi davranmak yerine, yapısal önbilgiler, aşmayı amaçladıkları dağılım kaymasını daha da büyütüyor gibi görünüyor.
Anlamsal Karmaşıklığa Göre Sıfır-Atış Performans Bozulması
Herhangi bir yapısal önbilgi olmadan bile modeller, net bir bozulma deseni sergiliyor: Zafiyet ne kadar anlamsal olarak karmaşıksa, sıfır-atış performansı o kadar kötü. Bu gradyan sezgisel olarak mantıklı — modeller, çok adımlı bağlamsal veya anlamsal sorunları akıl yürütmektense sözdizimsel sorunlarda desen eşleştirmede daha iyidir. Ancak bu durum önemli bir gerilimi de ortaya koyuyor: Önbilgiler, dağılım içindeki zor vakalardaki performansı düzeltiyor; bu da dağılım dışındaki çöküşü daha da çarpıcı kılıyor.
Dağılım Dışı Gerçek CVE Verisinde Çöküş
İpucu destekli istemler VUDENC’ten alınan gerçek CVE verisine aktarıldığında sonuçlar çarpıcıydı. CWE-89 (SQL enjeksiyonu) için F1 skorları, sentetik verideki kusursuz %100’den, gerçek dünya CVE örneklerinde yalnızca %48,9’a düştü — 51,1 puanlık bir gerileme. Yapısal önbilgiler sadece genelleşememekle kalmadı; dağılım kaymasını aktif biçimde daha da kötüleştirdi. Bu, ipuçlarının, gerçek kod tabanlarında önemli ölçüde değişen temel zafiyet anlambilimine değil, sentetik verinin yüzeysel özelliklerine aşırı uyum sağladığını düşündürüyor.
Bu ayrım, üretim ortamında LLM tabanlı güvenlik araçları kullanmayı düşünen herkes için son derece önemli. Kontrollü bir değerlendirme ortamında kusursuz puan alan, ancak gerçek CVE verisinde performansı yarıdan fazla düşen bir modele, en azından mevcut istem-mühendisliği biçimiyle, canlı kod incelemesi emanet edilemez.
Yinelemeli Yeniden Kalibrasyon ve Alanlar Arası Yönlendirici Hipotezi
Yinelemeli Yeniden Kalibrasyon Gerçek Dünya Performansını Düşürüyor
Çöküş problemine verilebilecek sezgisel bir yanıt, yineleme yapmak olabilir: Başarısız vakaları alın, ipucunu güncelleyin ve tekrar deneyin. Cázares tam olarak bunu test etti ve sonuçlar, matematiksel akıl yürütmede önceki SAIR araştırmalarında bulunanlarla örtüşüyor. Yinelemeli yeniden kalibrasyonla üretilen v2 ipucu seti, gerçek dünya verisinde orijinal v1’den daha kötü performans gösterdi. Başka bir deyişle, iyileştirme, aşırı uyumu düzeltmek yerine derinleştirdi. Bu sezgiye aykırı ama tutarlı bir bulgu — bir yapısal önbilgiyi kendi zayıflıklarını gidermek için ne kadar çok ayarlarsanız, onu ayarlandığı dağılıma o kadar sıkı bağlamış olursunuz.
Alanlar Arası Yönlendirme Tavanı Olgusuna Destek
Buradaki daha geniş teorik iddia, bu sonuçların yönlendirme tavanları ve önbilgi enjeksiyonları üzerine önceki SAIR bulgularını yinelediği ve genişlettiğidir. Yönlendirici hipotezi — LLM’lerin bir görevi çözmek için gereken bilgiye sahip olduğunu, ancak bu bilgiyi tutarlı biçimde etkinleştirmek için güvenilir iç yönlendirme mekanizmalarından yoksun olduğunu savunan görüş — artık iki farklı alanda gözlemlenmiş durumda: biçimsel matematiksel akıl yürütme ve kod güvenliği zafiyet tespiti. Bu alanlar arası doğrulama önemlidir. Olgunun, tek bir alanın belirli istem yapısının veya veri kümesi tuhaflıklarının bir yan ürünü değil, mevcut LLM’lerin enjekte edilen yapısal bilgiyi işleme biçiminin daha temel bir özelliği olduğunu öne sürer.
Analitik açıdan bu durum, uygulamalı yapay zekâ topluluğundaki yaygın bir varsayıma meydan okuyor: İstem mühendisliğinin, model güvenilirliğini artırmak için ölçeklenebilir ve düşük maliyetli bir yol olduğu varsayımı. Buradaki kanıtlar, yapısal önbilgilerin dağılım içinde ulaşabileceği sert bir tavan ve dağılım dışında performansı itebileceği karşılık gelen bir taban olduğunu gösteriyor. Tavan ve taban, mekanik olarak birbirine bağlı görünüyor.
Öneriler ve Açık Kaynaklar
Çözüm Olarak Dağılım Farkındalıklı Eğitim
Dağılım farkındalıklı eğitim, çalışmanın çöküş problemini ele almak için sunduğu temel öneri. Argüman yapısal: Hata modu, modellerin dağılımı kaymış girdileri işleme biçiminde kök saldığı için — sadece istemlerin nasıl formüle edildiğinde değil — bunu düzeltmek, çıkarım düzeyinde değil, eğitim düzeyinde değişiklikler gerektiriyor. Ne kadar dikkatli uygulanırsa uygulansın istem kalibrasyonu, problemin ortaya çıktığı katmanda çalışır. Modelleri daha geniş ve daha temsil edici gerçek zafiyet verisi dağılımlarına maruz bırakan eğitim düzeyi müdahaleler, semptomlara değil, kök nedene hitap edecektir.
Kod ve Değerlendirme Betiklerinin Kamuya Açık Olması
Bu araştırmanın tam kodu ve değerlendirme betikleri, GitHub’daki bytepro-ai/bitcoder-v2-research deposunda herkese açık olarak sunuluyor; bu da bulguları yeniden üretilebilir ve metodolojiyi bağımsız incelemeye açık hale getiriyor. Performans iddialarının özgüllüğü göz önüne alındığında bu şeffaflık önemlidir ve daha geniş araştırma topluluğunu, aynı çöküş kalıplarının farklı modellerde, farklı zafiyet veri kümelerinde veya farklı yapısal önbilgi tasarımlarında ortaya çıkıp çıkmadığını test etmeye davet eder.
Güvenlik yapay zekâsı alanı için pratik çıkarım nettir: LLM tabanlı zafiyet tespit araçlarına yatırım yapan kuruluşların, modellerin sadece özenle hazırlanmış kıyaslamalarda nasıl performans gösterdiğini değil, dağılım kaydığında — ki gerçek üretim ortamlarında kaçınılmaz olarak kayar — nasıl davrandığını da sorması gerekir. Sentetik bir değerlendirme paketini doyurmak gerekli bir adımdır, ancak yeterli değildir.
SSS
Yapısal önbilgiler nelerdir ve zafiyet tespitini nasıl etkilerler?
Yapısal önbilgiler, modele zafiyetleri tespit etmesi için açık bağlamsal iskelet sağlayan ve istemlere enjekte edilen ipuçlarıdır. Bu çalışmada, sentetik veri kümelerinde zafiyet yakalama oranını dramatik biçimde iyileştirdiler — performansı tüm test edilen dil modellerinde %20’den %100’e çıkardılar.
Sentetik verideki iyileştirmelere rağmen gerçek dünya CVE verisinde performans neden çöküyor?
Sentetik performansı doyuran aynı yapısal önbilgiler, gerçek CVE verisine uygulandığında dağılım kayması etkilerini büyütüyor. Test edilen bir vakada (CWE-89), bu durum, sentetik verideki kusursuz F1 skorundan, VUDENC’ten alınan gerçek CVE örneklerinde yalnızca %48,9’a düşüşe — 51,1 puanlık bir gerilemeye — yol açtı.
Yönlendirici hipotezi nedir ve burada nasıl doğrulanıyor?
Yönlendirici hipotezi, LLM’lerin bir görevi çözmek için gereken bilgiye sahip olduğunu, ancak bu bilgiyi tutarlı biçimde etkinleştirmek için güvenilir iç yönlendirme mekanizmalarından yoksun olduğunu savunur. Bu araştırma, hipotezin biçimsel matematiksel akıl yürütmenin ötesine geçerek kod güvenliği zafiyet tespitine de uzandığını doğruluyor ve onu alanlar arası bir olgu haline getiriyor.
Performans çöküşünü hafifletmek için hangi çözümler öneriliyor?
Çalışma, dağılım farkındalıklı eğitimin, istem kalibrasyonundan daha yapısal olarak sağlam bir çözüm olduğunu savunuyor. Çöküş, modellerin dağılım dışı girdileri işleme biçiminde kök saldığı — istemlerin ifade edilişinde değil — için, modelleri daha temsil edici gerçek dünya zafiyet verilerine maruz bırakan eğitim düzeyi müdahalelerin, altta yatan nedeni ele almak için gerekli olduğu belirtiliyor.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Yapısal önbilgiler nelerdir ve zafiyet tespitini nasıl etkilerler?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Yapısal önbilgiler, modele zafiyetleri tespit etmesi için açık bağlamsal iskelet sağlayan ve istemlere enjekte edilen ipuçlarıdır. Bu çalışmada, sentetik veri kümelerinde zafiyet yakalama oranını dramatik biçimde iyileştirdiler — performansı tüm test edilen dil modellerinde %20’den %100’e çıkardılar.”}},{“@type”:”Question”,”name”:”Sentetik verideki iyileştirmelere rağmen gerçek dünya CVE verisinde performans neden çöküyor?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Sentetik performansı doyuran aynı yapısal önbilgiler, gerçek CVE verisine uygulandığında dağılım kayması etkilerini büyütüyor. Test edilen bir vakada (CWE-89), bu durum, sentetik verideki kusursuz F1 skorundan, VUDENC’ten alınan gerçek CVE örneklerinde yalnızca %48,9’a düşüşe — 51,1 puanlık bir gerilemeye — yol açtı.”}},{“@type”:”Question”,”name”:”Yönlendirici hipotezi nedir ve burada nasıl doğrulanıyor?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Yönlendirici hipotezi, LLM’lerin bir görevi çözmek için gereken bilgiye sahip olduğunu, ancak bu bilgiyi tutarlı biçimde etkinleştirmek için güvenilir iç yönlendirme mekanizmalarından yoksun olduğunu savunur. Bu araştırma, hipotezin biçimsel matematiksel akıl yürütmenin ötesine geçerek kod güvenliği zafiyet tespitine de uzandığını doğruluyor ve onu alanlar arası bir olgu haline getiriyor.”}},{“@type”:”Question”,”name”:”Performans çöküşünü hafifletmek için hangi çözümler öneriliyor?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Çalışma, dağılım farkındalıklı eğitimin, istem kalibrasyonundan daha yapısal olarak sağlam bir çözüm olduğunu savunuyor. Çöküş, modellerin dağılım dışı girdileri işleme biçiminde kök saldığı — istemlerin ifade edilişinde değil — için, modelleri daha temsil edici gerçek dünya zafiyet verilerine maruz bırakan eğitim düzeyi müdahalelerin, altta yatan nedeni ele almak için gerekli olduğu belirtiliyor.”}}]}
Makale, yapay zekâ desteğiyle üretilmiş ve editör ekibi tarafından gözden geçirilmiştir.




