Güvenlik araştırmacıları uzun zamandır büyük dil modeli ajanlarının olay müdahalesinin en zahmetli kısımlarından birini hızlandırabileceğini umuyordu: dağınık günlükler ve telemetri kullanarak bir saldırganın bir sistemde adım adım nasıl ilerlediğini bir araya getirmek. DiagChain adlı yeni bir tanısal kıyaslama bu umudu teste tabi tutuyor ve sonuçlar, teknolojinin kendi başına güvenilir bir şekilde saldırı zinciri yeniden yapılandırmasını ele alabilmesi için hâlâ kat etmesi gereken uzun bir yol olduğunu gösteriyor.
Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan ve Xibin Zhao’nun da aralarında bulunduğu bir araştırma ekibi tarafından geliştirilen DiagChain, sadece başka bir doğruluk skor tablosu değil. Özellikle, bir saldırganın sistem telemetrisinden elde edilen kanıtlara dayanarak gerçekleştirdiği eylem dizisini yeniden oluşturmaya çalışırken LLM ajanlarının nerede ve neden başarısız olduğunu göstermek için tasarlandı.
Summary
Öne çıkan noktalar
- DiagChain, LLM ajanlarını basit geçme/kalma doğruluğunun ötesine geçerek kanıta dayalı saldırı zinciri yeniden yapılandırması üzerinde değerlendiren tanısal bir kıyaslamadır.
- Kıyaslamanın MAIN-69 paketi, birden fazla işletim sistemi, kanıt gürültü seviyeleri ve zincir uzunluklarını kapsayan 69 senaryo içerir.
- ECRAG adlı yeni bir yöntem, yeniden yapılandırılan zincirin gelişen yapılandırılmış bir temsiliyle kanıt getirmeyi eşleştirir.
- Test edilen 6 farklı LLM arasında, en iyi yapılandırma 849 referans adımının yalnızca %39,6’sında başarılı oldu.
- Daha küçük modeller getirilen kanıtları kullanmakta zorlanırken, daha büyük modeller esas olarak bu kanıtları doğru sıraya koymakta zorlanıyor.
DiagChain’i Tanıtıyoruz: Saldırı Zinciri Yeniden Yapılandırması için Yeni Bir Kıyaslama
DiagChain, çoğu mevcut kıyaslamanın yalnızca nihai çıktılara veya genel doğruluk puanlarına baktığı, bir ajanın akıl yürütme süreci sırasında hataların gerçekte nasıl oluştuğuna dair çok az içgörü sunduğu için var. Bu, bir yapay zeka ajanının gerçek bir ihlali önceliklendirmeye yardımcı olacak kadar güvenilir olup olmadığına karar vermeye çalışan siber güvenlik ekipleri için anlamlı bir boşluk.
DiagChain’in Amacı ve Kapsamı
Özünde DiagChain, kanıta dayalı siber güvenlik görevleri için oluşturulmuş bir tanısal kıyaslamadır. Bir ajanın nihai saldırı anlatısını doğru mu yanlış mı aldığına basitçe not vermek yerine, yeniden yapılandırma sürecinin her aşamasını ayrı ayrı değerlendirir. Bu aşama bazlı yaklaşım, araştırmacıların bir LLM ajanının akıl yürütmesinin tam olarak nerede bozulduğunu belirlemesine olanak tanır; ister kanıt toplama sırasında, ister kanıt yorumlama sırasında, isterse olayların tutarlı bir zincire dönüştürülmesi sırasında olsun.
MAIN-69 Senaryo Paketinin Bileşimi
Kıyaslamanın odak noktası, ajanları çeşitli gerçekçi koşullar altında stres testine tabi tutmak için tasarlanmış 69 senaryoluk bir paket olan MAIN-69’dur. Bu senaryolar birden fazla işletim sistemini kapsar, kanıtlara ne kadar gürültü karıştırıldığı bakımından farklılık gösterir ve zincir uzunluğu açısından değişir; yani bazı saldırı dizileri kısayken, diğerleri saldırgan eylemlerinin daha uzun bir dizisinin izlenmesini gerektirir. Bu çeşitlilik, bir ajanın performansının yalnızca her şey temiz ve basit olduğunda değil, koşullar karmaşıklaştığında da sürüp sürmediğini ortaya çıkarmayı amaçlar.
Yöntemsel Yenilikler ve Değerlendirme Ölçütleri
Senaryo paketinin ötesinde DiagChain, başarısızlık teşhisini tahminden ziyade sistematik hale getirmeyi amaçlayan kendi getirme yöntemini ve beş parçalı bir puanlama sistemini tanıtır.
Kanıt Merkezli Getirme Destekli Üretim (ECRAG)
Makalede sunulan temel katkılardan biri, Kanıt Merkezli Getirme Destekli Üretim’in kısaltması olan ECRAG’dır. Standart getirme destekli üretim kurulumlarından farklı olarak ECRAG, kanıt getirmeyi, ajanın yeniden oluşturmaya çalıştığı zincirin gelişen yapılandırılmış bir temsiliyle birleştirir. Pratik açıdan bu, sistemin yalnızca bir kez ilgili kanıtları çekip yoluna devam etmediği; yeni kanıtlar geldikçe saldırı zincirine dair içsel resmini sürekli güncellediği anlamına gelir; bu da teoride ajanların karmaşık, çok adımlı ihlalleri daha tutarlı bir şekilde takip etmesine yardımcı olmalıdır.
Tanısal Değerlendirme için Beş Tamamlayıcı Ölçüt
İşlerin nerede ters gittiğini anlamlandırmak için DiagChain, yeniden yapılandırma sürecinin belirli bir aşamasını hedefleyen beş tamamlayıcı ölçüte dayanır. Birlikte ele alındığında bu ölçütler, her hatayı tek bir genel doğruluk sayısına yığmak yerine araştırmacıların belirli başarısızlık noktalarını izole etmesine olanak tanır. Bu, kıyaslamanın değerinin merkezinde yer alır: “ajan doğru kanıtı bulamadı” ile “ajan kanıtı buldu ama olayları yanlış sıraya koydu”yu ayıran bir tanısal değerlendirme, bu sistemleri geliştirmek için tek bir geçme/kalma puanından çok daha kullanışlıdır.
Büyük Dil Modellerinin Performans Değerlendirmesi
Peki günümüz modelleri gerçekte nasıl performans gösterdi? Kıyaslamanın sonuçlarına göre pek iyi değil.
Altı LLM Kullanılarak Yapılan Deneysel Kurulum
Araştırma ekibi, MAIN-69 senaryolarına karşı altı farklı LLM kullanarak değerlendirmeler gerçekleştirdi. Bu kurulum, farklı yetenek seviyelerindeki modellerin aynı kanıta dayalı yeniden yapılandırma görevlerini, aynı gürültü koşulları ve zincir uzunluğu zorlukları altında nasıl ele aldığını karşılaştırmalarına olanak tanıdı ve genel olarak performansı karşılaştırmak için tutarlı bir temel sağladı.
Temel Performans Sonuçları ve Başarı Oranları
Öne çıkan sayı oldukça çarpıcı: Çalışmadaki en iyi performans gösteren yapılandırma bile MAIN-69’da yer alan 849 referans adımının yalnızca %39,6’sında başarılı oldu. Başka bir deyişle, test edilen en güçlü kurulum bile, kıyaslamanın gerçek adımlarına göre ölçüldüğünde saldırgan eylemlerinin dizisini zamanın %60’ından fazlasında yanlış aldı. Bu, saldırı zinciri yeniden yapılandırmasını şu anda tamamen bir yapay zeka ajanına devretmeyi uman herkes için anlamlı bir gerçeklik kontrolü.
Model Boyutu ve Yeniden Yapılandırma Zorluklarına Dair İçgörüler
Bu neden ham sayılar dışında önemlidir? Çünkü başarısızlık kalıpları model boyutuna göre farklılık gösteriyor ve bu ayrım, çözülmesi gereken iki çok farklı mühendislik sorununa işaret ediyor.
Küçük Modellerin Sınırlamaları
Araştırmacıların analizine göre küçük modeller, olayları doğru sıraya koymaktan daha temel bir şeyle mücadele ediyor: getirilen kanıtları çıktılarında hiç kullanmakta zorlanıyorlar. Bu da küçük modeller için darboğazın, kanıtların ajanın akıl yürütmesini gerçekten bilgilendirmesi gereken, ancak bunun yerine göz ardı edildiği veya yanlış uygulandığı boru hattının daha erken bir noktasında bulunduğunu gösteriyor.
Büyük Modeller için Kanıt Sıralamada Yaşanan Zorluklar
Daha büyük modeller bu ilk engeli daha başarılı bir şekilde aşıyor ve yeniden yapılandırma sürecinde daha ileri gidebiliyor. Ancak farklı bir duvara çarpıyorlar: topladıkları kanıtları doğru şekilde sıralamak ana darboğaz haline geliyor. Bu, daha ince bir başarısızlık modu; çünkü model doğru parçalara sahip, ancak bunları gerçek bir güvenlik soruşturması için en çok önem taşıyan saldırgan eylemlerinin doğru dizisine yerleştirmekte zorlanıyor.
Bu ayrım, güvenlik operasyonlarında LLM değerlendirme kıyaslama araçları geliştiren veya kullanan herkes için önemlidir. Bu durum, yalnızca model boyutunu büyütmenin saldırı zinciri yeniden yapılandırmasını otomatik olarak çözmeyeceğini ima ediyor. İki başarısızlık modu, tek tip bir iyileştirme yolundan ziyade, küçük modeller için daha iyi kanıt entegrasyonu ve büyük modeller için daha iyi sıralama veya akıl yürütme stratejileri gibi farklı çözümler gerektiriyor.
Araştırmacılar bu bulguları, basit uçtan uca doğruluk puanları yerine tanısal değerlendirme için bir doğrulama olarak çerçeveliyor. Tek bir toplu sayı, bir güvenlik ekibine bir modelin “zamanın %40’ında doğru yaptığını” söyleyebilir, ancak bu başarısızlığın kaçırılan kanıtlardan mı, yanlış okunan kanıtlardan mı yoksa karışık sıralamadan mı kaynaklandığını söylemez. DiagChain’in aşama bazlı ölçütleri bu boşluğu kapatmak için tasarlanmıştır ve yazarların ileriye dönük olarak kanıta dayalı siber güvenlik ajanlarını iyileştirmek için eyleme dönüştürülebilir içgörüler olarak tanımladığı şeyi sunar.
SSS
DiagChain neyi değerlendirmek için tasarlanmıştır?
DiagChain, büyük dil modeli ajanlarını tanısal, aşama bazlı bir değerlendirme yoluyla kanıta dayalı saldırı zinciri yeniden yapılandırması üzerinde değerlendirmek için tasarlanmıştır.
MAIN-69 senaryo paketi hangi içeriği kapsar?
MAIN-69, birden fazla işletim sistemini, değişen kanıt gürültü seviyelerini ve farklı saldırı zinciri uzunluklarını kapsayan 69 senaryo içerir.
ECRAG metodolojisi saldırı zinciri yeniden yapılandırmasını nasıl iyileştirir?
ECRAG, zincirleme analizine yardımcı olmak için kanıt getirmeyi yeniden yapılandırılan zincirin gelişen yapılandırılmış bir temsiliyle birleştirir.
Bu kıyaslamada LLM’ler için belirlenen temel performans zorlukları nelerdir?
Daha küçük modeller getirilen kanıtları entegre etmekte zorlanırken, daha büyük modeller yeniden yapılandırmada kanıtları doğru şekilde sıralamada zorluklarla karşılaşır.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”DiagChain neyi değerlendirmek için tasarlanmıştır?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”DiagChain, büyük dil modeli ajanlarını tanısal, aşama bazlı bir değerlendirme yoluyla kanıta dayalı saldırı zinciri yeniden yapılandırması üzerinde değerlendirmek için tasarlanmıştır.”}},{“@type”:”Question”,”name”:”MAIN-69 senaryo paketi hangi içeriği kapsar?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MAIN-69, birden fazla işletim sistemini, değişen kanıt gürültü seviyelerini ve farklı saldırı zinciri uzunluklarını kapsayan 69 senaryo içerir.”}},{“@type”:”Question”,”name”:”ECRAG metodolojisi saldırı zinciri yeniden yapılandırmasını nasıl iyileştirir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ECRAG, zincirleme analizine yardımcı olmak için kanıt getirmeyi yeniden yapılandırılan zincirin gelişen yapılandırılmış bir temsiliyle birleştirir.”}},{“@type”:”Question”,”name”:”Bu kıyaslamada LLM’ler için belirlenen temel performans zorlukları nelerdir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Daha küçük modeller getirilen kanıtları entegre etmekte zorlanırken, daha büyük modeller yeniden yapılandırmada kanıtları doğru şekilde sıralamada zorluklarla karşılaşır.”}}]}
Makale, yapay zekâ desteğiyle hazırlanmış ve editör ekibi tarafından gözden geçirilmiştir.
