Yeni bir çalışma, yapay zeka modellerinin ekranda tıklama biçiminin bizzat kendilerine karşı kullanılabileceğini ortaya koyuyor. Araştırmacılar, ekrandaki talimatları gerçek tıklamalara çeviren yapay zeka sistemleri olan GUI görsel dayanak modellerinin koordinat üretme biçiminde daha önce gözden kaçmış bir zayıflık buldu ve bunu kanıtlamak için MissClick adlı çalışan bir istismar geliştirdi. Araştırmacı Yu Ran tarafından yayımlanan bulgular, masaüstü, web ve mobil platformlarda görev otomasyonuna daha fazla entegre oldukça GUI modellerinin karşı karşıya kaldığı adversaryal saldırıların yeni bir kategorisini ortaya çıkarıyor.
İçindekiler
Öne çıkan noktalar
- GUI görsel dayanak modelleri, ekran tıklama koordinatlarını ham sayılar olarak değil, basamak belirteç dizileri olarak üretir.
- Yüzler basamağı gibi yüksek basamak değerindeki tek hanelik bir değişiklik, ekranda tıklamayı 100 birim kaydırabilir.
- MissClick, iki varyanta sahip bir beyaz kutu saldırısıdır: hedeflenmemiş bozulma için MissClick-U ve hedefli ele geçirme için MissClick-T.
- MissClick-U, OS-Atlas üzerinde %75,07 ve UGround üzerinde %72,93 hedeflenmemiş başarı oranlarına ulaştı.
- MissClick-T, OS-Atlas üzerinde %44,86 ve UGround üzerinde %62,67 hedefli başarı oranlarına ulaştı.
GUI Görsel Dayanak Modelleri Koordinatları Nasıl Üretir?
GUI görsel dayanak modelleri, tıklanacak yeri, doğrudan sayısal koordinatlar yerine basamak basamak çıktılar üreterek tahmin eder ve görünüşte küçük olan bu tasarım tercihi, gerçekte ciddi güvenlik sonuçları doğuruyor. Araştırmaya göre, bu modeller hiçbir zaman basamak düzeyinde manipülasyona karşı adversaryal direnç göz önünde bulundurularak inşa edilmedi; MissClick tam da bu boşluktan yararlanıyor.
Basamak-Serileştirilmiş Koordinat Tahmini
Bu modeller, bir X-Y koordinatını tek bir sayı olarak çıktılmak yerine, daha sonra ekrandaki gerçek bir noktaya eşlenen kullanılabilir sayısal bir değere ayrıştırılan bireysel basamak belirteçleri dizisi olarak üretir. Her basamak belirteci, model tarafından, sürekli bir sayının parçası olmaktan ziyade, bir kelime dağarcığından kelime seçmeye benzer şekilde kategorik bir seçim olarak ele alınır.
Basamak Değerinin Koordinat Yer Değiştirmesine Etkisi
Bu ayrım, basamaklar tekrar sayılara ayrıştırıldığında son derece önemli hale gelir. Çalışma, yüzler basamağındaki bir basamağın yalnızca bir değer değiştirilmesinin, koordinat bileşenini ekran konumuna dönüştürüldüğünde 100 birim kaydırabildiğini ortaya koydu. Pratikte, tek bir belirteçte yapılan küçük, neredeyse görünmez bir oynama, tıklamayı hedeflenen noktadan çok uzağa sürükleyebilir — modelin basamaklar hakkında “düşünme” biçimi ile bu basamakların gerçek piksellere dönüştürüldüğünde sergilediği davranış arasındaki tutarsızlık.
MissClick: GUI Dayanak Modellerine Yönelik Adversaryal Saldırılar
Bu keşif üzerine doğrudan inşa eden araştırmacı, kategorik basamak tahmini ile sayısal koordinat çıktısı arasındaki uyumsuzluktan yararlanmak üzere tasarlanmış bir beyaz kutu adversaryal saldırı olan MissClick’i tanıtıyor. GUI modellerinin daha önce maruz kaldığı genel adversaryal saldırıların aksine MissClick, çıktıyı sıradan metin gibi ele almak yerine, basamak-serileştirilmiş koordinatların basamak-değeri yapısı etrafında özel olarak tasarlanmıştır.
Saldırı Varyantları: MissClick-U ve MissClick-T
MissClick, saldırganın hedefine bağlı olarak iki farklı biçimde gelir. MissClick-U, yalnızca modelin yanlış bir yere tıklamasını sağlamayı amaçlayan hedeflenmemiş sürümdür — doğru bölgenin dışındaki herhangi bir yer başarı sayılır. MissClick-T ise, tıklamayı rastgele raydan çıkarmak yerine, belirli, saldırgan tarafından seçilmiş bir alana yönlendirmek için tasarlanmış hedefli sürümdür.
Farklı Saldırı Hedefleri ve Optimizasyon Stratejileri
İki varyant, hedeflenmemiş ve hedefli bozulmanın farklı başarı koşulları gerektirmesi nedeniyle farklı matematiksel hedeflere dayanır. MissClick-U, çalışmada yumuşak-koordinat yer değiştirmesi olarak adlandırılan şeyi en üst düzeye çıkararak, tahmin edilen tıklamayı doğru konumundan olabildiğince uzağa iterek çalışır. MissClick-T ise, koordinat ayrıştırıldığında en büyük sıçramaları üreten yüksek basamak değerlerini özellikle manipüle etmeye öncelik veren, basamak-ağırlıklı hedef-basamak kaybını en aza indirir. Bu hedefli ve hedeflenmemiş ayrımı, GUI görsel dayanak güvenliği araştırmalarında daha geniş bir noktayı yansıtır: saldırganlar, kaos mu yoksa hassasiyet mi istediklerine bağlı olarak farklı şekilde optimize eder.
Deneysel Değerlendirme ve Saldırı Başarı Oranları
İki MissClick varyantı, masaüstü, web ve mobil dayanak görevlerini kapsayan iki yerleşik kıyaslama olan OS-Atlas ve UGround üzerinde mevcut saldırılara karşı test edildi. Sonuçlar, bu basamak-serileştirilmiş koordinat zafiyetinin marjinal bir uç durum olmadığını gösteriyor — her iki saldırı türü de önceki yöntemleri önemli ölçüde geride bırakarak ölçeklenebilir şekilde istismar edilebilir.
OS-Atlas ve UGround Üzerinde Hedeflenmemiş Saldırı Performansı
MissClick-U, OS-Atlas üzerinde %75,07 ve UGround üzerinde %72,93 hedeflenmemiş başarı oranları elde etti; bu da mevcut saldırı taban çizgilerine kıyasla sırasıyla 16,62 ve 30,72 puanlık iyileşme anlamına geliyor. Bunlar, hedeflenmemiş bozulma için test edilen hedefler arasında en yüksek skorlar ve çalışma bu üstünlüğü özellikle yumuşak-koordinat yer değiştirme yaklaşımına bağlıyor.
OS-Atlas ve UGround Üzerinde Hedefli Saldırı Performansı
MissClick-T’nin rakamları, hedefli tarafta da benzer derecede çarpıcı bir tablo çiziyor; OS-Atlas üzerinde %44,86 ve UGround üzerinde %62,67 başarı oranlarıyla, önceki yöntemlere göre sırasıyla 31,73 ve 47,06 puanlık artışlar sağlıyor. Burada rapor edilen MissClick saldırı başarı oranları, saldırgan saf bozulma yerine hassasiyet istediğinde, basamak-ağırlıklı hedef-basamak optimizasyonunun mevcut en güçlü strateji olduğunu doğruluyor; zira çalışma boyunca test edilen diğer hedefli hedefleri tutarlı biçimde geride bıraktı.
Birlikte ele alındığında, hedeflenmemiş ve hedefli performans arasındaki fark, pratik bir gerilimi vurguluyor: bir tıklamayı belirli bir noktaya kaçırmak, yalnızca modelin ıskalamasını sağlamaktan doğası gereği daha zordur; çünkü yalnızca tek bir sayıyı dışarı itmek yerine birden fazla basamak yerini aynı anda kontrol etmeyi gerektirir. Bu asimetri, gelecekte savunmaların nasıl önceliklendirileceğini şekillendirebilir; zira rastgele hatalı tıklamalara dayanıklı bir model, mutlaka hassas yönlendirmeye de dayanıklı değildir — bu da gerçek görevleri tamamlamak için otomatik tıklamaya güvenen herhangi bir sistem için son derece önemli bir ayrımdır.
SSS
MissClick’in GUI dayanak modellerinde istismar ettiği temel zafiyet nedir?
MissClick, her basamağın kategorik bir belirteç olduğu ve yüksek basamak değerlerindeki değişikliklerin bu belirteçler sayılara ayrıştırıldığında büyük koordinat yer değiştirmelerine neden olduğu basamak-serileştirilmiş koordinat üretim sürecinden yararlanır.
MissClick saldırısının iki varyantı ve hedefleri nelerdir?
MissClick-U, tıklamaları genel olarak bozmak için koordinat yer değiştirmesini en üst düzeye çıkaran hedeflenmemiş bir saldırıdır; MissClick-T ise koordinatları saldırgan tarafından belirtilen bölgelere ele geçirmek için basamak-ağırlıklı hedef-basamak kaybını en aza indiren hedefli bir saldırıdır.
MissClick saldırıları farklı veri kümelerinde ne kadar etkilidir?
MissClick-U, OS-Atlas üzerinde yaklaşık %75 ve UGround üzerinde %73 hedeflenmemiş başarı oranlarına ulaşırken, MissClick-T OS-Atlas üzerinde yaklaşık %45 ve UGround üzerinde %63 hedefli başarı oranlarına ulaştı.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”MissClick’in GUI dayanak modellerinde istismar ettiği temel zafiyet nedir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick, her basamağın kategorik bir belirteç olduğu ve yüksek basamak değerlerindeki değişikliklerin bu belirteçler sayılara ayrıştırıldığında büyük koordinat yer değiştirmelerine neden olduğu basamak-serileştirilmiş koordinat üretim sürecinden yararlanır.”}},{“@type”:”Question”,”name”:”MissClick saldırısının iki varyantı ve hedefleri nelerdir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick-U, tıklamaları genel olarak bozmak için koordinat yer değiştirmesini en üst düzeye çıkaran hedeflenmemiş bir saldırıdır; MissClick-T ise koordinatları saldırgan tarafından belirtilen bölgelere ele geçirmek için basamak-ağırlıklı hedef-basamak kaybını en aza indiren hedefli bir saldırıdır.”}},{“@type”:”Question”,”name”:”MissClick saldırıları farklı veri kümelerinde ne kadar etkilidir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick-U, OS-Atlas üzerinde yaklaşık %75 ve UGround üzerinde %73 hedeflenmemiş başarı oranlarına ulaşırken, MissClick-T OS-Atlas üzerinde yaklaşık %45 ve UGround üzerinde %63 hedefli başarı oranlarına ulaştı.”}}]}
Bu makale yapay zeka yardımıyla hazırlanmış ve editör ekibi tarafından gözden geçirilmiştir.




