İçeriğe geç
  • BTC $58.185 −7,3%
  • ETH $1.602 −9,8%
  • SOL $68,44 −7,3%
  • BNB $535,05 −8,6%
  • XRP $0,9015 −7,1%
  • DOGE $0,0535 −8,9%
  • ADA $0,1397 −8,8%

Gözlerin oraya önce varır

Göz takibi otuz yıldır pahalı, özel donanımların içinde kaldı. Artık sıradan bir web kamerasında çalışıyor ve çevrimiçi olarak herkesin yaklaşık doksan saniyede test edebileceği bir sayfa var. Birinin bilgisayar kullanmasını izleyin ve aynı gecikmenin saatte yüzlerce kez tekrarlandığını görürsünüz. Düğmeye bakarlar. Sonra hareket ederler…

Göz takibi otuz yıldır pahalı, uzman donanımların içinde kaldı. Artık sıradan bir web kamerasında çalışıyor ve herkesin yaklaşık doksan saniyede test edebileceği çevrimiçi bir sayfa var.


Birinin bilgisayar kullanmasını izleyin ve aynı gecikmenin saatte yüzlerce kez tekrarlandığını görürsünüz. Düğmeye bakarlar. Sonra fareyi düğmeye götürürler. Göz her seferinde önce varır ve sonra elin yetişmesini bekler. Daha büyük hedefler, klavye kısayolları, otomatik tamamlama, jestler: arayüz tasarımının büyük bölümü, onu tutan kişiden daha yavaş bir işaretçiyi telafi etmek için vardır.

Bilişim tarihinin büyük kısmında başka bir seçenek yoktu. Birinin nereye baktığını bilmek, kızılötesi aydınlatıcılara sahip özel bir cihaz, binlerce dolarlık bir fiyat ve doğru kalmak için kontrollü bir ortam gerektiriyordu. Alanı domine eden İsveçli şirket Tobii bunun üzerine ciddi bir iş kurdu. Ekrandaki harflere bakarak konuşan ALS hastaları veya omurilik yaralanması olanlar için bu donanım hayat değiştiricidir. Aynı zamanda bir satın alma emrinin arkasında kilitlidir.

Bu kapı iki yönden sökülüyor. Yukarıdan, platformlardan: Apple, yalnızca ön kamerayı kullanarak iPhone ve iPad’de Göz Takibi’ni standart bir erişilebilirlik özelliği olarak sunuyor ve Vision Pro bakışı işaretçi, çimdiklemeyi tıklama haline getirdi. Aşağıdan, açık kaynak yığından: birkaç yıl önce araştırma projesi olan yüz takibi modelleri artık tarayıcı sekmesinde, kamera kare hızında ve bedavaya çalışıyor.

Demo

İşte burada Lugano devreye giriyor. Şehirdeki bir yazılım stüdyosu olan Mont3, çalışan bir örneği çevrimiçi koydu. Sayfa kameraya erişim istiyor, ziyaretçiyi ekranda dolaşan bir noktayı takip ederek yaklaşık bir dakikalık kalibrasyondan geçiriyor ve ardından bir işaretçi bakışlarını takip etmeye başlıyor. İki küçük oyun eklenmiş: birinde baktığınız böceği yok etmek için göz kırpıyorsunuz, diğerinde, Yılan oyununun bir versiyonunda, nereye gitmek istiyorsanız oraya bakarak yön veriyorsunuz. Kurulum yok, hesap yok, yükleme yok: kamera akışı ziyaretçinin makinesinde kalıyor, model tarayıcıda eğitilip saklanıyor ve sekmeyi kapatmak her şeyi bitiriyor.

Kalibrasyon ortasında. Yeşil halka, kullanıcıdan bakması istenen hedef; mavi işaretçi, sayfanın onların nereye baktığını düşündüğü yer; sağdaki şerit ise okunan iris takibi. Kaynak: Mont3

Nasıl çalışıyor

Bunu inşa etmenin bariz yolu, kamera karelerini bir modele besleyip kişinın nereye baktığını sormaktır. Baş etkileyici biçimde yana yatana kadar çalışır, o noktada çöker, çünkü modelin öğrendiği şey bir duruştur.

Bu yüzden görüntü neredeyse anında çöpe atılır. Google’ın cihaz üzerinde çalışan açık kaynak yüz ağı MediaPipe FaceLandmarker, kare başına 478 nokta döndürür; bunlara her iris etrafında bir halka da dahildir ve bu iris takibinin kendisi başlı başına yayınlanmış bir araştırma konusudur. Yaklaşık bir düzine sayı hayatta kalır: her irisin kendi göz çukurunun içinde nerede oturduğu, başın yaw, pitch ve roll değerleri ve gözler arası mesafe, bakış mesafesi için bir vekil olarak.

Gerçek bir kişiyle temas ettiğinde işe yarayan numara budur: göz içinde ölçülen iris konumu, yüzün karede tesadüfen nerede olduğunun etkisini yok eder; böylece sandalyede geriye yaslanmak artık tahmini bozamaz.

Yüz işaret noktalarından ekrandaki bir noktaya. Kaynak: Mont3

Tek bir HTML dosyası

Bunu üretmenin maliyeti konusunda net olmak gerekir, çünkü değişen kısım budur. Sayfa tek bir HTML dosyası: yaklaşık 1.100 satır, 51 KB, bir script etiketi, çerçeve yok, derleme adımı yok, sunucu yok, npm install yok. Okuyucunun zaten açık olan tarayıcısında çalışan sade JavaScript. Tek harici bağımlılık, herkese açık bir CDN’den tek satırla çekilen Google’ın yüz ağı. Sondaki regresyon, kapalı formda çözülen, el yazısı 65 terimlik lineer cebir; hiçbir makine öğrenimi kütüphanesi işin içinde değil.

Yetkin bir geliştirici bunu bir hafta sonunda yeniden üretebilir. On beş yıl önce aynı sonuç, donanım bütçeli bir araştırma projesiydi.

Gerçekte ne kadar doğru

Web kamerası bakışı, kalibrasyondan sonra yaklaşık 2 ila 4 derece hata payıyla sonuç verir. Dizüstü bilgisayar mesafesinde bu, büyük bir madeni para ile bir kredi kartı arasındadır: 4×4 bölge ızgarası düzeyinde güvenilirdir. Bir imleç değildir ve tüketici donanımında bunun aksini iddia eden herkes bir şey satıyordur.

Bu sınır, göründüğünden daha ilginçtir. Pek çok arayüz piksel hassasiyeti gerektirmez: altı kutudan hangisinin dikkatinizi çektiği, bir paragrafı bitirip bitirmediğiniz, hâlâ ekranın karşısında olup olmadığınız. Yardımcı teknolojinin onlarca yıldır kullandığı bekleme ile seçim tekniği, bölge hassasiyetinde gayet iyi çalışır.

Bundan sonrası

Bu, bir teknolojinin muhafazasından çıktığında nasıl göründüğüdür. Bir yetenek, pahalı donanımların içinde yıllarca, onsuz idare edemeyen insanlara hizmet ederek bekler; ta ki algılama, sıradan parçalar için yeterince iyi hale gelip modeller açılana kadar. İlk faydalananlar, her zaman buna ihtiyaç duyanlardır; binlerce dolarlık bir cihaz ile hiçbir şeye mal olmayan bir sayfa arasındaki fark, konuşabilmekle konuşamamak arasındaki farktır. Ardından daha sıradan olan gelir: dikkatin nereye gittiğini fark eden ve bunu açıklaması için eli zorlamayı bırakan arayüzler.

Doksan saniye ve bir tarayıcı, mont3.ch/control_with_eyes adresinde ne kadar yol aldığımızı görmek için yeterli. Chrome, yüzde hafif bir ışık, baş ekrandan bir kol boyu uzakta.


Editör için notlar

  • Kelime sayısı: 838 kelime (yalnızca gövde, başlık, spot, altyazılar ve bu blok hariç).
  • Çerçeveleme: Lugano demosunun, okuyucunun gidip doğrulayabileceği şey olduğu, göz kontrolünün nereye gittiği hakkında bir yazı. Şirketin adı gövdede bir kez ve kapanış URL’sinde bir kez geçiyor. Ticari sayfalarına bağlantı yok, ondan alıntı yok ve tek birinci çoğul şahıs, editoryal olan.
  • İmza: bilerek boş bırakıldı.
  • Görseller: ikisi de stüdyo tarafından sağlandı, üçüncü taraf hakları yok. Görsel 1, sayfanın kullanımda olduğuna dair, yazarı tarafından alınmış bir ekran görüntüsü. Görsel 2, bu makale için yapılmış özgün bir diyagram. “Kaynak: Mont3” ibaresi, kurum tarzı tercih ederse kaldırılabilir veya sayfanın altına tek satır olarak taşınabilir.
  • Kullanılan harici bağlantılar: Tobii, Apple Newsroom, Google MediaPipe dokümantasyonu, arXiv. Yazım sırasında hepsi kontrol edildi ve aktif.
  • Demo bir kamera gerektirir ve en iyi Chrome’da çalışır. Açık izin verilmeden hiçbir şey yapmaz ve hiçbir şey yüklemez.

Cryptonomist Editorial Staff

Cryptonomist Editorial Staff adlı yazarın tüm makaleleri