Ana cihazlar için geliştirilmiş — ağır hesaplama gücüne ihtiyaç duymadan verimli şekilde çalışacak şekilde tasarlanmış — kompakt bir konuşma tanıma modeli, Bengalce ile karşılaştığında temel bir kusur sergiliyor. Araştırmacılar Sanjid Hasan ve Md. Abdur Rahman, hafif sistemlerde Bengalce konuşma tanımanın neden tam olarak çöktüğünü tespit etti ve önerdikleri çözüm şaşırtıcı derecede cerrahi: tüm modeli sıfırdan yeniden eğitmek yerine tokenizer sözlüğünü değiştirmek.
Summary
Öne çıkan noktalar
- İngilizce merkezli bayt düzeyinde tokenizer’lar, Bengalce kelimeleri uzun ve kararsız dizilere bölerek çıkarım sırasında otokorelasyonlu (autoregressive) çöküşü tetikliyor.
- Sözlük nakli, kod çözücü sözlüğünü BanglaBERT WordPiece ile değiştirip token gömme (embedding) matrisinin boyutunu yeniden ayarlıyor ve maliyetli ön eğitim gerektirmiyor.
- Token doğurganlığı 9,16’dan 1,30’a düştü ve otokorelasyonlu dizi uzunluğu %85,8 oranında azaldı.
- 882 saatlik Lipi-Ghor veri kümesinde, değiştirilmiş model %21,54 Kelime Hata Oranı ve 0,0053 Gerçek Zaman Faktörü elde etti.
- Araştırma, ICML 2026’daki MusIML Çalıştayı’nda poster olarak kabul edildi.
Hafif Bengalce Konuşma Tanımadaki Zorluklar
Kenar (edge) cihazlara dağıtılabilir otomatik konuşma tanıma (ASR) alanında kayda değer ilerlemeler sağlandı, ancak bu kazanımlar büyük ölçüde Latin alfabesini ve İngilizceye benzer biçimsel sadeliği paylaşan dillere odaklandı. Bengalce ise bu yelpazenin diğer ucunda yer alıyor — biçimbilimsel olarak zengin, kendi yazı sistemini kullanıyor ve neredeyse tamamen İngilizce veriler üzerinde optimize edilmiş modellere direnç gösteriyor.
Biçimbilimsel Olarak Zengin Latin Dışı Alfabelerin Etkisi
Moonshine, yüksek derecede optimize edilmiş hafif bir ASR mimarisi ve kısıtlı donanım üzerinde çalışmak üzere inşa edildi. Bu verimlilik bazı ödünler getiriyor. Bengalceye uygulandığında, İngilizce etrafında eğitilmiş ve ayarlanmış model mimarisi, dilin biçimbilimsel karmaşıklığını temsil etmekte zorlanıyor. Çekim ve yazı sistemine özgü karakterler üzerinden anlam taşıyan kelimeler, yapısal olarak farklı bir dil için tasarlanmış bir sisteme temiz bir şekilde eşlenemiyor.
Ortaya çıkan sorun yalnızca doğrulukta azalma değil. Bu, temel bir kod çözme (decoding) başarısızlığı.
İngilizce Merkezli Bayt Düzeyinde Tokenizer’ların Sorunları
Hasan ve Rahman’a göre temel neden tokenizer’da yatıyor. Moonshine, İngilizce için iyi çalışan ancak Bengalce karakterleri anlamlı dilsel birimler yerine ham baytlar olarak ele alan İngilizce merkezli bir bayt düzeyinde tokenizer kullanıyor. Bengalce kelimeler, yüksek doğurganlığa sahip uzun token zincirlerine parçalanıyor; bu da her kelimenin, bir modelin makul ölçüde işlemesi gerekenden çok daha fazla token’a patlaması anlamına geliyor.
Bu parçalanma yalnızca verimsiz değil. Araştırmacıların felaket düzeyde otokorelasyonlu çöküş olarak tanımladığı durumu tetikliyor: çıkarım sırasında model tutarlı kod çözmeyi kaybediyor ve kullanılamaz çıktılar üretiyor. Sorun tesadüfi değil, yapısal; bu da yalnızca mevcut modeli Bengalce veriler üzerinde ince ayar yapmanın sorunu tam olarak çözememesinin temel nedeni.
Otokorelasyonlu Çöküşü Azaltmak için Sözlük Nakli Yöntemi
Araştırmacılar, modeli yeniden inşa etmek veya yeni veriler üzerinde pahalı ön eğitim çalıştırmak yerine, tokenizer düzeyinde bir müdahale öneriyor — buna sözlük nakli adını veriyorlar.
Kod Çözücü Sözlüğünün BanglaBERT WordPiece ile Değiştirilmesi
Nakil, Moonshine’ın orijinal kod çözücü sözlüğünün BanglaBERT WordPiece sözlüğü ile değiştirilmesiyle işliyor — Bengalce için özel olarak tasarlanmış, yerel yazı sistemine dayalı bir sözlük. BanglaBERT’in WordPiece tokenizasyonu, Bengalce biçimbilimini anlıyor; karakterleri ve alt kelimeleri, dilin yapısını gerçekten yansıtan birimlere gruplayarak baytların rastgele düzenlenişine göre değil, dilin kendi yapısına göre hareket ediyor.
Bu, tam bir mimari revizyon değil, hedefe yönelik cerrahi bir değişim. Bu ayrım, pratik dağıtım açısından son derece önemli: yaklaşım, bir modeli yeni bir dil ailesine uyarlarken normalde gerekli olan kaynak yoğun ön eğitimi gereksiz kılıyor.
Token Gömme Matrisinin Ayarlanması
Yalnızca sözlükleri değiştirmek yeterli değil. Token’ları modelin işleyebileceği sayısal temsillere eşleyen dahili arama tablosu olan token gömme matrisinin de buna karşılık gelecek şekilde yeniden boyutlandırılması gerekiyor. Hasan ve Rahman, bu adımı nakil hattının bir parçası olarak dahil ediyor ve modelin dahili temsillerinin yeni sözlükle hizalanmasını, uyumsuz veya tanımsız gömmelerin ortaya çıkmamasını sağlıyor.
Birlikte ele alındığında, bu iki değişiklik — sözlük değişimi ve gömme matrisinin yeniden boyutlandırılması — ek ön eğitim verisi gerektirmeyen, eksiksiz ve kendi kendine yeten bir uyarlama hattı oluşturuyor.
Performans İyileştirmeleri ve Deneysel Sonuçlar
Token Doğurganlığı ve Dizi Uzunluğunda Azalma
Rakamlar tabloyu net biçimde ortaya koyuyor. Nakilden önce token doğurganlığı 9,16 seviyesindeydi — yani her Bengalce kelime ortalama olarak dokuzdan fazla token’a bölünüyordu. BanglaBERT WordPiece ile nakilden sonra bu değer 1,30’a düştü. Artık her Bengalce kelime ortalama olarak bir token’dan biraz fazlasına eşleniyor; bu da herhangi bir tokenizasyon şeması için neredeyse ideal.
Bu azalma, doğrudan kod çözme kararlılığına yansıyor. Bir ifadeyi çözmek için modelin atması gereken adım sayısı olan otokorelasyonlu dizi uzunluğu %85,8 oranında azaldı. Daha kısa dizilerle, daha önce felaket düzeyde çöküşü tetikleyen koşullar tamamen ortadan kalkıyor.
Lipi-Ghor Veri Kümesi Üzerinde Model Değerlendirmesi
Testler, 882 saatlik bir Bengalce konuşma derlemi olan Lipi-Ghor veri kümesi üzerinde gerçekleştirildi. Değiştirilmiş Moonshine mimarisi, hafif ve kenar için optimize edilmiş bir modelin, biçimbilimsel olarak karmaşık bir dilde büyük ölçekli bir veri kümesi üzerinde değerlendirildiğinde rekabetçi sayılabilecek %21,54 Kelime Hata Oranı elde etti.
WER, bir modelin yanlış çevirdiği kelimelerin oranını ölçer; dolayısıyla daha düşük olması daha iyidir. %21,54 seviyesinde sistem mükemmel olmaktan uzak, ancak gerçek dünya uygulamaları için işlevsel ve anlamlı — sözlük naklinden önce temel modelin ürettiği doğrudan kod çözme başarısızlıklarıyla keskin bir tezat oluşturuyor.
İşleme Verimliliği Ölçütleri
Hız, kenar dağıtımı için doğruluk kadar önemlidir. Değiştirilmiş model, 0,0053’lük bir Gerçek Zaman Faktörü kaydetti; bu da sesi gerçek zamandan çok daha hızlı işlediği anlamına geliyor. RTF’nin 1,0’ın altında olması, sistemin konuşma hızından daha hızlı yazıya döküm yaptığını gösterir; 0,0053 seviyesinde model, sesi gerçek zamandan yaklaşık 189 kat daha hızlı işliyor — bu da sözlük naklinin kayda değer bir hesaplama yükü getirmediğinin açık bir göstergesi.
Rekabetçi doğruluk ile son derece yüksek hız verimliliğinin birleşimi, yaklaşımı özellikle kenar uygulamaları için önemli kılıyor — sınırlı işlem gücüne sahip, ancak yine de konuşma tanımayı güvenilir ve hızlı bir şekilde gerçekleştirmesi gereken cihazlar için.
Neden Bengalce’nin Ötesinde de Önemli?
Bu çalışmanın daha geniş önemi tek bir dilin ötesine uzanıyor. Araştırmacılar, hatlarını kompakt ASR modellerinin yazı sistemi çapraz uyarlaması için ölçeklenebilir ve yeniden üretilebilir bir plan olarak çerçeveliyor. Aynı tokenizer nakli yaklaşımı, Arapça, Tamilce veya Amharca gibi biçimbilimsel olarak zengin, Latin alfabesi dışındaki diğer dillere de uygulanabilirse, tarihsel olarak İngilizce merkezli yapay zeka altyapısı tarafından yeterince hizmet alamamış dil topluluklarında verimli konuşma tanımanın dağıtımı için yeni bir yol açabilir.
Araştırma, ICML 2026’daki MusIML Çalıştayı’nda poster olarak kabul edildi ve böylece kendisini dünyanın en önde gelen makine öğrenimi araştırma ortamlarından birinin içine yerleştirdi. Bu kabul, yöntemin önemine yönelik akran tanımasını ifade ediyor; diğer diller ve dağıtım ortamları için tüm sonuçlar henüz test edilmemiş olsa bile. Merkezdeki içgörü — başarısızlık noktasının model mimarisinin kendisi değil, sözlük olduğu — geliştiricilerin düşük kaynaklı, Latin alfabesi dışı diller için ASR uyarlamasına yaklaşımını yeniden çerçeveliyor.
SSS
Hafif ASR modelleri neden Bengalce ile zorlanıyor?
Bengalce biçimbilimsel olarak zengin ve Latin alfabesi dışı bir yazı sistemi kullanıyor. İngilizce merkezli bayt düzeyinde tokenizer’lar, Bengalce kelimeleri anlamlı dilsel birimler yerine uzun token zincirlerine bölüyor; bu da çıkarım sırasında otokorelasyonlu çöküşe yol açarak tutarlı bir yazıya dökümü imkânsız hale getiriyor.
Bu çalışmada sözlük nakli nedir?
Sözlük nakli, kod çözücünün orijinal İngilizce merkezli sözlüğünün Bengalce için tasarlanmış BanglaBERT WordPiece sözlüğü ile değiştirilmesi yöntemidir. Token gömme matrisi buna karşılık gelecek şekilde yeniden boyutlandırılır ve böylece modeli sıfırdan pahalı bir ön eğitime gerek kalmadan Bengalceye uyarlamış olur.
Sözlük nakli token doğurganlığını nasıl etkiledi?
Token doğurganlığı nakilden sonra 9,16’dan 1,30’a düştü. Bu, Bengalce kelimelerin artık ortalama olarak dokuzdan fazla yerine bir token’dan biraz fazlasıyla temsil edildiği anlamına geliyor; bu da modelin çözmesi gereken dizi uzunluğunu dramatik biçimde azaltarak kod çözme kararsızlığını ortadan kaldırıyor.
Lipi-Ghor veri kümesinde hangi performans kazanımları gözlemlendi?
882 saatlik Lipi-Ghor veri kümesi üzerinde, değiştirilmiş model %21,54 Kelime Hata Oranı ve 0,0053 Gerçek Zaman Faktörü elde etti; bu da hem rekabetçi yazıya döküm doğruluğunu hem de kenar dağıtımı için uygun, son derece verimli işlem hızını gösteriyor.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Hafif ASR modelleri neden Bengalce ile zorlanıyor?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Bengalce biçimbilimsel olarak zengin ve Latin alfabesi dışı bir yazı sistemi kullanıyor. İngilizce merkezli bayt düzeyinde tokenizer’lar, Bengalce kelimeleri anlamlı dilsel birimler yerine uzun token zincirlerine bölüyor; bu da çıkarım sırasında otokorelasyonlu çöküşe yol açarak tutarlı bir yazıya dökümü imkânsız hale getiriyor.”}},{“@type”:”Question”,”name”:”Bu çalışmada sözlük nakli nedir?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Sözlük nakli, kod çözücünün orijinal İngilizce merkezli sözlüğünün Bengalce için tasarlanmış BanglaBERT WordPiece sözlüğü ile değiştirilmesi yöntemidir. Token gömme matrisi buna karşılık gelecek şekilde yeniden boyutlandırılır ve böylece modeli sıfırdan pahalı bir ön eğitime gerek kalmadan Bengalceye uyarlamış olur.”}},{“@type”:”Question”,”name”:”Sözlük nakli token doğurganlığını nasıl etkiledi?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Token doğurganlığı nakilden sonra 9,16’dan 1,30’a düştü. Bu, Bengalce kelimelerin artık ortalama olarak dokuzdan fazla yerine bir token’dan biraz fazlasıyla temsil edildiği anlamına geliyor; bu da modelin çözmesi gereken dizi uzunluğunu dramatik biçimde azaltarak kod çözme kararsızlığını ortadan kaldırıyor.”}},{“@type”:”Question”,”name”:”Lipi-Ghor veri kümesinde hangi performans kazanımları gözlemlendi?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”882 saatlik Lipi-Ghor veri kümesi üzerinde, değiştirilmiş model %21,54 Kelime Hata Oranı ve 0,0053 Gerçek Zaman Faktörü elde etti; bu da hem rekabetçi yazıya döküm doğruluğunu hem de kenar dağıtımı için uygun, son derece verimli işlem hızını gösteriyor.”}}]}
Yapay zekâ desteğiyle hazırlanmış ve editör ekibi tarafından gözden geçirilmiştir.
