Gözden geçirilmiş talimatlarla, LLM ile hukuki bilgi çıkarımının doğruluğu, 2 Kasım 2026’da sunulan bir çalışmaya göre, %52’den %70’e yükseldi.
Ancak Tomáš Knap ve meslektaşları rahatsız edici bir veri de buldu. Kendiyle tutarlı olan bir model, doğru cevabı çıkardığını garanti etmez.
İçindekiler
Ceza kararlarından yapılandırılmış veri kümelerine
Araştırmacılar, ceza kararlarını yapılandırılmış veri kümelerine dönüştürmek için bir işlem hattı sunuyor. Bu kararlar, suç davranışlarını tanımlar ve nicel hukuk araştırmalarını besleyebilir.
Ancak bir engel var: Bu bilgileri düzenlemek için gerekli öznitelikler ve çıkarım kuralları her zaman önceden belirlenemiyor.
Yaklaşım üç adımı birleştirir: öznitelik keşfi, metin parçalarının çıkarılması ve değerlerin normalleştirilmesi. Süreci yönlendirenler, hukuk uzmanlarının geliştirilmesine katkıda bulunduğu açıklama (anotasyon) talimatlarıdır.
LLM ile trafik ihlalleri üzerine hukuki bilgi çıkarımı
Çalışma iki suçu sınadı: etki altında araç kullanma (DUI, driving under the influence) ve yasağa rağmen araç kullanma (DDB, driving despite a ban). Sonuçlar, talimatların açıklığı ile doğruluk ve taraflar arasındaki uzlaşma arasındaki bağı ortaya koyuyor.
DUI vakalarında, doğru çıkarılan değerlerin oranı, talimatların gözden geçirilmesinden sonra %52‘den %70’e yükseldi. Bu ince ayardan sonra insan anotatörler de birbirleriyle daha sık hemfikir oldular.
Tutarlılık, doğruluk anlamına gelmez
Tekrarlanan denemelerde farklı bir ayrım ortaya çıktı. Aynı modelin yanıtları, kıyaslama için kullanılan referans (gold) anotasyonlara kıyasla, kendi aralarında birbirine daha çok benziyordu.
Bu nedenle araştırmacılara göre tutarlılık ve doğruluk birbirinden ayrı tutulmalı: Aynı sonucun tekrar tekrar elde edilmesi, bunun doğru olduğunu kanıtlamaz.
Anotatörler ve modeller arasındaki anlaşmazlıklar, belirsiz talimatların ortaya çıkmasına hizmet etti.
DDB vakalarında talimatlar sabit kategoriler ve tanımlı çıktı biçimleri öngörüyordu. Bu değerlendirmede, özniteliklerin çoğunda uzlaşma yüksek çıktı.
Bu içerik, insan editoryal incelemesiyle ve yapay zekâ desteğiyle hazırlanmıştır.




