Kamu politikası araştırmalarına yönelik artan inceleme, yüksek profilli bir Kanada sağlık hizmetleri incelemesinde deloitte rapor hatalarının ortaya çıkmasının ardından yoğunlaşıyor.
İçindekiler
Yapay zeka ile ilgili sorunlar Newfoundland ve Labrador sağlık incelemesinde nasıl ortaya çıktı?
Kanada hükümeti tarafından görevlendirilen ve Deloitte tarafından gerçekleştirilen, yaklaşık 1.6 milyon dolar maliyetli sağlık analizi, The Independent tarafından yapılan bir araştırmaya göre, görünüşe göre AI tarafından üretilen yanlışlıklar içermektedir. Mayıs ayında Newfoundland ve Labrador hükümeti tarafından yayımlanan 526 sayfalık belge, eyaletin sağlık sektöründeki en pahalı danışmanlık sözleşmelerinden birini temsil etmektedir.
Rapor, o dönemde Liberal liderliğindeki Sağlık ve Toplum Hizmetleri Departmanı için hazırlandı. Newfoundland ve Labrador’un ciddi hemşire ve doktor sıkıntısı yaşadığı bir dönemde, sanal bakım, tutma teşvikleri ve COVID-19 pandemisinin sağlık çalışanları üzerindeki etkisini inceledi. Ancak, sonrasında yapılan medya incelemesi, bu tavsiyelerin dayandığı kanıtların güvenilirliği konusunda sorular ortaya çıkardı.
Kanada’nın en doğusundaki eyalete odaklanan ilerici bir yayın olan The Independent, birden fazla potansiyel yanlışlık ve anomali tespit etti. Ayrıca, araştırması bazı temel araştırma alıntılarının yapay zeka araçlarının yardımıyla üretilmiş veya çarpıtılmış olabileceğini öne sürüyor, ancak ana anlatı makine tarafından yazılmamıştı.
Araştırmacılar Kanada sağlık raporlarında ne tür hatalar ortaya çıkardı?
The Independent’e göre, Deloitte raporu, uydurma akademik makalelere atıfta bulunan yanlış akademik alıntılar içeriyordu. Bu kurgusal kaynaklar, sağlık harcamaları kararlarını şekillendirmede kritik bir bileşen olan maliyet-etkinlik analizlerini desteklemek için kullanıldı. Rapor ayrıca, hiç çalışmadıkları araştırmalara gerçek araştırmacıları yanlış bir şekilde atfederek, var olmayan sağlam kanıtların görünümünü yarattı.
Bazı atıflar daha da ileri giderek, hiç iş birliği yapmadıklarını söyleyen araştırmacılar tarafından ortaklaşa yazıldığı iddia edilen makaleleri tanımladı. Bununla birlikte, inceleme her referansın hatalı olduğunu iddia etmedi. Bunun yerine, endişe, personel, sanal bakım ve sistem reformu hakkındaki rapor‘un sonuçlarına olan güveni sarsabilecek bir atıf sorunları modeli üzerinde yoğunlaşıyor.
Rapor ayrıca, sözde Canadian Journal of Respiratory Therapy’de yayımlanmış bir makaleye atıfta bulundu. Ancak, araştırmacılar makaleyi derginin veritabanında bulamadı, bu da üretici araçların makul görünen ancak var olmayan kaynaklar icat etmiş olabileceği korkularını artırdı.
Deloitte, AI tarafından üretilen atıflarla ilgili iddialara nasıl yanıt verdi?
Fortune‘a yapılan bir açıklamada, Deloitte Canada sözcüsü çalışmanın içeriğini savundu. Sözcü, “Deloitte Canada, raporumuzda sunduğumuz önerilerin arkasında sağlam bir şekilde durmaktadır,” dedi. “Raporun bulgularını etkilemeyen, az sayıda atıf düzeltmesi yapmak için raporu gözden geçiriyoruz.”
Sözcü, yapay zekanın yazılı raporu kendisinin üretmediğini ekledi. Bunun yerine, yapay zekanın “az sayıda araştırma alıntısını desteklemek için seçici olarak kullanıldığını” söylediler. Ancak, sağlık araştırmasının ölçeği ve finansal riskler göz önüne alındığında, eleştirmenler, makine tarafından üretilen referanslara sınırlı bir şekilde bile olsa güvenmenin çok daha sıkı bir doğrulama ve şeffaflık gerektirdiğini savunuyorlar.
Ayrıca, firmanın alıntı düzeltmelerinin raporun sonuçlarını etkilemediği yönündeki tutumu eleştiri topladı. Bazı akademisyenler ve politika yapıcılar, uydurma veya yanlış atfedilen araştırmaların, herhangi bir sonraki maliyet-etkinlik modelleri veya iş gücü projeksiyonları yeniden değerlendirilmeden nasıl düzeltilebileceğini sorguluyor.
Etkilenen araştırmacılar, danışmanlık firmasının doğrulama süreci hakkında ne diyor?
Nova Scotia’daki Dalhousie Üniversitesi Hemşirelik Fakültesi’nde yardımcı doçent olan Gail Tomblin Murphy, yanlış alıntı yapılanlar arasındaydı. The Independent’a, Deloitte’un kendisini “var olmayan” bir akademik makalede referans gösterdiğini söyledi. Yanlış alıntıda belirtilen altı diğer yazardan sadece üçüyle çalıştığını, tamamıyla değil, belirtti.
“Böyle şeyler ortaya çıkarıyorsanız, işleri üretmek için oldukça yoğun bir şekilde yapay zeka kullanıyor olabilirsiniz,” dedi Tomblin Murphy. Onun yorumları, akademik toplulukta, üretken araçların ikna edici ancak hatalı bibliyografyalar oluşturabileceği konusundaki artan rahatsızlığı vurguluyor, özellikle de danışmanlar her referansı titizlikle doğrulamadığında.
Ayrıca, kamu politikasını yönlendiren raporların doğrulanmış, yüksek kaliteli kanıtlarla desteklenmesi gerektiği konusunda uyardı. Dahası, Tomblin Murphy, hükümetlerin ve halkın bu tür çalışmalar için önemli miktarda ödeme yaptığını vurguladı, bu nedenle bu çalışmaların “doğru, kanıta dayalı ve işleri ileriye taşımaya yardımcı” olması gerektiğini belirtti. Eleştirisi, tek bir teknik hatadan ziyade, özenli incelemede algılanan bir aksaklığı vurguluyor.
Hükümetin sipariş ettiği raporun maliyeti ne kadar oldu ve siyasi sonuçları nelerdir?
Geçen Çarşamba bir blog yazısında yayımlanan bilgi edinme talebine göre, Kanada hükümeti Deloitte çalışması için sekiz taksitte yayımlanan 1.6 milyon dolar‘dan biraz daha az ödeme yaptı. Pazartesi itibarıyla, referansları ve metodolojisi üzerindeki ortaya çıkan tartışmalara rağmen, rapor hâlâ Newfoundland ve Labrador hükümetinin web sitesinde mevcuttu.
Rapor sunulduğundan bu yana eyaletteki siyasi liderlik değişti. Newfoundland ve Labrador’daki İlerici Muhafazakâr Parti lideri Tony Wakeham, Ekim ayı sonunda eyaletin yeni başbakanı olarak yemin etti. Ancak, ne başbakanlık ofisi ne de Sağlık ve Toplum Hizmetleri Departmanı, Mayıs raporuyla ilgili Fortune’un sorularına hemen yanıt verdi ve bugüne kadar endişeleri kamuoyuna açıklamadılar.
Bu sessizlik, raporun tavsiyelerinin sağlık politikasını yönlendirmeye devam edip etmeyeceği konusunda açık sorular bırakıyor. Ayrıca, danışmanlık firmalarının araştırmalarının temel kamu hizmetlerini etkilemeden önce nasıl değerlendirildiğine dair eyalet yasama organları veya federal denetim organları tarafından daha fazla inceleme olasılığını da gündeme getiriyor.
Bu deloitte rapor hataları, Avustralya refah vakasıyla nasıl karşılaştırılır?
Kanada’daki ifşalar, Avustralya‘daki benzer sorunları takip ediyor. Temmuz ayında, Deloitte, Avustralya hükümetine sosyal yardım uyumunu sıkılaştırmak için 290.000 dolarlık bir rapor hazırladı. 237 sayfalık çalışma, üretken teknolojiye de dayanıyordu ve daha sonra, var olmayan akademik araştırmalara atıflar ve federal mahkeme kararından uydurma bir alıntı da dahil olmak üzere “halüsinasyonlar” içerdiği tespit edildi.
Bir araştırmacı sorunları işaret ettikten sonra, Deloitte Avustralya çalışmasının revize edilmiş bir versiyonunu yayımladı. Geçen ay sessizce hükümetin web sitesine yüklenen güncellenmiş rapor, firmanın ilk belgeyi oluşturmak için üretken dil sistemi Azure OpenAI‘yi kullandığını kabul etti. Bu itiraf, yalnızca dış denetim hatalı alıntıları ortaya çıkardıktan sonra geldi.
Güncellenmiş Avustralya raporunda, Deloitte “yapılan güncellemelerin rapordaki esas içeriği, bulguları ve tavsiyeleri hiçbir şekilde etkilemediğini veya değiştirmediğini” yazdı. Ancak eleştirmenler, uydurma kaynakların sadece kozmetik detayları değil, kanıta dayalı herhangi bir tavsiyenin bütünlüğünü de doğal olarak sorgulattığını savundu. Dahası, bu ikinci olay, deloitte ai halüsinasyonları ve firmanın iç denetim mekanizmasının sağlamlığı konusundaki tartışmaları daha da alevlendirdi.
Deloitte hangi finansal sonuçlarla karşılaştı ve Kanada için çözümsüz kalan neler var?
Avustralya davasının bir parçası olarak, Deloitte’un yerel üye firması, hatalı sosyal yardım raporu için federal hükümete kısmi bir geri ödeme yapmak zorunda kaldı. Bu mali ceza, yetkililerin yapay zeka ile ilgili yanlışlıkları tazminat gerektirecek kadar ciddi bulduğunu gösterdi.
Buna karşılık, Kanada’nın sağlık raporuyla ilgili olası bir geri ödeme veya sözleşmesel çözüm hakkında henüz kamuoyuna açıklanmış bir bilgi yok. Bununla birlikte, politika yapıcılar, sağlık çalışanları ve vergi mükellefleri, artık yayın sonrası kanıt tabanında düzeltmeler gerektiren bir çalışma için tam değer alıp almadıklarını sorguladıkça baskı artabilir.
Daha geniş bir perspektiften bakıldığında, her iki olay da hükümetlerin, sıkı güvenlik önlemleri olmadan üretken teknoloji kullanan büyük danışmanlık firmalarına güvenmesi durumunda artan riskleri vurgulamaktadır. Ayrıca, kamu kurumlarının, özellikle yıllarca kritik hizmetleri şekillendirebilecek uzun ve karmaşık politika raporlarında kaynakları doğrulamak için daha güçlü standartlara ihtiyaç duyacağını önermektedir.
Özetle, Deloitte’un Kanada sağlık incelemesi ve Avustralya’nın refah çalışmasının giderek artan incelemesi, yapay zeka destekli araştırmalar kamu politikası kararlarını bilgilendirdiğinde güvenilir kanıt, şeffaf metodoloji ve sağlam denetimin acil gerekliliğini vurgulamaktadır.




