Genel amaçlı yapay zekâ yerel klinik gerçeklikte neden başarısız olur
Genel amaçlı modeller birçok görevde güçlü sonuçlar verir, ancak bir hastanenin iş akışında çoğu zaman zorlanır. Bu zorluğun nedeni genellikle modelin genel yeteneğinden çok, hastanenin diline, kodlarına ve kurallarına ne ölçüde uyum sağlayabildiğidir.
Sağlık teknolojisinde yaygın bir varsayıma göre yeterince güçlü ve doğru yönlendirilmiş genel bir model, neredeyse her yerde klinik işi yürütebilir. Karşılaştırma tablolarındaki yüksek puanlar da bunu doğrular gibi görünür. Ancak bu tablolar modeli ortalama görevlerde ölçer; bir hastanenin işi ise kendine özgü koşullara bağlıdır. Her hastanenin kendi dili, kodlama sistemi ve neyin ödeneceğini belirleyen mevzuatı vardır. Klinik yapay zekâ uygulamalarının çoğu, genel testlerdeki başarı ile belirli bir kurumda işe yarama arasındaki bu farkta zorlanır.
Bunun nedenini görmek için modelin neyle eğitildiğine bakmak yeterlidir. Genel modeller, büyük bölümü İngilizce ve genel içerikten oluşan çok büyük bir internet verisinden öğrenir. Oysa klinik işi belirleyen bilgiler, örneğin bir ülkenin geri ödeme kuralları, ulusal kodlama alışkanlıkları ve hastaların şikâyetlerini gündelik dille nasıl anlattığı, bu verinin içinde neredeyse hiç yer almaz. Bu yüzden böyle bir modele “bu işlem şu mevzuata göre ödenir mi?” diye sorulduğunda model, bilmediği alanlarda olduğu gibi akıcı ve kendinden emin ama yanlış olabilecek bir cevap verir.
Bu endişe yalnızca kuramsal değildir. İç değerlendirmemizde yerelleştirilmiş bir klinik modeli aynı görevlerde önde gelen genel amaçlı modellerle karşılaştırdık; fark en çok yerel sorularda açıldı. Geri ödeme kurallarına dair kararlarda yerel model, genel amaçlı modellerden belirgin biçimde daha iyi sonuç verdi. Hastaların bölgesel lehçeyle anlattığı şikâyetleri anlamada da fark aynı yöndeydi. Var olmayan bir mevzuat maddesini uydurmak ya da yanlış maddeye atıf yapmak en riskli hata türüdür; genel modeller bu hatayı yerel modelden çok daha sık yaptı. MINA v3.7'nin görev bazlı değerlendirme sonuçlarını MINA v3.7 sayfasında bulabilirsiniz.
Bu farkı kapatmak, adımları belli olan bir mühendislik işidir. Önce modele yerel klinik dil “sürekli ön eğitim” ile öğretilir; model birkaç kalıp cümle ezberlemek yerine o dilin metinleriyle eğitilmeye devam eder. Ardından uzmanlık bilgisi modüler eklerle modele katılır; böylece model gerektiğinde bir kodlama uzmanı, bir kardiyolog ya da bir geri ödeme uzmanı gibi değerlendirme yapabilir. Son olarak cevaplar güncel kaynaklara bağlanır; model kendi belleğine dayanmak yerine gerçek bir kaynak gösterir. Bu adımların hiçbiri sıra dışı değildir ve hiçbiri tek bir ülkeye özgü değildir.
Bu nedenle yerel modelin öne geçmesi, yalnızca Türkiye’de işe yarayan bir formüle değil, her pazarın diline, koduna ve kurallarına uygulanabilen bir yönteme dayanır. Genel yetenek bir başlangıç sağlar; ancak bir kurumun sisteme güvenmesi, çıktısını faturalamada ve günlük uygulamada kullanabilmesi için yerel yetkinlik gerekir.
Bu sonuçlar sentetik ve anonim veriyle yapılmış bir iç değerlendirmeden geliyor; karşılaştırılan modeller anonim tutuldu ve hepsi aynı koşullarda çalıştırıldı. Sonuçlar, yerel modellerin hangi alanlarda öne geçtiğine dair güçlü bir işaret verir; ancak klinik bir garanti sunmaz ve sahadaki doğrulamanın yerini tutmaz. Saha doğrulaması sürüyor. Bu değerlendirmenin amacı, yerel koşullara uyumun ölçülebildiğini ve genel amaçlı bir model ile yerelleştirilmiş bir modelin aynı sonucu vermediğini göstermekti.