Haberler

Çalışma, beyin apselerinin tedavisine yönelik kılavuza meydan okurken ChatGPT’nin başarısız olduğunu gösteriyor

Yapay zekanın (AI) klinik araştırma ve karar vermenin temel bir parçası haline gelmesiyle birlikte, birçok kişi hala karmaşık teşhis ve tedavi süreçlerini destekleyen gelişmiş bir yapay zeka dil modeli olan ChatGPT’nin doğruluğunu sorguluyor.

Şimdi, bu yıl Barselona, ​​İspanya’da (27-30 Nisan) düzenlenen ESCMID Küresel Kongresi’nde (eski adıyla ECCMID) sunulan ve ChatGPT’yi beyin apselerinin yönetimine yönelik ESCMID kılavuzuyla karşı karşıya getiren yeni bir çalışma, ChatGPT’nin öneriler sunabildiğini ortaya çıkardı. Çoğu durumda tanı ve tedaviyle ilgili temel sorulara bakıldığında, yapay zeka modelinin bazı yanıtları hastaları riske atabilir.

Çalışma, ESCMID Beyin Enfeksiyon Hastalıkları Çalışma Grubu (ESGIB) üyeleri tarafından yürütüldü ve şu adreste yayınlandı: Nöroloji Dergisi.

Almanya’daki LMU Üniversite Hastanesi’nden ve ESCMID üyesi yazar Dr. Susanne Dyckhoff-Shen, “Hasta güvenliğiyle uğraşırken %100’ün altındaki her şey başarısızlıktır” diyor. “ChatGPT’nin beyin apselerinin yönetimi konusundaki bilgisine hayran kalsak da, konu yapay zeka modelinin tıbbi bir cihaz olarak kullanılmasına geldiğinde, potansiyel hastaya zarar verilmesi ve yanıt sağlamak için hangi verilerin kullanıldığına ilişkin şeffaflık eksikliği de dahil olmak üzere bazı önemli sınırlamalar var.” “

Yapay zekanın geniş veri kümelerini hızlı bir şekilde özümsemesi, işlemesi ve yorumlaması, umut verici umutlar sunuyor. Ancak tıbbi kılavuzlar oluşturmak için zaman alan süreçler hâlâ gerekli mi, yoksa çok sayıda bilimsel tıp literatürü üzerine eğitilmiş yapay zeka modelleri, karmaşık klinik soruları yanıtlama konusunda klinik uzmanlarla rekabet edebilir mi?

Beyin apseleri, ciddi nörolojik komplikasyonları ve hatta ölümü önlemek için derhal teşhis ve tedavi gerektiren, potansiyel olarak yaşamı tehdit eden bir merkezi sinir sistemi (CNS) enfeksiyonudur.

Tarihsel olarak, beyin apselerinin yönetimi büyük ölçüde klinik deneyim ve sınırlı çalışmalarla yönlendirilmiştir, ancak 2023’te ESCMID, uluslararası bir kılavuz geliştirerek standartlaştırılmış bir yaklaşım ihtiyacını karşılamıştır.

ChatGPT’nin tıbbi araştırmaları profesyonel bir şekilde değerlendirip değerlendiremeyeceğini ve bilimsel olarak geçerli öneriler sunup sunamayacağını öğrenmek için Avrupalı ​​bir araştırmacı ekibi, ESCMID ile karşılaştırıldığında beyin apsesi teşhisi ve tedavisine ilişkin 10 temel soruya doğru yanıtlar sağlayıp sağlayamayacağını görmek amacıyla yapay zeka modelini test etti. yönerge.

İlk olarak araştırmacılar, ChatGPT’den (versiyon 4) ESCMID komitesi tarafından beyin apsesi kılavuzu için geliştirilen ve değerlendirilen 10 soruyu herhangi bir ek bilgi olmadan yanıtlamasını istedi.

Daha sonra ChatGPT, aynı soruları sormadan önce kılavuzu geliştirmek için kullanılan aynı bilimsel araştırma makalelerinin metinleriyle de hazırlandı. Bu, kılavuz geliştirme için kullanılan veriler verildiğinde ChatGPT’nin daha uyumlu öneriler sağlayıp sağlayamayacağını görmek için yapıldı.

AI tarafından oluşturulan yanıtlar daha sonra üç bağımsız bulaşıcı CNS hastalığı uzmanı tarafından açıklık, kılavuza uygunluk ve hasta riski açısından ESCMID kılavuzundaki önerilerle karşılaştırıldı.

Çoğu önemli soruya net yanıtlar

Araştırmacılar genel olarak sorulan 20 sorudan 17’si için (veri girişi olan ve olmayan), ChatGPT’nin beyin apsesi olan hastaların tedavisine ilişkin yanıtlarının, kanıt derecesi ve öneri gücü de dahil olmak üzere net olduğunu ve netliğin 80-90 olarak değerlendirildiğini buldu. % (editörlere notlardaki poster bağlantısına bakın).

Ancak AI modeli, mikrobiyallerin ameliyata kadar durdurulması ve profilaktik antiepileptik tedavi (soru 2 ve 10) konusunda doktorlara tedavi kararları konusunda rehberlik edecek yeterince net cevaplar sağlamadı.

Veri yönlendirmeyle hastalara daha fazla yanlış tavsiye ve risk

Ek veri girişi olmadan ChatGPT’nin soruların %70’ine (7/10) verdiği yanıtlar kılavuz önerilerine çok benzerdi. Ancak AI modeli mikrobiyallerin durdurulması, konsolidasyon tedavisi ve profilaktik antiepileptik tedavi (soru 2, 8 ve 10) ile ilgili üç soruda doğru tavsiyeyi bulamadı. Ancak daha da önemlisi, bu yanlış yanıtlar hastalara zarar vermeyecektir (editörlere notlardaki poster bağlantısına bakınız).

Şaşırtıcı bir şekilde, veri girişi, kılavuzla doğrudan çelişen ve hastaları riske atabilecek iki öneri de dahil olmak üzere daha az doğru yanıtla (%40) sonuçlandı.

Bakteriyel beyin apsesi için antimikrobiyal tedavinin süresi hakkındaki 6. Soru, veri girişi sonrasında ChatGPT tarafından “yaklaşık dört hafta intravenöz uygulama, ardından 12 hafta oral ilaç tedavisi” şeklinde yanıtlandı, ancak ESCMID kılavuzu “toplam 6-8 haftalık antimikrobiyal tedavi süresi” önermektedir. intravenöz antimikrobiyaller… “.

Oral antimikrobiyallere erken geçişle ilgili 7. soru için ChatGPT, veri girişinden sonra “tedavinin ilk 14 günü boyunca oral antibiyotiklere erken geçiş… seçilmiş hastalarda olumlu sonuçlarla ilişkili gibi görünüyor” tavsiyesinde bulundu. Ancak ESCMID kılavuz komitesi bu soruya öneride bulunmak için yeterli kanıt bulunmadığına karar verdi.

Her iki durumda da ChatGPT’nin tavsiyelerine uymak potansiyel olarak hastanın zarar görmesine yol açabilirdi.

“Veri girişinden sonra ChatGPT’nin tavsiyelerinin yetersiz olması, 6. ve 7. anahtar sorular için sağlanan birkaç gözlemsel çalışmanın aşırı değerlenmesinden kaynaklanıyor olabilir. Bunlardan biri için kılavuz komitesi bile, kanıtlar yetersiz olduğu için bir tavsiyede bulunamamıştır. Bu soruyu yanıtlamak için yeterli değil” diyor Almanya’daki LMU Üniversite Hastanesi’nden kıdemli yazar Profesör Mattias Klein ve kılavuzu oluşturan ESCMID komitesinin bir üyesi.

“ChatGPT’nin kesin çalışma prosedürleri belirsizliğini koruduğundan, yapay zeka modelinin büyük miktarlarda veriyi hızlı bir şekilde işleyebilmesine rağmen, verileri bilimsel kalitelerine göre doğru şekilde sınıflandırma ve tartma yeteneğinden yoksun olabileceğini tahmin ediyoruz. Ayrıca, hangisinin hangisi olduğu da belirsizliğini koruyor. Veriler, yanıtlarının kaynaklarını açıklamadığı için ChatGPT’nin yanıtları için kullanılıyor ve bu da şüpheli literatürün kullanılması riskini taşıyor.”

Dr. Dyckhoff-Shen şunları ekliyor: “ChatGPT’nin iki temel soruya ilişkin tavsiyelerine uyulması durumunda hastaların zarar görebileceğini düşünmek endişe verici. Uzman komitelerin incelikli uzmanlığı, özellikle karmaşık klinik soruları yanıtlamak için hayati önem taşıyor. Körü körüne güvenmek Yapay zeka hastaları riske atabilir.”

Bununla birlikte yazarlar, ChatGPT’nin bilgilerinin Eylül 2021 öncesine ait olduğunu ve çalışmadaki soruların, bazıları uzmanlar arasında bile tartışmalı olan ve neredeyse hiç sağlam veri bulunmayan bazı son derece karmaşık tıbbi konuları kapsadığını belirtiyor.

Ancak, ESCMID kılavuzunu geliştirmek için kullanılan aynı araştırma makaleleriyle hazırlansa bile ChatGPT’nin tavsiyesi kılavuzla daha da az uyumluydu. ChatGPT’nin kalitesinin, evrimi ve daha da gelişmesinin ardından sürekli olarak gözden geçirilmesi gerektiğini tavsiye ediyorlar.

Yazarlar ayrıca birçok AI modeli gibi ChatGPT’nin de erişebileceği bilgiler için bir son tarih olduğunu açıklıyor. Bugün itibarıyla mevcut sürüm için en son Ocak 2022’ye kadar veriler üzerinde eğitim verildi.

Dr. Dyckhoff-Shen, “Bu, geniş bir bilgi yelpazesine dayalı yanıtlar sağlayabilmesine rağmen gerçek zamanlı verilere veya o tarihten sonra meydana gelen olaylara erişimi olmadığı anlamına geliyor” diyor.

“Ağustos 2023’ten önce çalışmamızda ChatGPT’yi kullandığımızda Eylül 2021’e kadar sadece veriler üzerinde eğitiliyordu. ChatGPT henüz daha ileri düzeyde eğitilmediği için o dönemde daha güncel bir sürüm alma imkanımız yoktu. Bu aynı zamanda ChatGPT’yi ESGIB grubu tarafından kullanılan ilgili bilimsel makalelerle ESCMID kılavuzunda tavsiyeler vermek üzere yönlendirerek ikinci bir yaklaşım kullanmamızın nedenidir, böylece onu bir nevi “manuel olarak” daha güncel hale getirmeye çalıştık. .

“Gelecekte, dahili optimizasyon süreçlerinden sonra ChatGPT’nin bilgisini yeniden değerlendirmek ilginç olacaktır. Ancak, chatbot ESCMID kılavuzunun kendisine eriştiğinde, yalnızca kılavuzdaki önerileri kullanabilir ve böylece bir karşılaştırma yapılmaz. artık kullanışlı.”

Avrupa Klinik Mikrobiyoloji ve Enfeksiyon Hastalıkları Derneği tarafından sağlanmıştır



Kaynak ve İleri Okuma: https://medicalxpress.com/news/2024-04-chatgpt-guideline-brain-abscesses.html

İlgili Makaleler

Başa dön tuşu