Yeni bir araştırmaya nazaran ChatGPT, bir lisans öğrencisiyle eşleşen yahut onu aşan seviyede sorun çözebiliyor.
Araştırmacılar, sohbet robotunun temelini oluşturan GPT-3 büyük lisan modelinin, zeka testlerinde yahut Amerikan üniversiteye giriş imtihanı SAT üzere imtihanlarda ortaya çıkan muhakeme sorunlarını çözmeleri istendiğinde ABD’li üniversite lisans öğrencileri kadar yeterli performans gösterdiği kaydedildi.
Los Angeles’taki California Üniversitesi’nden psikologlar, GPT-3’ün karmaşık bir biçimler dizisindeki bir sonraki imgeyi kestirim etme yeteneğini, imgeleri yapay zekanın anlayabileceği bir metin formatına dönüştürdükten ve GPT-3’ün sorularla daha evvel hiç karşılaşmadığından emin olduktan sonra test ettiler.
YÜZDE 80’İNİ HAKİKAT ÇÖZDÜ
Problemler 40 UCLA lisans öğrencisine de uygulandı ve araştırmacılar GPT-3’ün sorunların yüzde 80’ini gerçek çözdüğünü, bu oranın insan iştirakçiler için yüzde 60’ın biraz altında kaldığını belirtti.
Araştırmacılar ayrıyeten modelden, internette yayınlanmadığına ve bu nedenle üzerinde eğitildiği büyük ölçüde bilgide yer alamayacağına inandıkları kimi “analoji” sorularını çözmesini istedi.
ÜNİVERSİTE ÖĞRENCİLERİNDEN DAHA GÜZEL PERFORMANS SERGİLEDİ
UCLA grubu, üniversite adaylarının SAT puanlarıyla karşılaştırıldığında, yapay zekanın beşerler için ortalama puandan daha düzgün performans gösterdiğini tespit etti.
GPT-4 DAHA GÜZEL SONUÇ VERİYOR
Araştırmacılar modelden ve istekli öğrencilerden bu kere bir düzyazıyı tıpkı manası taşıyan farklı bir kısa öyküyle eşleştirmelerini istedi.
Nature Human Behaviour mecmuasında yayınlanan araştırmaya nazaran, GPT-3 bu testte öğrencilerden daha az başarılı oldu, lakin GPT-3’ün geliştirilmiş versiyonu olan GPT-4 evvelkinden daha düzgün sonuç verdi.
Çalışma, GPT-3’ün örüntüleri tespit etme ve münasebetleri çıkarma konusunda şaşırtan derecede güçlü bir kapasite sergilediğini, birçok ortamda insan yetenekleriyle eşleştiğini ve hatta onları aştığını ortaya koydu.
“KESİNLİKLE İNSAN DÜZEYİNDE BİR ZEKA DEĞİL”
Çalışmanın baş muharriri Taylor Webb, ChatGPT’yi yönlendiren modelin insan seviyesinde zeka standardında olmadığını söyledi.
Webb şu sözlerle GPT’yi tanımladı; “Kesinlikle tam olarak genel insan düzeyinde bir zeka değil. Lakin belli bir alanda muhakkak ilerleme kaydetti”
UCLA araştırmacıları, San Francisco merkezli OpenAI şirketi tarafından geliştirilen GPT-3’ün iç işleyişine erişimleri olmadan, modelin muhakeme yeteneklerinin nasıl çalıştığını ve bir insan üzere mi düşündüğünü yoksa yeni bir zeka biçimi mi gösterdiğini belirleyemediklerini de kelamlarına ekledi.
UCLA psikoloji profesörü Keith Holyoak, “GPT-3 bir çeşit insan üzere düşünüyor olabilir. Fakat öte yandan, beşerler tüm interneti yutarak öğrenmediler, münasebetiyle eğitim usulü büsbütün farklı. Nitekim insanların yaptığı üzere mi yapıyor yoksa gerçek bir yapay zeka mı? bilmek isteriz ki bu da başlı başına şaşırtan olurdu.” tabirlerini kullandı.
