İnsan ve Üretken Yapay Zekâ Tarafından Verilen Geri Bildirimin Tartışmacı Metin Yazma Performansı Üzerindeki Etkisi: Karşılaştırmalı Bir Analiz

Giriş

Yabancı dil olarak İngilizce öğrenimi (English as a Foreign Language, EFL) alanında yazma eğitiminde geri bildirim almak, öğrencilerin yazma becerilerini geliştiren temel araçlardan biridir. Geri bildirim, öğrencilerin güçlü ve geliştirilmesi gereken yönlerini görmelerini sağlar; yazma sürecini destekler ve öğrenmeye yönelik motivasyonu artırır. Öte yandan, öğretmenlerin yoğun iş yükü, zaman kısıtları ve değerlendirmelerini etkileyen öznel farklılıkları; verdikleri geri bildirimin niteliğini sınırlayabilmektedir.

Bu sınırlılıkları aşmak amacıyla geliştirilen otomatik yazma değerlendirme sistemleri (Automated Writing Evaluation, AWE) ve yazım düzelten otomatik geri bildirim sistemleri (Automated Writing Corrective Feedback, AWCF), öğretmenlere yazma öğretiminde destek olmaktadır. Son yıllarda büyük dil modellerine dayalı üretken yapay zekâ (generative artificial intelligence, GenAI) araçlarının gelişmesiyle birlikte, bu sistemler yalnızca dil bilgisi ve yazım hatalarına değil, argümantasyon, metin organizasyonu ve içerik tutarlılığı gibi üst düzey yazma bileşenlerine de geri bildirim sağlayabilir hâle gelmiştir.

Buna karşın, insandan alınan geri bildirimin pedagojik yönlendirme, hata farkındalığı oluşturma ve öğrenciyle kurulan ilişki açısından hâlâ önemli bir avantaj sunduğu tartışılmaktadır. Bu çalışma, insanın verdiği geri bildirim ile üretken yapay zekânın verdiği geri bildirimin, EFL öğrencilerinin tartışmacı metin yazma (argumentative writing) performansı üzerindeki etkilerini karşılaştırmalı olarak incelemektedir.

Amaç

Bu araştırmanın amacı, insanın verdiği geri bildirim ile üretken yapay zekânın verdiği geri bildirimin, EFL öğrencilerinin tartışmacı metin yazma performansı üzerindeki etkilerini karşılaştırmaktır. Bu bağlamda, geri bildirimin şu boyutlar üzerindeki etkisinin ayrı ayrı değerlendirilmesi hedeflenmiştir: Genel yazma başarısı, argümantasyon, kanıt kullanımı, metin organizasyonu, dil kullanımı, mekanik doğruluk (imla, noktalama, yazım, temel biçimsel doğruluk). Böylece araştırma, geri bildirimin kaynağına göre bu yazma bileşenlerinde farklılık oluşup oluşmadığını ortaya koymayı amaçlamaktadır.

Yöntem

• Araştırma Deseni: Araştırma, karşılıklı dengelenmiş (counterbalanced) yarı deneysel bir desenle yürütülmüştür. Buna göre öğrenciler, birinci yazma görevinde iki gruba ayrılmış; bir grup insan geri bildirimi alırken, diğer grup üretken yapay zekâ geri bildirimi almıştır. İkinci yazma görevinde ise gruplar yer değiştirmiştir. Böylece her öğrenci, iki yazma görevi boyunca her iki geri bildirim türünü de deneyimlemiştir. Yazma performansındaki değişim, (i) zaman (ilk taslak-son taslak) ve (ii) geri bildirim kaynağı (insan veya yapay zekâ) değişkenleri üzerinden analiz edilmiştir.
• Katılımcılar: Araştırmaya, Türkiye’de bir devlet üniversitesinin İngilizce öğretmenliği bölümünden ikinci sınıf öğrencileri katılmıştır. Katılımcıların yaşları 19-24 arasındadır ve çoğu Diller için Avrupa Ortak Başvuru Metni’ne (Common European Framework of Reference, CEFR) göre B2 veya B2+ düzeyindedir. Pilot çalışmaya 69 öğrenci katılmıştır. Ana çalışmada her iki yazma görevini de tamamlayan 59 öğrenci (38 kadın, 21 erkek) analizlere dâhil edilmiştir.
• Pilot Çalışma: Ana araştırma öncesinde bir pilot çalışma yürütülmüştür. Pilot çalışmanın amacı, insan geri bildirimi ile üretken yapay zekâ geri bildiriminin aynı analitik rubrik temelinde tutarlı biçimde üretip üretmediğini ve üretken yapay zekâya verilen komutların rubrikle uyumlu geri bildirim oluşturup oluşturmadığını test etmektir.
• Yazma Görevleri ve Ölçme Araçları: Araştırma süreci iki ayrı tartışmacı metin yazma görevi üzerinden yürütülmüştür. Her yazma görevi; ilk taslak yazımı, geri bildirim alma (ya insan ya da yapay zekâdan geri bildirim alma) ve son taslak yazımı olmak üzere üç aşamadan oluşmuştur. 

Tüm yazma görevleri sınıf ortamında, kâğıt üzerinde gerçekleştirilmiştir. Bu tercih, öğrencilerin yazma sürecinde yapay zekâ araçlarını kullanmasını önlemek amacıyla yapılmıştır. Bu süreç sonunda her öğrenci, iki yazma görevi kapsamında iki ilk taslak ve iki son taslak olmak üzere toplam dört metin üretmiştir. Yazma performansındaki değişim, ilk ve son taslaklar arasındaki farklar üzerinden değerlendirilmiştir. Öğrencilerin yazıları, analitik bir değerlendirme rubriği kullanılarak analiz edilmiştir. Rubrik beş bileşenden oluşmaktadır:

1. Argümantasyon: Yazıda net bir görüşün ortaya konması ve bu görüşün tutarlı biçimde savunulması.

2. Kanıt: Savunulan görüşlerin örnekler ve gerekçelerle desteklenmesi.

3. Organizasyon: Metnin giriş, gelişme ve sonuç bölümlerinin düzenli ve akıcı olması.

4. Dil: Sözcük seçimi ve dil bilgisi yapılarını doğru ve anlamı destekleyecek biçimde kullanma.

5. Mekanik: Yazım, noktalama ve biçimsel doğruluğun sağlanması.

Her bileşen 1-4 puan arasında değerlendirilmiş; toplam yazma performansı 20 puan üzerinden hesaplanmıştır.

• Geri Bildirim Süreci

1. İnsan Geri Bildirimi: İnsan geri bildirimi, öğrencileri tanımayan ve ikinci dil yazma alanında uzman bir öğretmen tarafından yapılmıştır. Geri bildirimler, rubrik ve kontrol listesine dayalı olarak verilmiş; hatalar metin üzerinde işaretlenmiştir.

2. Üretken Yapay Zekâ Geri Bildirimi: Üretken yapay zekâ geri bildirimi, ChatGPT (GPT-4) kullanılarak oluşturulmuştur. Geri bildirimler, pilot çalışmada geliştirilen ve rubrikle uyumlu ayrıntılı komutlarla üretilmiştir. Yapay zekâ, her yazma bileşeni için puanlama yapmış ve açıklayıcı geri bildirim sunmuştur.

• Veri Analizi: Veriler, öğrencilerin yazma performansındaki değişimi incelemek amacıyla 2 × 2 karma desenli Kovaryans Analizi (ANCOVA) ile analiz edilmiştir. Bu analizde, öğrencilerin ilk ve son taslak puanları karşılaştırılarak geri bildirimin etkisi değerlendirilmiştir. Elde edilen sonuçlar, geri bildirimin etkisinin büyüklüğünü göstermek amacıyla eta kare (η²) değerleri üzerinden yorumlanmıştır.

Temel Bulgular

• Genel Yazma Performansı

• Her iki geri bildirim türü de öğrencilerin son taslak yazma performansını anlamlı şekilde artırmıştır. 
• Genel yazma puanlarındaki artış, insan geri bildirimi alan öğrencilerde üretken yapay zekâ geri bildirimi alan öğrencilere kıyasla daha yüksektir.

• Üst Düzey Yazma Becerileri (Argümantasyon, Kanıt, Organizasyon)

• Öğrencilerin metinde argümantasyon oluşturma becerileri, her iki geri bildirim türü sonrasında da anlamlı biçimde gelişmiştir; iki geri bildirim türüne bağlı olarak anlamlı bir fark bulunmamıştır.
• Kanıt kullanımı açısından, her iki geri bildirim türü de öğrencilerin performansını benzer düzeyde geliştirmiştir; ayrıca, geri bildirim türleri arasında anlamlı bir fark gözlemlenmemiştir.
• Metin organizasyonu alanında da öğrencilerin puanları, her iki geri bildirim türü sonrasında belirgin biçimde artmıştır; bu boyutta da geri bildirim kaynağına göre anlamlı bir fark saptanmamıştır.

• Dilsel Doğruluk ve Biçimsel Özellikler (Dil ve Mekanik)

• Dil kullanımı boyutunda, yalnızca insandan geri bildirim alan öğrencilerde anlamlı bir gelişim gözlenmiştir.
• Üretken yapay zekâ geri bildirimi alan öğrencilerin dil puanlarındaki artış istatistiksel olarak anlamlı değildir.
• Mekanik doğruluk (yazım, noktalama ve biçimsel doğruluk) alanında, insandan geri bildirim alan öğrencilerde anlamlı bir iyileşme görülmüştür.
• Üretken yapay zekâ geri bildirimi, mekanik boyutunda anlamlı bir etki göstermemiştir.

• Geri Bildirim Türlerinin Karşılaştırmalı Etkisi

• Üretken yapay zekâdan alınan geri bildirim; argümantasyon, kanıt ve organizasyon gibi üst düzey yazma becerilerinde insandan alınan geri bildirimle benzer düzeyde etki göstermektedir.
• Buna karşılık, dil kullanımı ve mekanik doğruluk alanlarında insandan alınan geri bildirim daha etkilidir.

Sonuç

Bu çalışma, insan geri bildirimi ile üretken yapay zekâ geri bildiriminin, İngilizceyi yabancı dil olarak öğrenen öğrencilerin tartışmacı yazma performansını farklı boyutlarda etkilediğini ortaya koymuştur. Bulgular, her iki geri bildirim türünün de öğrencilerin yazılarında argümantasyon, kanıt kullanımı ve metin organizasyonu gibi üst düzey yazma becerilerini geliştirdiğini göstermektedir. Buna karşılık, dil kullanımı ve mekanik doğruluk alanlarında yalnızca insandan geri bildirim almak anlamlı ve güçlü bir etki üretmiştir. Bu bulgu, geri bildirim kaynağının yazmanın farklı bileşenleri üzerinde farklı etkiler oluşturduğunu belirtmektedir.

Genel olarak bulgular, üretken yapay zekâ geri bildiriminin yazının argümantasyon, kanıt kullanımı ve organizasyon gibi üst düzey ve yapısal bileşenlerinde etkili olduğunu, buna karşılık dilsel doğruluk ve biçimsel ayrıntılar söz konusu olduğunda insan geri bildiriminin daha güçlü bir etki sunduğunu ortaya koymaktadır. Bu nedenle, üretken yapay zekâ geri bildiriminin insan geri bildiriminin yerine geçen bir uygulama olarak değil, onunla birlikte ve tamamlayıcı bir araç olarak değerlendirilmesi daha uygun bir yaklaşım olarak görünmektedir.

Kaynak: Yıldız, M., Topuz, A. C., Polat, H., Taşlıbeyaz, E., Kurşun, E., & Yeşilyurt, S. (2025). A comparative analysis of human and GenAI-generated feedback on EFL students’ argumentative writing performance. Educational Psychology, 1-28. https://doi.org/10.1080/01443410.2025.2539797