Examining the predictive validity of the Duolingo English Test: Evidence from a major UK university

Talia Isaacs Ruolin Hu Danijela Trenkic Julia Varga
Language: English

The COVID-19 pandemic has changed the university admissions and proficiency testing landscape. One change has been the meteoric rise in use of the fully automated Duolingo English Test (DET) for university entrance purposes, offering test-takers a cheaper, shorter, accessible alternative. This rapid response study is the first to investigate the predictive value of DET test scores in relation to university students’ academic attainment, taking into account students’ degree level, academic discipline, and nationality. We also compared DET test-takers’ academic performance with that of students admitted using traditional proficiency tests. Credit-weighted first-year academic grades of 1881 DET test-takers (1389 postgraduate, 492 undergraduate) enrolled at a large, research-intensive London university in Autumn 2020 were positively associated with DET Overall scores for postgraduate students (adj. r = .195) but not undergraduate students (adj. r = −.112). This result was mirrored in correlational patterns for students admitted through IELTS (n = 2651) and TOEFL iBT (n = 436), contributing to criterion-related validity evidence. Students admitted with DET enjoyed lower academic success than the IELTS and TOEFL iBT test-takers, although sample characteristics may have shaped this finding. We discuss implications for establishing cut scores and harnessing test-takers’ academic language development through pre-sessional and in-sessional support.

Journal: Language Testing
Publisher:

Translations

Un’indagine della validità predittiva del Duolingo English Test: Prove da un’importante università del Regno Unito.

La pandemia COVID-19 ha cambiato il panorama delle ammissioni universitarie e dei test delle competenze. Un cambiamento è stato il meteoritico incremento dell’uso del test completamente automatizzato Duolingo English Test (DET) ai fini dell’ammissione accademica, offrendo ai candidati un’alternativa più economica, breve e accessibile. Questo breve studio è il primo ad investigare il valore predittivo dei risultati del DET in relazione al successo accademico degli studenti, considerando il livello di laurea degli studenti, la loro disciplina accademica e nazionalità. Abbiamo inoltre comparato la prestazione accademica dei candidati DET con quella di studenti ammessi tramite test di ammissione tradizionali. I voti ponderati in base al credito di 1881 candidati al primo anno accademico (1389 studenti di laurea magistrale, 492 studenti di laurea triennale) iscritti in una grande università di Londra orientata alla ricerca nell’ autunno 2020 sono stati associati positivamente con i voti generali del DET per gli studenti di laurea magistrale (adj. r = .195) ma non per gli studenti di laurea triennale (adj. r = −.112). Questo risultato è stato rispecchiato nei modelli di correlazione per studenti ammessi tramite i test IELTS (n = 2651) e TOEFL iBT (n = 436), contribuendo così alla validità relativa ai criteri. Gli studenti ammessi con il test DET hanno goduto di un minor successo accademico rispetto ai candidati dei test IELTS e TOEFL iBT, sebbene delle caratteristiche del campione potrebbero aver modellato questo risultato. Discutiamo delle implicazioni per stabilire tagli ai punteggi e controllare lo sviluppo linguistico dei candidati attraverso del supporto prima e durante la sessione.


Translated by: Tania Ferronato