TOEFL internet Based Test Johanna Lahti
Suunnittelija
Fulbright Center
Kv-kevätpäivät, Seinäjoki
Ulkomaisten tutkinto-opiskelijoiden kielitaidon arviointi – toimivatko kielitestit?
16.5.2007
TOEFL internet Based Test Johanna Lahti
Suunnittelija
Fulbright Center
Kv-kevätpäivät, Seinäjoki
Ulkomaisten tutkinto-opiskelijoiden kielitaidon arviointi – toimivatko kielitestit?
16.5.2007
Educational Testing Service ja TOEFL
ETS
perustettu 1947
testien kehitys, hallinnointi, pisteitys, tutkimus
vuosittain 24 miljoonaa testiä yli 180 maassa
TOEFL
1964
20 miljoonaa testintekijää
noin 800 000 testiä/vuosi
yli 180 maata
yli 6000 oppilaitosta yms. tahoa käyttää TOEFL-tuloksia
TOEFL:in uusin versio, iBT alkoi porrastetusti maittain syksyllä 2005, Suomessa kesällä 2006
Testin rakenne
LUKEMINEN
3-5 tekstikatkelmaa
12-14 kysymystä/katkelma
60-100 minuuttia
KUUNTELU
4-6 luentoa
2 tai 3 keskustelua
60-90 minuuttia
PUHUMINEN
6 tehtävää
2 itsenäistä tehtävää
4 yhdistelevää tehtävää: lue/kuuntele/puhu ja kuuntele/puhu
puhutaan mikrofoniin
KIRJOITUS
2 tehtävää
yhdistelevä: lue/kuuntele/kirjoita (20 minuuttia)
perinteinen esseekirjoitus (30 minuuttia)
Tehtävät tyypillisiä yliopisto- ja korkeakoulumaailmalle:
luennot ja keskustelut
muu kanssakäyminen oppilaitoksessa
lukemistehtävät
esseiden ja tenttivastausten kirjoittaminen
Testin tavoite:
kommunikatiivisia taitoja mittaava kielitesti
Testin kehitys
TOEFL iBT-testin kehitystyö aloitettiin 1990
määrittely ja mittava tutkimustyö
prototyyppitehtävät ja pisteitysohjeet
tehtävien pilottitestaus
testikokeilut aidoissa olosuhteissa, isot otannat
kaikki testivastaukset analysoidaan tilastollisesti
TOEFL-testin reliabiliteetti on 0,95
ovatko kaikki osataidot yhtä oleellisia?
jos eivät, näkyykö pistevaatimuksissa?
vaikka kokonaispiste on sama, osiopisteet voivat olla erilaiset osiopisteiden käyttö kokonaispisteen sijaan?
osiopisteet ja kokonaispiste?
Pisteraja, Cut score
Välttämätön vähimmäiskielitaito opinnoista selviämiseen
”How much English language ability is enough to handle first-year studies?”
Pisterajojen määrittelyssä:
Kenen kielitaidosta on kyse (perustutkinto-vai jatko-opiskelija, opintoala…)?
Määrittele millaisia opiskelijan kielenkäyttötilanteet ovat (lukeminen, kuuntelu, puhuminen kirjoitus)
Millainen kielitaito opiskelijalla pitäisi vähintään olla selvitäkseen määritellyistä kielenkäyttötilanteista?
Minimally acceptable speaker (as defined by a university panel)
Accent doesn’t hinder communication
Appropriate use of vocabulary, but not without some errors
Has some flow, connected dialogue
Has semblance of organization
May mix formal and informal speech but meaning is clear
Reasonable pace
Pisterajojen määrittely
Apuvälineitä
TOEFL iBT Tips-kirjanen!
tulosvertailutaulukot
taitotasokuvaukset (competency descriptors)
pisteityskriteerit
muiden käyttämät pisteet
ETS:n tilastot (keskiarvot, hajonnat jne.)
Huomioon otettavaa pisterajoja määriteltäessä, ETSn vinkkejä
Factors other than language ability (e.g., motivation, content knowledge)
Availability of ESL support at your institution
Possibility of different section score requirements for different departments
Follow-up recommendations: conduct validation studies and periodic review of cut scores
Don’t set a rigid cut score
Consider using score ranges rather than a single score
Besides score comparison chart, look at percentile data and standard error of measurement
Comments