TOEFL internet Based Test Johanna Lahti
Suunnittelija
Fulbright Center
Kv-kevätpäivät, Seinäjoki
15.5.2007
TOEFL internet Based Test Johanna Lahti
Suunnittelija
Fulbright Center
Kv-kevätpäivät, Seinäjoki
15.5.2007
Educational Testing Service ja TOEFL
TOEFL
1964
20 miljoonaa testintekijää
noin 800 000 testiä/vuosi
yli 180 maata
yli 6000 oppilaitosta yms. tahoa käyttää TOEFL-tuloksia
TOEFL:in uusin versio, iBT alkoi porrastetusti maittain syksyllä 2005, Suomessa kesällä 2006
ETS
perustettu 1947
testien kehitys, hallinnointi, pisteitys, tutkimus
vuosittain 24 miljoonaa testiä yli 180 maassa
Internet-based test
2005/2006 -
lukeminen
kuuntelu
puhuminen
kirjoitus
testipäiviä n.3/kk
tulokset verkossa
ja postitse
0-120 Computer-based test
1998 - ~ 2006
kuuntelu
rakenne (kielioppi)
lukeminen
kirjoitus
testejä viikoittain
tulokset postitse
0-300 Paper-based test
1964 -~
kuuntelu
rakenne (kielioppi)
lukeminen
kirjoitus
6 kertaa vuodessa
tulokset postitse
310-677 TOEFL PBT, CBT ja iBT
TOEFL iBT:n kehitys
TOEFL iBT-testin kehitystyö aloitettiin 1990
määrittely ja mittava tutkimustyö
prototyyppitehtävät ja pisteitysohjeet
tehtävien pilottitestaus
testikokeilut aidoissa olosuhteissa, isot otannat
kaikki testivastaukset analysoidaan tilastollisesti
Testin rakenne
1. LUKEMINEN
3-5 tekstikatkelmaa
12-14 kysymystä/katkelma
Avainsanat selittävä sanasto
Uusi tehtävätyyppi: tiedon ryhmittely ja taulukoiden sekä yhteenvetojen täydentäminen
60-100 minuuttia
2. KUUNTELU
4-6 luentoa, osassa luokkahuonekeskusteluja, luennot kestoltaan 3-5 min
6 kysymystä/luento
2-3 keskustelua, keskustelujen pituus 3 min 5 kysymystä/keskustelu
Kuuntelun aikana voi tehdä muistiinpanoja
Uusi kysymystyyppi, joka mittaa kykyä ymmärtää puhujan asennetta, tarkoitusta, motivaatiota ja varmuutta
60-90 minuuttia
3. PUHUMINEN
6 tehtävää
2 itsenäistä tehtävää
4 yhdistelevää tehtävää: lue/kuuntele/puhu ja kuuntele/puhu
Akateemisia aiheita ja kampustilanteita
30s aikaa valmistautua, 1min aikaa puhua
puhutaan mikrofoniin
20 minuuttia
4. KIRJOITUS
Yhdistelevä tehtävä, 20 min
230-300 sanan luettava teksti
kuunneltava teksti samasta aiheesta, mutta eri näkökulma
esseessä tiivistetään kuunnellun tekstin pääkohdat ja selitetään niiden suhdetta luetun tekstin pääkohtiin
esseen suosituspituus 150-225 sanaa
Perinteinen esseekirjoitus, 30 min
esseen suosituspituus 300 sanaa
Testin rakenne
Tehtävät tyypillisiä yliopisto- ja korkeakoulumaailmalle
luennot ja keskustelut
muu kanssakäyminen oppilaitoksessa
lukemistehtävät
esseiden ja tenttivastausten kirjoittaminen
Testin tavoite
kommunikatiivisia taitoja mittaava kielitesti
Ei niinkään se, mitä opiskelija tietää kielestä kuin se, kuinka hyvin hän käyttää kieltä.
Testin pisteitys
Kirjoitusosion pisteitys
ETS Online Scoring Network, kaksi tarkastajaa pisteittää vastauksen
tarkastajat koulutettu ja sertifioitu, päivittäinen kalibrointi ja työn monitorointi
Puheosion pisteitys
ETS Online Scoring Network
vähintään 3 henkilöä osallistuu tehtävien pisteitykseen
osa vastauksista pisteitetään kahdesti tarkastajien monitoroimiseksi
tarkastajat koulutettu ja sertifioitu, päivittäinen kalibrointi ja työn monitorointi
ovatko kaikki osataidot yhtä oleellisia?
jos eivät, näkyykö pistevaatimuksissa?
vaikka kokonaispiste on sama, osiopisteet voivat olla erilaiset osiopisteiden käyttö kokonaispisteen sijaan?
osiopisteet ja kokonaispiste?
TOEFL ja yleiseurooppalainen viitekehys
Yleiseurooppalainen viitekehys, taitotasot
A.1–A.2 perustason kielenkäyttäjä
B.1–B.2 itsenäinen kielenkäyttäjä
C.1–C.2 taitava kielenkäyttäjä TOEFL määritelty tasoille B1 ja C1
B1, itsenäinen kielenkäyttäjä
TOEFL PBT 457 (310-677) CBT 137 (0-300)
iBT 47 (0-120)
C1, taitava kielenkäyttäjä
TOEFL PBT 560
CBT 220
iBT 83
Pisterajojen määrittely
Pisteraja, Cut score
välttämätön vähimmäiskielitaito opinnoista selviämiseen
”How much English language ability is enough to handle first-year studies?”
Pisterajojen määrittelyssä:
kenen kielitaidosta on kyse (perustutkinto-vai jatko-opiskelija, opintoala…)?
määrittele millaisia opiskelijan kielenkäyttötilanteet ovat (lukeminen, kuuntelu, puhuminen, kirjoitus)
millainen kielitaito opiskelijalla pitäisi vähintään olla selvitäkseen määritellyistä kielenkäyttötilanteista?
Minimally acceptable speaker (as defined by a university panel)
Accent doesn’t hinder communication
Appropriate use of vocabulary, but not without some errors
Has some flow, connected dialogue
Has semblance of organization
May mix formal and informal speech but meaning is clear
Reasonable pace
Pisterajojen määrittely
Apuvälineitä
TOEFL iBT Tips-kirjanen!
tulosvertailutaulukot
tulosvertailut selkeyttävät pisteiden välisiä suhteita, mutta testien erilaisen rakenteen vuoksi pisteet eivät suoraan verrannollisia keskenään
taitotasokuvaukset (competency descriptors)
pisteityskriteerit
muiden käyttämät pisteet
ETS:n tilastot (keskiarvot, hajonnat, keskivirheet jne.)
Huomioon otettavaa pisterajoja määriteltäessä, ETSn vinkkejä
Factors other than language ability (e.g., motivation, content knowledge)
Availability of ESL support at your institution
Possibility of different section score requirements for different departments
Follow-up recommendations: conduct validation studies and periodic review of cut scores
Don’t set a rigid cut score
Consider using score ranges rather than a single score
Besides score comparison chart, look at percentile data and standard error of measurement
Tulokset omalle oppilaitokselle
tulokset suoraan Educational Testing Serviceltä, EI opiskelijan lähettämää tuloskopiota!
ainoa tapa varmentaa tuloksen oikeellisuus, on käyttää ETS:n lähettämiä tulosraportteja
hanki TOEFL-koodi (DI, Designated Institution)
www.ets.org/toefl > academic institutions > become a TOEFL score user
DI-koodi hakuohjeisiin, verkkosivulle
jos ei koodia, ilmoita hakuohjeissa se postiosoite, johon tulosraportti halutaan saada
Opiskelija valitsee tulosraporttien saajat (maks. 4) testiin ilmoittautuessaan:
www.ets.org/toefl, puhelin tai posti
testi maksetaan ilmoittautumisen yhteydessä, USD 155
tulosraportti 15 arkipäivän kuluttua testistä sekä internetiin että postitse
testin jälkeen ei alustavaa testitulosta
testikeskuksessa ei voi merkitä tulosraporttien saajia
ilmoittauduttaessa merkittävä vähintään 1 tulosraportin saaja, tällöin voi palata omalle sivulleen ja tehdä muutoksia tulosraportin saajiin testiä edeltävään iltaan klo 22 asti
Tulokset omalle oppilaitokselle
Scorelink
ETS lähettää tulokset internetin kautta (26 kertaa vuodessa)
sähköposti-ilmoitus ja verkko-osoite, kun tulos saatavilla
tulos tallennettavissa
ei perinteistä postitusta > nopein tapa saada tulosraportit
Perinteinen paperiraportti
ETS lähettää tulokset lentopostitse
Disk & Cartridge
ETS lähettää lentopostitse
Kesän testipäivät Fulbright Centerissä
toukokuu
pe 18.5. klo 12
kesäkuu
la 9.6. klo 12
la 16.6. klo 12
heinäkuu
ei testejä
elokuu
la 4.8. klo 14
la 11.8. klo 8
pe 17.8. klo 14
la 25.8. klo 13
Comments