The International Cognitive Ability Resource
Final Report Abstract
Die International Cognitive Ability Resource (ICAR) ist ein public-domain Assessment Tool, welches dazu beiträgt, kognitive Fähigkeitsmessungen breiter als bisher in der wissenschaftlichen Psychologie und anderen Sozialwissenschaften einzusetzen. Zu diesem Zweck stellt die ICAR flexible Leistungstests bereit, die gegen existierende vergleichbare Maße validiert sind. Eine wichtige Strategie des ICAR-Projekts stellt dabei die automatische computerisierte Erzeugung von Items dar. Insgesamt existieren circa 1,000 operative Items, die vor allem in großen Online-Studien durch das ICAR-Team validiert wurden, d. h. mittels mehrerer hunderttausend individueller Testungen. Das ICAR-Aufgabenmaterial ist von mehreren hundert Forschenden weltweit aus verschiedenen Forschungsdisziplinen in vielfältigen Kontexten eingesetzt worden, mit mehr als 100 Zitaten der ICAR in Fachaufsätzen. Konservative Schätzungen des ICAR-Teams gehen von einer sechsstelligen Anzahl von Testungen durch Forschende außerhalb des ICAR-Teams aus. Mit der ICAR-Website als Ankerpunkt hat sich eine ICAR-Community gebildet, aus der weitere Itemgeneratoren stammen, ebenfalls unter einem public domain Modell. Die automatische Itemgenerierung, also die algorithmische Erzeugung von Stimulus-Material und Antwortoptionen, die Items mit vorhersagbaren psychometrischen Eigenschaften liefert, hat das ICAR-Projekt nicht nur durchführbar gemacht, sondern eine ganze Reihe neuartiger Generatoren wurden entwickelt. Beispielsweise wurde für aussagenlogischen Schlussfolgerns ein mehrsprachiger Generator in einer Reihe von Teilstudien validiert (Deutsch/Englisch/Chinesische Kurzzeichen), der im Gegensatz zu vielen existierenden Ansätzen verbales Itemmaterial liefert. Dabei waren die psychometrischen Kennzahlen der sich ergebenden Itemfamilien nicht nur stabil bei der Betrachtung mehrerer Mitglieder der gleichen Familie, sondern auch invariant gegenüber der verwendeten Sprache. Ebenfalls fanden sich gut vorhersagbare Itemparameter bei der Erzeugung von Zahlenfolgen. In methodischer Hinsicht ergaben sich meta-analytische Fragestellungen, die durch eine neuartige Modellierung beruhend auf der Beta-Binomalverteilung angegangen wurden, als auch Weiterentwicklungen des linear logistischen Testmodells.
Publications
- (2016). Task difficulty prediction of figural analogies. Intelligence, 56, 72–81
Blum, D., Holling, H., Galibert, M. & Forthmann, B.
(See online at https://doi.org/10.1016/j.intell.2016.03.001) - (2018). Automatic generation of figural analogies with the iMak package. Frontiers in psychology, 9, 1–13
Blum, D. & Holling, H.
(See online at https://doi.org/10.3389/fpsyg.2018.01286) - (2018). Evaluating an Automated Number Series Item Generator Using Linear Logistic Test Models. Journal of Intelligence, 6(20), 25p
Loe, B. S., Sun, L., Simonfy, F. & Doebler, P.
(See online at https://doi.org/doi:10.3390/jintelligence6020020)
