Комп'ютеризоване адаптивне тестування

Комп'ютеризо́ване адапти́вне тестува́ння (КАТ, англ. computerized adaptive testing, CAT) — це вид комп'ютерного тестування, яке адаптується до рівня кваліфікації іспитника. Через це його також називають індивідуа́льно пристосо́вуваним тестува́нням (англ. tailored testing). Іншими словами, це вид здійснюваного за допомогою комп'ютера тестування, в якому наступне завдання або набір завдань, призначувані іспитникові, залежить від правильності відповідей на попередні завдання.

Опис

КАТ послідовно обирає питання з метою максимізації точності іспиту на основі того, що відомо про іспитника з попередніх питань. З погляду іспитника, складність іспиту ніби пристосовується до його рівня кваліфікації. Наприклад, якщо іспитник добре впорується із завданням середньої складності, йому буде запропоновано складніше питання. Або, якщо він відповідав погано, йому буде запропоновано простіше питання. У порівнянні зі статичними тестами, з якими стикався майже кожен, із незмінним набором завдань, які надають усім іспитникам, комп'ютерно-адаптивні тести вимагають менше тестових завдань для досягнення однаково точних результатів.

Основний метод комп'ютерно-адаптивного тестування — це ітеративний алгоритм із наступними кроками:

1. Пошук оптимального завдання в банку доступних завдань на основі поточної оцінки кваліфікації іспитника
2. Обране завдання надається іспитникові, який відтак відповідає на нього правильно або неправильно
3. Оцінка кваліфікації уточнюється, на основі всіх попередніх відповідей
4. Кроки 1–3 повторюються, доки не буде виконано критерій завершення

Про іспитника до надання першого завдання не відомо нічого, тому алгоритм зазвичай починається з вибору завдання середньої або середньо-легкої складності як першого.^[]

В результаті адаптивного надавання різні іспитники отримують доволі різні тести. Хоча іспитникам зазвичай надаються різні тести, оцінки їхньої кваліфікації порівнянні між собою (тобто так, ніби вони отримували однаковий тест, як це прийнято у тестах, розроблених за класичною теорією тестування). Психометрична технологія, яка дозволяє обчислювати справедливі результати для різних наборів завдань, — теорія відгуку завдання (ТВЗ, англ. item response theory, IRT). Вона також є пріоритетною методологією для вибору оптимальних завдань, які зазвичай обираються на основі інформації, а не виключно складності.

Суміжну методологію, звану багатоетапним тестуванням (англ. multistage testing, MST) або комп'ютерно-адаптивним послідовним тестуванням (англ. computer-adaptive sequential testing, CAST), використовують у (інші мови). Багатоетапне тестування обходить або зменшує деякі недоліки КАТ, описані нижче.

Приклади

КАТ існує з 1970-х років, і наразі є багато (інші мови), що використовують цю методику.

• Тест для допуску до магістерських програм з менеджменту (англ. Graduate Management Admission Test, GMAT)
• Тест MAP від (інші мови) для допомоги вчителям у встановлюванні особистих навчальних потреб учнів, відстежування набування навичок, та вимірювання академічного росту з часом
• Тест SAT для вступу до коледжів (починаючи з 2023 року за межами США та з 2024 року в США)
• Ліцензійний медсестринський іспит при Національній Раді США (англ. National Council Licensure Examination, NCLEX)
• Тестування на профпридатність до військової спеціальності Збройних сил США (англ. Armed Services Vocational Aptitude Battery, ASVAB)

Крім того, перелік чинних іспитів КАТ знаходиться на сайті Міжнародної асоціації комп'ютеризованого адаптивного тестування, де також доступні переліки поточних дослідницьких програм з КАТ і майже повна бібліографія всіх опублікованих досліджень у цій галузі.

Переваги

Адаптивні тести можуть забезпечувати рівномірно точні результати для більшості тестованих. На противагу, стандартні незмінні тести майже завжди забезпечують найкращу точність для тестованих середньої кваліфікації, й усе гіршу точність для іспитників з усе ближчими до країв оцінками тесту.^[]

Адаптивний тест зазвичай можливо скоротити на 50 %, все ще зберігши вищий рівень прецизійності, ніж у незмінної версії. Це перетворюється на заощадження часу для тестованого. Тестовані не марнують час на виконання занадто складних чи елементарно легких завдань. Крім того, від цього заощадження часу отримує вигоду й тестувальна організація, оскільки витрати на перебування іспитника на тестуванні значно знижуються. Проте, оскільки розробка КАТ вимагає набагато більших витрат, ніж для стандартного тесту незмінного вигляду, для фінансової окупності програми КАТ потрібна велика сукупність іспитників.^[]

Великі цільові сукупності зазвичай зустрічаються в наукових та дослідницьких галузях. У цих відношеннях КАТ можна використовувати для вловлювання ранніх ознак порушень та захворювань. За останні 10 років використання КАТ у цих галузях значно зросло. Колись його в медичних закладах та лабораторіях не сприймали, але зараз КАТ у рамках діагностування активно заохочується.^[]

Як і будь-який комп'ютерний тест, адаптивні тести можуть показувати результати негайно після тестування.^[]

Адаптивне тестування, залежно від алгоритму вибору завдань, може знижувати виставляння (англ. exposure) деяких завдань, оскільки іспитники зазвичай отримують різні набори завдань, замість видавання всій сукупності єдиного набору. Проте воно може збільшувати виставляння інших завдань (зокрема, завдань середньої чи середньо-легкої складності, пропонованих більшості іспитників на початку тесту).

Недоліки

Першою проблемою, з якою стикаються в КАТ, є калібрування банку завдань. Щоби змоделювати характеристики завдань (наприклад, щоби обирати оптимальні завдання), усі завдання тесту мусять бути попередньо надані значній вибірці, й відтак проаналізовані. Для досягнення цього нові завдання мусить бути домішано до чинних завдань іспиту (відповіді записуються, але не роблять внеску до підсумкових оцінок тестованих), що називають «пілотним тестуванням», «попереднім тестуванням» або «посівом» (англ. "seeding"). Це створює логістичні, етичні та безпекові проблеми. Наприклад, неможливо запустити робочий адаптивний тест із абсолютно новими, невипробуваними завданнями; усі завдання повинні бути попередньо протестовані на достатньо великій вибірці для отримання стабільних статистик завдань. Цій вибірці може бути потрібно мати до 1 000 іспитників. Кожна програма мусить вирішити, який відсоток тесту може бути прийнятно складати з неоцінених пілотних завдань.^[]

Хоч адаптивні тести й мають алгоритми контролю виставляння (англ. exposure control) для запобігання надмірному використанню небагатьох завдань, виставляння залежно від кваліфікації часто не контролюється, й може легко наближуватися до 1. Тобто, для людей з однаковою кваліфікацією деякі завдання часто стають дуже поширеними. Це — серйозна безпекова проблема, оскільки групи, які обмінюються завданнями, цілком можуть мати подібний функційний рівень кваліфікації. Насправді, повністю випадковий екзамен є найбезпечнішим (але водночас найменш ефективним).^[]

Перегляд попередніх завдань зазвичай заборонено, оскільки адаптивні тести схильні пропонувати легші завдання після неправильних відповідей. Вважають, що спостережливий тестований може використовувати такі підказки для виявляння й виправляння неправильних відповідей. Або ж тестованих можуть натренувати цілеспрямовано давати більшу кількість неправильних відповідей, що призводитиме до все більшого спрощення тесту. Після того, як адаптивний тест буде «надурено» на побудову максимально простого іспиту, вони можуть потім переглянути ці завдання й відповісти на них правильно, потенційно досягши дуже високої оцінки. Тестовані часто скаржаться на неможливість перегляду попередніх завдань.

Через високу складність розробка КАТ має низку передумов. Для калібрування за теорією відгуку завдання (ТВЗ) необхідні великі вибірки (зазвичай сотні іспитників). Завдання мусять бути оцінюваними в реальному часі, якщо обирати нове завдання необхідно миттєво. Потрібні психометрики з досвідом у калібруванні за ТВЗ та дослідженні симуляцій КАТ для забезпечення документування валідності. Зрештою, мусить бути доступною програмна система, здатна здійснювати справжнє адаптивне тестування на основі ТВЗ.^[]

У КАТ з обмеженням часу іспитникам неможливо точно спланувати час, який вони можуть витратити на кожне завдання, і визначити, чи встигають вони завершити розділ вчасно. Тестовані відтак можуть зазнавати штрафування через те, що витратили забагато часу на складне завдання на початку розділу, через що їм не вистачає часу для завершення завдань, необхідних для точної оцінки їхньої кваліфікації в інших областях, що залишаються невипробуваними до завершення часу. Хоча КАТ без обмеження часу є чудовими інструментами для формувального оцінювання, що спрямовує подальше навчання, КАТ із обмеженням часу не підходять для відповідального (інші мови), яке використовують для оцінки придатності до роботи чи навчальних програм.^[]

Складові

Існує п'ять технічних складових побудови КАТ (наступне перейнято з Weiss & Kingsbury, 1984). Цей перелік не містить практичних аспектів, як-от попереднього тестування завдань чи випуску тесту в реальні умови.

1. Калібрований банк завдань
2. Початкова точка або рівень входу
3. Алгоритм вибору завдань
4. Процедура оцінювання
5. Критерій завершення

Калібрований банк завдань

Для роботи КАТ необхідний банк завдань для вибору. Такі завдання можливо створювати традиційним чином (тобто вручну), або за допомогою (інші мови). Цей банк мусить бути відкаліброваним за допомогою психометричної моделі, яка слугує основою для решти чотирьох складових. Зазвичай як психометричну модель використовують теорію відгуку завдання (ТВЗ). Однією з причин популярності теорії відгуку завдання є те, що вона розміщує осіб та завдання на одній шкалі (позначуваній грецькою літерою тета), що корисно з огляду на нюанси вибирання завдань (див. нижче).^[]

Початкова точка

У КАТ вибір завдань відбувається на основі продуктивності іспитника до даного моменту тестування. Проте на початку тестування КАТ очевидно не може зробити жодної конкретної оцінки кваліфікації іспитника, коли ще не було надано жодного завдання. Тож необхідна деяка первинна оцінка кваліфікації іспитника. Якщо доступна якась попередня інформація про іспитника, нею можливо скористатися, але часто КАТ просто виходить з того, що іспитник має середню компетентність — через це першим зазвичай є завдання середнього рівня складності.^[]

Алгоритм вибору завдань

Як зазначено вище, теорія відгуку завдання розміщує іспитників та завдання на одній шкалі. Відтак, якщо КАТ має оцінку кваліфікації іспитника, воно може вибрати найвідповідніше цій оцінці завдання. Технічно це робиться шляхом вибору завдання з найбільшою інформацією на той момент. Інформація — це функція параметра розрізнювальності (англ. discrimination parameter) завдання, а також умовної дисперсії та параметра псевдовідгадуваності (англ. pseudo-guessing parameter, якщо його використовують).^[]

Процедура оцінювання

Після надання завдання КАТ уточнює свою оцінку рівня кваліфікації іспитника. Якщо іспитник відповів на завдання правильно, КАТ, імовірно, оцінить його компетентність трохи вище, і навпаки. Це здійснюється за допомогою функції відгуку завдання з теорії відгуку завдання для отримання функції правдоподібності кваліфікації іспитника. Два методи для цього називають оцінюванням максимальною правдоподібністю, та баєсовим оцінюванням. Останній виходить з апріорного розподілу кваліфікації іспитника й має два поширені оцінювачі: апостеріорне математичне сподівання (англ. expectation a posteriori) та апостеріорний максимум (англ. maximum a posteriori). Максимальна правдоподібність еквівалентна баєсовій оцінці апостеріорного максимуму за умови рівномірного (f(x)=1) апріорного. Максимальна правдоподібність асимптотично незміщена, але не може надавати оцінку тета для незмішаного вектора відповідей (усі правильні або всі неправильні), в такому випадку може знадобитися тимчасово скористатися баєсовим методом.

Критерій завершення

Алгоритм КАТ розроблено таким чином, щоби він багаторазово надавав завдання й уточнював оцінку кваліфікації іспитника. Це триватиме доти, поки не буде вичерпано банк завдань, якщо в КАТ не передбачено критерію завершення. Часто тест завершують, коли стандартна похибка вимірювання кваліфікації іспитника падає нижче певного встановленого користувачем значення, через що, як зазначено вище, однією з переваг є те, що оцінки іспитників будуть рівномірно точними, або «рівноточними» (англ. "equiprecise"). Існують також інші критерії завершення, які застосовують залежно від мети тесту, наприклад, якщо тест розроблено лише для визначення, чи іспитник «склав», чи «провалив» іспит, а не для отримання точної оцінки його кваліфікації.

Інші нюанси

Склав — провалив

У багатьох ситуаціях метою тесту є класифікація іспитників на дві або більше взаємовиключні й (інші мови) категорії. Сюди належить поширений «тест на засвоєння», в якому є дві категорії — «склав» і «провалив», а також ситуації, де існує три або більше категорії, наприклад, «недостатній», «базовий» та «поглиблений» рівні знань або компетентності. Такий «адаптивний тест на рівні завдань», як описано в цій статті, найкраще підходить для тестів, які не є тестами «склав/провалив» чи для тестів цього типу, де надзвичайно важливим є надання якісного зворотного зв'язку. Для КАТ типу «склав/провалив», відомого також як комп'ютеризований класифікаційний тест (англ. computerized classification test, CCT), необхідні певні видозміни. Для іспитників з істинними оцінками, дуже близькими до прохідного балу, комп'ютеризовані класифікаційні тести призводитимуть до довшого тестування, тоді як для іспитників з істинними оцінками значно вищими або нижчими за прохідний бал іспити будуть найкоротшими.^[]

Наприклад, необхідно застосувати новий критерій завершення та алгоритм оцінювання, які класифікують іспитника у відповідну категорію, а не надають точкову оцінку його кваліфікації. Для цього доступні дві основні методології. Відомішою з них є (інші мови) (англ. sequential probability ratio test, SPRT). У цій методології задачу класифікування іспитника формулюють як перевірку гіпотези, що його кваліфікація дорівнює або деякій заданій точці вище , або іншій заданій точці нижче прохідного балу. Зауважте, що це формулювання точкової гіпотези, а не складеної, що було би концептуально доречнішим. Формулювання складеної гіпотези означало би, що кваліфікація іспитника знаходиться або в області вище прохідного балу, або в області нижче прохідного балу.^[]

Також використовують підхід довірчого інтервалу, в якому після надання кожного завдання алгоритм визначає ймовірність того, що істинна оцінка іспитника перевищує прохідний бал, чи не досягає його. Наприклад, алгоритм може продовжуватися, допоки 95 %-вий довірчий інтервал для істинної оцінки більше не міститиме прохідного балу. В цей момент подальші завдання не потрібні, оскільки рішення щодо «склав/провалив» уже є на 95 % точним, за умови, що психометричні моделі в основі адаптивного тестування відповідають іспитникові та тесту. Цей підхід спочатку називали «адаптивним тестуванням на засвоєння» (англ. "adaptive mastery testing"), але його можливо застосовувати й до неадаптивного вибирання завдань та до ситуацій класифікації з двома або більше прохідними балами (типовий тест на засвоєння має один прохідний бал).

Як практичний підхід, алгоритм зазвичай програмують із мінімальною та максимальною довжиною тесту (або мінімальною й максимальною тривалістю тестування). Інакше можлива ситуація, коли іспитник із кваліфікацією, дуже близькою до прохідного балу, може отримати всі завдання з банку, а алгоритм так і не ухвалить рішення.^[]

Алгоритм вибору завдань залежить від критерію завершення. Максимізування інформації на рівні прохідного балу доречніше для послідовного критерію відношення ймовірностей (SPRT), оскільки це максимізує різницю ймовірностей, використовувану у відношенні правдоподібності. Максимізування інформації на оцінці кваліфікації доречніше для підходу довірчого інтервалу, оскільки воно мінімізує умовну стандартну похибку вимірювання, що зменшує ширину довірчого інтервалу, необхідного для здійснення класифікування.

Практичні обмеження адаптивності

Дослідниця зі Служби освітніх тестувань (ETS) Марта Стокінг жартувала, що більшість адаптивних тестів насправді є «заледве адаптивними тестами» (англ. barely adaptive tests, BAT), оскільки на практиці на вибір завдань накладається багато обмежень. Наприклад, іспити КАТ зазвичай повинні відповідати специфікаціям змісту; вербальному іспитові може бути потрібно складатися з однакової кількості завдань на аналогії, заповнення пропусків та синоніми. КАТ зазвичай мають певного виду обмеження виставляння завдань (англ. item exposure constraint) задля запобігання надмірному виставлянню найінформативніших завдань. Крім того, у деяких тестах намагаються збалансувати зовнішні характеристики завдань, як-от стать персонажів у завданнях, або етнічне походження, що випливає з їхніх імен. Таким чином, іспити КАТ часто обмежені у виборі завдань, і для деяких іспитів ці обмеження можуть бути суттєвими та вимагати складних пошукових стратегій (наприклад, лінійного програмування) для знаходження підхожих завдань.^[]

Простим методом керування виставлянням завдань є метод «випадковості» (англ. "randomesque") або страти. Замість обирати в кожній точці тесту найінформативніше завдання, алгоритм випадковим чином обирає наступне завдання з п'яти або десяти найінформативніших. Цей метод можливо використовувати протягом усього тесту, або лише на його початку. Іншим методом є метод Сімпсона-Геттера, у якому береться випадкове число з рівномірного розподілу U(0,1), і порівнюється з параметром k_i, визначеним для кожного завдання користувачем тесту. Якщо це випадкове число більше за k_i, розглядається наступне найінформативніше завдання.

Вім ван дер Лінден з колегами розвинули альтернативний підхід, названий тіньовим тестуванням (англ. shadow testing), який передбачає створення цілих тіньових тестів як частину вибирання завдання. Вибирання завдань із тіньових тестів допомагає адаптивним тестам відповідати критеріям вибирання, зосереджуючись на глобально оптимальних виборах (на відміну від виборів, оптимальних для конкретного завдання).^[]

Багатовимірне адаптивне тестування

За заданого набору завдань багатовимірний комп'ютеризований адаптивний тест (БКАТ, англ. multidimensional computer adaptive test, MCAT) обирає завдання з банку відповідно до оцінених кваліфікацій студента, створюючи індивідуалізований тест. БКАТи прагнуть максимізувати точність тесту, ґрунтуючись на одночасному оцінюванні кількох кваліфікацій (на відміну від комп'ютеризованого адаптивного тесту — КАТ — який оцінює лише одну кваліфікацію) з використанням послідовності завдань, наданих раніше (Piton-Gonçalves та Aluísio, 2012).^[]

Див. також

• Баєсове простежування знань
• Електронне оцінювання, also known as комп'ютерне тестування – тестування з використанням комп'ютерівPages displaying wikidata descriptions as a fallback
• Комп'ютеризований класифікаційний тест
• Освітні технології – використання технології в освіті для вдосконалення навчання та викладання; не обмежується високими технологіямиPages displaying wikidata descriptions as a fallback
• Лінійне тестування на льоту
• (інші мови)

Примітки

1. National Council on Measurement in Education (англ.). Архів оригіналу за 22 липня 2017.
2. ; Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Educational Measurement (англ.). 21 (4): 361—375. doi:10.1111/j.1745-3984.1984.tb01040.x.
3. Thissen, D.; Mislevy, R.J. (2000). Testing Algorithms. У Wainer, H. (ред.). Computerized Adaptive Testing: A Primer (англ.). Mahwah, NJ: Lawrence Erlbaum Associates.
4. Green, B.F. (2000). System design and operation. У Wainer, H. (ред.). Computerized Adaptive Testing: A Primer (англ.). Mahwah, NJ: Lawrence Erlbaum Associates.
5. Колгатін, О.Г.; Колгатіна, Л.С. (2015). Інтерпретація тестових результатів на основі логістичної моделі в табличному процесорі. Теорія та методика навчання математики, фізики, інформатики (укр.). Кривий Ріг: ДВНЗ КНУ. 13 (2): 338—339. doi:10.55056/tmn.v13i2.795.
6. Див. 2006 special issue of Applied Measurement in Education (англ.). або Computerized Multistage Testing (англ.). для отримання додаткової інформації про багатоетапне тестування.^[]
7. Knox, Liam (5 березня 2024). College Board launches digital SAT. Inside Higher Ed (англ.). Процитовано 10 березня 2024.
8. International Association for Computerized Adaptive Testing (IACAT) (англ.). Архів оригіналу за 3 грудня 2009.
9. Wainer, H.; Mislevy, R.J. (2000). Item response theory, calibration, and estimation. У Wainer, H. (ред.). Computerized Adaptive Testing: A Primer (англ.). Mahwah, NJ: Lawrence Erlbaum Associates.
10. Lawrence M. Rudner. An On-line, Interactive, Computer Adaptive Testing Tutorial. EdRes.org/scripts/cat (англ.).
11. Requirements of Computerized Adaptive Testing (PDF). FastTEST Web (англ.). Архів оригіналу (PDF) за 25 квітня 2012.
12. GMAT Tip: Adapting to a Computer-Adaptive Test. Bloomberg (англ.). 3 квітня 2013. Архів оригіналу за 6 квітня 2013.
13. Lin, C.-J.; Spray, J.A. (2000), Effects of item-selection criteria on classification testing with the sequential probability ratio test. (Research Report 2000-8) (PDF) (англ.), Iowa City, IA: ACT, Inc., архів (PDF) оригіналу за 21 квітня 2015
14. Wald, A. (1947). Sequential analysis (англ.). New York: Wiley.
15. Reckase, M. D. (1983). A procedure for decision making using tailored testing. У Weiss, D. J. (ред.). New horizons in testing: Latent trait theory and computerized adaptive testing (англ.). New York: Academic Press. с. 237—255. ISBN .
16. Weitzman, R. A. (1982). Sequential testing for selection. Applied Psychological Measurement (англ.). 6 (3): 337—351. CiteSeerX 10.1.1.1030.6828. doi:10.1177/014662168200600310. S2CID 122365749.
17. Kingsbury, G. G.; Weiss, D. J. (1983). A procedure for decision making using tailored testing. У Weiss, D. J. (ред.). A comparison of IRT-based adaptive mastery testing and a sequential mastery testing procedure (англ.). New York: Academic Press. с. 257—283. ISBN .
18. Eggen, T. J. H. M; Straetmans, G. J. J. M. (2000). Computerized adaptive testing for classifying examinees into three categories. Educational and Psychological Measurement (англ.). 60 (5): 713—734. doi:10.1177/00131640021970862. S2CID 64632296.
19. Spray, J. A.; Reckase, M. D. (5–7 April 1994). The selection of test items for decision making with a computerized adaptive test (PDF). Annual Meeting of the National Council for Measurement in Education (англ.). New Orleans, LA. Архів (PDF) оригіналу за 30 квітня 2015.
20. англ. cat — кіт, англ. bat — кажан
21. Sympson, B.J.; Hetter, R.D. (1985). Controlling item-exposure rates in computerized adaptive testing. Annual conference of the Military Testing Association (англ.). San Diego.
22. van der Linden, W. J.; Veldkamp, B. P. (2004). Constraining item exposure in computerized adaptive testing with shadow tests. Journal of Educational and Behavioral Statistics (англ.). 29 (3): 273—291. doi:10.3102/10769986029003273. S2CID 381707.

Додаткові джерела

• Drasgow, F.; Olson-Buchanan, J. B., ред. (1999). Innovations in computerized assessment (англ.). Hillsdale, NJ: Erlbaum.
• Piton-Gonçalves, J.; Aluísio, S. M. (2015). Teste Adaptativo Computadorizado Multidimensional com propósitos educacionais: princípios e métodos. Ensaio: Avaliação e Políticas Públicas em Educação (порт.). 23 (87): 389—414. doi:10.1590/S0104-40362015000100016.
• Piton-Gonçalves, J.; Aluísio, S. M. (2012). An architecture for multidimensional computer adaptive test with educational purposes (англ.). New York, NY, USA: ACM. с. 17—24. doi:10.1145/2382636.2382644.
• Piton-Gonçalves, J. (2020). Testes adaptativos para o Enade: uma aplicação metodológica. Meta: Avaliação (порт.). 12 (36): 665—688. doi:10.22347/2175-2753v12i36.2735.
• Van der Linden, W. J.; Glas, C.A.W., ред. (2000). Computerized adaptive testing: Theory and practice (англ.). Boston, MA: Kluwer.
• , ред. (2000). Computerized adaptive testing: A Primer (англ.) (вид. 2nd). Mahwah, NJ: Lawrence Erlbaum Associates.
• Weiss, D.J., ред. (1983). New horizons in testing: Latent trait theory and computerized adaptive testing (англ.). New York: Academic Press. с. 237—254.

Література

• First Adaptive Test: Binet's IQ Test. International Association for Computerized Adaptive Testing (IACAT) (англ.).
• Adaptive Testing and Performance Analysis. Procedia Computer Science, International Conference on Advanced Computing Technologies and Applications (ICACTA) (англ.).
• Sands, William A.; Waters, Brian K.; McBride, James R., ред. (1997). Computerized adaptive testing: From inquiry to operation (англ.). Washington, DC, US: American Psychological Association. с. xvii 292. doi:10.1037/10244-000.
• Zara, Anthony R (1999). Using Computerized Adaptive Testing to Evaluate Nurse Competence for Licensure: Some History and Forward Look. Advances in Health Sciences Education (англ.). 4 (1): 39—48. doi:10.1023/A:1009866321381. PMID 12386434. S2CID 27771858.
• Крикун, В. (2021). Ретроспективний аналіз розвитку інтелектуальних адаптивних систем навчання. Військова освіта (укр.): 154—164. Архів оригіналу за 9 квітня 2022.

Посилання

• International Association for Computerized Adaptive Testing (англ.). Архів оригіналу за 3 грудня 2009.
• Concerto: Open-source CAT Platform. University of Cambridge (англ.).
• FastTest: CAT platform with free version available (англ.). ASC.
• Weiss, David J. CAT Central (англ.). University of Minnesota. Архів оригіналу за 11 липня 2006.
• Frequently Asked Questions about Computer-Adaptive Testing (CAT) (англ.). University of Minnesota. Процитовано 15 квітня 2005.
• Rudner, Lawrence L. (листопад 1998). An On-line, Interactive, Computer Adaptive Testing Tutorial (англ.). Архів оригіналу за 11 червня 2005. Процитовано 15 квітня 2005.
• Special issue: An introduction to multistage testing. Applied Measurement in Education (англ.). 19 (3). Архів оригіналу за 15 березня 2022.
• Computerized Adaptive Tests (англ.). Washington, DC: (інші мови) Clearinghouse on Tests Measurement and Evaluation. Архів оригіналу за 4 грудня 2021.