У наукових дослідженнях, внутрішня валідність або внутрішня дійсність (англ. internal validity) — це ступінь того, на скільки каузальний висновок, заснований на дослідженні, є обґрунтованим, що визначається мірою дослідження мінімізувати систематичну помилку (або «упередження»). Вона контрастує з зовнішньою валідністю, ступенем того, на скільки такий висновок може використовуватись для узагальнення результатів на інші контексти.
Деталі
Вважається, що висновки мають внутрішню валідність, якщо причиново-наслідковий зв'язок між двома змінними належним чином продемонстрований. Причиново-наслідковий зв'язок може існувати за виконання трьох критеріїв:
- «причина» передує «наслідку» у часі (часове розташування),
- «причина» і «наслідок» взаємопов'язані (коваріація), і
- не має правдоподібного альтернативного пояснення спостережуваній коваріації (нехибність).
У науково-експериментальних умовах, дослідники часто маніпулюють однією змінною (незалежна змінна), щоб побачити, який вплив це справляє на другу змінну (залежна змінна). Наприклад, дослідник може для різних експериментальних груп маніпулювати дозою конкретного препарату, щоб з'ясувати, який вплив це справляє на здоров'я; тут дослідник хоче виявити причиново-наслідковий зв'язок, що різні доза препарату може бути відповідальна за спостережувані зміни або відмінності. Коли дослідник може з упевненістю приписати спостережувані зміни або відмінності залежної змінної дії незалежної змінної, і, коли дослідник може виключити інші пояснення (або конкуруючі гіпотези), то причиново-наслідковий зв'язок вважається внутрішньо валідним.
Однак у багатьох випадках масштаби наслідків, які виявляють у залежній змінній, можуть залежати не тільки від
- варіації незалежної змінної,
- потужності приладів і статистичних процедур, що використовуються для вимірювання та виявлення ефектів, і
- вибору статистичних методів.
Скоріше, ряд змінних або обставин, неконтрольованих (або некерованих) можуть призвести до додаткових або альтернативних пояснень виявлених (a) ефектів та/або (б) масштабів наслідків. Внутрішня валідність, таким чином, є радше питанням величини, ніж «або/або», і саме тому і інші формати дослідження, ніж справжні експерименти можуть дати результати з високим ступенем внутрішньої валідності.
Для того, щоб забезпечити умовиводи з високим ступенем внутрішньої валідності, під час проектування наукового дослідження можуть бути вжиті запобіжні заходи. Як правило, висновки, засновані на кореляції або асоціації ведуть до меншої внутрішньої валідності, ніж висновки, зроблені на основі прямого маніпулювання незалежної змінної. І, якщо дивитися тільки з точки зору внутрішньої валідності, суворо контрольовані справжні експериментальні дизайни (тобто випадкова вибірка, випадковий розподіл на контрольну та експериментальну групи, надійні інструменти, надійний процес маніпуляції і захист від заважаючих факторів) можуть бути «золотим стандартом» наукових досліджень. Але одночасно саме ті стратегії, які використовуються, щоб контролювати ці чинники, можуть обмежувати узагальнення або зовнішню валідність результатів.
Фактори, що впливають на внутрішню валідність
- Ефект історії: події, які відбуваються поза експериментом (події в навколишньому середовищі)
- Дорослішання: фізичні або психологічні зміни учасників
- Тестування: ефект досвіду претестів — учасники стають свідомими тесту.
- Інструментарій: можна отримати знання під претесту до після-тесту просто через природу інструмента.
- Вибірка: проблема невипадкової вибірки, результат змінюється через інші фактори внаслідок вибірки учасників
- Статистична регресія: тенденція учасників, чиї оцінки потрапляють в крайні межі змінної, при повторному вимірі показувати результат ближче до середнього.
- Диференційне виснаження: Вибуття учасників дослідження.
Загрози внутрішній валідності
Неоднозначний часовий попередник
Відсутність ясності в питанні про те, яка змінна утворилась перша, може призвести до плутанини в тому, яка змінна є причиною, а яка — наслідком.
Заплутування
Головною загрозою чинності причинового умовиводу є заплутування: коли зміни залежної змінної можна віднести на наявність або варіації ступеня третьої змінної, яка пов'язана зі змінною, якою маніпулюють. Там де не можна виключити паразитарний зв'язок, можуть бути створені гіпотези, конкуруючі до початкової гіпотези причиново-наслідкового зв'язку дослідника.
Селективне упередження
Селективне упередження відноситься до проблеми, що під час фази пре-тесту існують відмінності між групами, які можуть взаємодіяти з незалежною змінною і в результаті бути «відповідальними» за спостережувані результати. Дослідники та учасники приносять до експерименту безліч особливостей, деякі навчені, деякі природні — наприклад, стать, вага, волосся, очі і колір шкіри, характер, розумові здібності, фізичні здібності, але й такі ставлення, як мотивація і готовність до участі.
На етапі відбору в дослідження, якщо нерівна кількість учасників мають схожі змінні, пов'язані з предметом дослідження, виникає загроза внутрішній валідності. Наприклад, дослідник створив дві тестові групи, експериментальну та контрольну. Учасники обох групах не однакові відносно незалежної змінної, але схожі в одному або кількох змінних, пов'язаних з предметом дослідження.
Самовибірка також має негативний вплив на інтерпретаційну силу залежної змінної. Це часто відбувається в онлайн-опитуваннях, в яких люди певної демографії частіше погоджуються пройти опитування, ніж інші.
Історія
Події за межами дослідження/експерименту або між повторними вимірами залежних змінних можуть вплинути на відповіді учасників експерименту. Часто на ставлення та поведінку учасників впливають великомасштабні події (стихійні лиха, політичні зміни і т. д.) і настільки, що неможливо визначити, чи є зміни залежної змінної наслідком впливу незалежної змінної або історичної події.
Дорослішання
Суб'єкти змінюються в ході експерименту або навіть між вимірами. Наприклад, маленькі діти можуть вирости і їх здатність до концентрації уваги може змінюватися по мірі дорослішання. «Природні» альтернативні пояснення дають як постійні зміни, наприклад фізичне зростання, так і тимчасові, наприклад втома; вони можуть змінити те, як суб'єкт реагує на незалежну змінну. Тому по завершенні дослідження дослідник може виявитися не в змозі визначити, якщо причиною невідповідності часу або незалежної змінної.
Повторне тестування (також ефект тестування)
Багаторазовий вимір учасників може призвести до упереджень (оман): учасники можуть запам'ятати правильні відповіді або можуть бути привчені знати, що вони проходять тести. Неодноразове проходження (тих самих або ж або подібних) тестів на інтелект зазвичай веде до зростання результатів, але в інтерпретації цього зазначені вище омани є конкуруючими гіпотезами до гіпотези про ефективне зростання навичок.
Зміна внаслідок інструмента (інструментальність)
Інструмент, використовуваний у процесі тестування, може змінити експеримент. Це стосується і спостерігачів, які більш концентровані або підготовлені, або неусвідомлено змінили критерії, які вони використовують, щоб виносити судження. Або це також може бути проблема з різним самозвітуванням в різний час. У цьому випадку ефект може бути зменшено за рахунок використання ретроспективного попереднього тестування. Якщо виникають зміни яких-небудь інструментів, це впливає на внутрішню валідність основного висновку, оскільки одразу існують альтернативні пояснення.
Регресія до середнього
Цей тип помилки виникає, коли суб'єкти відбираються на основі крайніх показників (далеко від середнього значення) під час тесту. Наприклад, коли діти з найгіршим значенням балів за читання відбираються для участі у курсі з покращення читання, покращення по закінченні курсу може бути пов'язано з регресією до середнього, а не ефективністю курсу. Якби діти були протестовані ще до початку курсу, вони, ймовірно, отримали б кращі результати в будь-якому випадку. Крім того, екстремальні значення індивідуальних показників, швидше за все, будуть виявлені в одинарному тесті, але, ймовірно, перетворяться в більш нормальний розподіл при серії тестів.
Диференційне виснаження
Ця помилка виникає, якщо висновки зроблені на основі лише тих учасників, які брали участь від початку до кінця. Однак, учасники, можливо, вибули з дослідження до його завершення, і, можливо, навіть через саме дослідження чи експеримент. Наприклад, у після-тестуванні було показано, що відсоток членів експериментальної групи, які кинули палити був значно вищий, ніж в контрольній групі. Однак, в експериментальній групі лише 60 % завершили програму відмови від паління. Якщо таке виснаження систематично стосується будь-якого об'єкта дослідження, управління незалежною змінною, інструментарію, або якщо відмова від продовження призводить до відповідного між групами, виникає цілий клас альтернативних пояснень спостережуваних відмінностей.
Взаємодія між вибіркою-дорослішанням
Така взаємодія відбувається, коли взаємодіють змінні, пов'язані з суб'єктом, такі як колір волосся, колір шкіри і т. д., і змінні, пов'язані з часом, вік, фізичний розмір і т. д.. Якщо невідповідність між двома групами (експериментальною та контрольною) виникає між тестами, вона може бути викликана віковими відмінностями у вікових категоріях.
Компенсаторне суперництво/ображена деморалізація
Поведінка в контрольних групах може змінитися в результаті дослідження. Наприклад, члени групи можуть додатково старатися, щоб очікувана перевага експериментальної групи не була продемонстрована. Це не означає, що незалежна змінна не дала ефекту чи відсутній взаємозв'язок між залежною і незалежною змінною. І навпаки, на зміни в залежній змінній може вплинути деморалізована контрольна група, яка буде менш мотивована і менше старатися працювати менш жорстким чи підґрунтя, а не незалежна змінна.
Упередження експериментатора
Упередження експериментатора відбувається, коли люди, які ведуть експеримент, мимоволі впливають на результат, коли не усвідомлено ведуть себе по-різному для членів контрольної та експериментальної груп. Виключити можливість упередженості експериментатора можливо з допомогою подвійного сліпого дослідження зразків, в яких експериментатор не знає про стан, до якого належить учасник.
Для восьми з цих загроз існує мнемонічний вислів англ. THIS MESS (цей бардак), який складається з перших літер англомовних назв факторів: Testing (repeated testing), History, Instrument change, Statistical Regression toward the mean, Maturation, Experimental mortality, Selection та Selection Interaction.
Див. також
Примітки
- Brewer, M. (2000). Research Design and Issues of Validity. In Reis, H. and Judd, C. (eds.) Handbook of Research Methods in Social and Personality Psychology. Cambridge:Cambridge University Press.
- Shadish, W., Cook, T., and Campbell, D. (2002). Experimental and Quasi-Experimental Designs for Generilized Causal Inference Boston:Houghton Mifflin.
- Levine, G. and Parkinson, S. (1994). Experimental Methods in Psychology. Hillsdale, NJ:Lawrence Erlbaum.
- Liebert, R. M. & Liebert, L. L. (1995). Science and behavior: An introduction to methods of psychological research. Englewood Cliffs, NJ: Prentice Hall.
- Wortman, P. M. (1983). Evaluation research – A methodological perspective. Annual Review of Psychology. 34: 223—260. doi:10.1146/annurev.ps.34.020183.001255.
Посилання
- Внутрішня валідність [ 25 листопада 2016 у Wayback Machine.] (соціальні методи дослідження)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U naukovih doslidzhennyah vnutrishnya validnist abo vnutrishnya dijsnist angl internal validity ce stupin togo na skilki kauzalnij visnovok zasnovanij na doslidzhenni ye obgruntovanim sho viznachayetsya miroyu doslidzhennya minimizuvati sistematichnu pomilku abo uperedzhennya Vona kontrastuye z zovnishnoyu validnistyu stupenem togo na skilki takij visnovok mozhe vikoristovuvatis dlya uzagalnennya rezultativ na inshi konteksti DetaliVvazhayetsya sho visnovki mayut vnutrishnyu validnist yaksho prichinovo naslidkovij zv yazok mizh dvoma zminnimi nalezhnim chinom prodemonstrovanij Prichinovo naslidkovij zv yazok mozhe isnuvati za vikonannya troh kriteriyiv prichina pereduye naslidku u chasi chasove roztashuvannya prichina i naslidok vzayemopov yazani kovariaciya i ne maye pravdopodibnogo alternativnogo poyasnennya sposterezhuvanij kovariaciyi nehibnist U naukovo eksperimentalnih umovah doslidniki chasto manipulyuyut odniyeyu zminnoyu nezalezhna zminna shob pobachiti yakij vpliv ce spravlyaye na drugu zminnu zalezhna zminna Napriklad doslidnik mozhe dlya riznih eksperimentalnih grup manipulyuvati dozoyu konkretnogo preparatu shob z yasuvati yakij vpliv ce spravlyaye na zdorov ya tut doslidnik hoche viyaviti prichinovo naslidkovij zv yazok sho rizni doza preparatu mozhe buti vidpovidalna za sposterezhuvani zmini abo vidminnosti Koli doslidnik mozhe z upevnenistyu pripisati sposterezhuvani zmini abo vidminnosti zalezhnoyi zminnoyi diyi nezalezhnoyi zminnoyi i koli doslidnik mozhe viklyuchiti inshi poyasnennya abo konkuruyuchi gipotezi to prichinovo naslidkovij zv yazok vvazhayetsya vnutrishno validnim Odnak u bagatoh vipadkah masshtabi naslidkiv yaki viyavlyayut u zalezhnij zminnij mozhut zalezhati ne tilki vid variaciyi nezalezhnoyi zminnoyi potuzhnosti priladiv i statistichnih procedur sho vikoristovuyutsya dlya vimiryuvannya ta viyavlennya efektiv i viboru statistichnih metodiv Skorishe ryad zminnih abo obstavin nekontrolovanih abo nekerovanih mozhut prizvesti do dodatkovih abo alternativnih poyasnen viyavlenih a efektiv ta abo b masshtabiv naslidkiv Vnutrishnya validnist takim chinom ye radshe pitannyam velichini nizh abo abo i same tomu i inshi formati doslidzhennya nizh spravzhni eksperimenti mozhut dati rezultati z visokim stupenem vnutrishnoyi validnosti Dlya togo shob zabezpechiti umovivodi z visokim stupenem vnutrishnoyi validnosti pid chas proektuvannya naukovogo doslidzhennya mozhut buti vzhiti zapobizhni zahodi Yak pravilo visnovki zasnovani na korelyaciyi abo asociaciyi vedut do menshoyi vnutrishnoyi validnosti nizh visnovki zrobleni na osnovi pryamogo manipulyuvannya nezalezhnoyi zminnoyi I yaksho divitisya tilki z tochki zoru vnutrishnoyi validnosti suvoro kontrolovani spravzhni eksperimentalni dizajni tobto vipadkova vibirka vipadkovij rozpodil na kontrolnu ta eksperimentalnu grupi nadijni instrumenti nadijnij proces manipulyaciyi i zahist vid zavazhayuchih faktoriv mozhut buti zolotim standartom naukovih doslidzhen Ale odnochasno same ti strategiyi yaki vikoristovuyutsya shob kontrolyuvati ci chinniki mozhut obmezhuvati uzagalnennya abo zovnishnyu validnist rezultativ Faktori sho vplivayut na vnutrishnyu validnistEfekt istoriyi podiyi yaki vidbuvayutsya poza eksperimentom podiyi v navkolishnomu seredovishi Doroslishannya fizichni abo psihologichni zmini uchasnikiv Testuvannya efekt dosvidu pretestiv uchasniki stayut svidomimi testu Instrumentarij mozhna otrimati znannya pid pretestu do pislya testu prosto cherez prirodu instrumenta Vibirka problema nevipadkovoyi vibirki rezultat zminyuyetsya cherez inshi faktori vnaslidok vibirki uchasnikiv Statistichna regresiya tendenciya uchasnikiv chiyi ocinki potraplyayut v krajni mezhi zminnoyi pri povtornomu vimiri pokazuvati rezultat blizhche do serednogo Diferencijne visnazhennya Vibuttya uchasnikiv doslidzhennya Zagrozi vnutrishnij validnostiNeodnoznachnij chasovij poperednik Vidsutnist yasnosti v pitanni pro te yaka zminna utvorilas persha mozhe prizvesti do plutanini v tomu yaka zminna ye prichinoyu a yaka naslidkom Zaplutuvannya Golovnoyu zagrozoyu chinnosti prichinovogo umovivodu ye zaplutuvannya koli zmini zalezhnoyi zminnoyi mozhna vidnesti na nayavnist abo variaciyi stupenya tretoyi zminnoyi yaka pov yazana zi zminnoyu yakoyu manipulyuyut Tam de ne mozhna viklyuchiti parazitarnij zv yazok mozhut buti stvoreni gipotezi konkuruyuchi do pochatkovoyi gipotezi prichinovo naslidkovogo zv yazku doslidnika Selektivne uperedzhennya Selektivne uperedzhennya vidnositsya do problemi sho pid chas fazi pre testu isnuyut vidminnosti mizh grupami yaki mozhut vzayemodiyati z nezalezhnoyu zminnoyu i v rezultati buti vidpovidalnimi za sposterezhuvani rezultati Doslidniki ta uchasniki prinosyat do eksperimentu bezlich osoblivostej deyaki navcheni deyaki prirodni napriklad stat vaga volossya ochi i kolir shkiri harakter rozumovi zdibnosti fizichni zdibnosti ale j taki stavlennya yak motivaciya i gotovnist do uchasti Na etapi vidboru v doslidzhennya yaksho nerivna kilkist uchasnikiv mayut shozhi zminni pov yazani z predmetom doslidzhennya vinikaye zagroza vnutrishnij validnosti Napriklad doslidnik stvoriv dvi testovi grupi eksperimentalnu ta kontrolnu Uchasniki oboh grupah ne odnakovi vidnosno nezalezhnoyi zminnoyi ale shozhi v odnomu abo kilkoh zminnih pov yazanih z predmetom doslidzhennya Samovibirka takozh maye negativnij vpliv na interpretacijnu silu zalezhnoyi zminnoyi Ce chasto vidbuvayetsya v onlajn opituvannyah v yakih lyudi pevnoyi demografiyi chastishe pogodzhuyutsya projti opituvannya nizh inshi Istoriya Podiyi za mezhami doslidzhennya eksperimentu abo mizh povtornimi vimirami zalezhnih zminnih mozhut vplinuti na vidpovidi uchasnikiv eksperimentu Chasto na stavlennya ta povedinku uchasnikiv vplivayut velikomasshtabni podiyi stihijni liha politichni zmini i t d i nastilki sho nemozhlivo viznachiti chi ye zmini zalezhnoyi zminnoyi naslidkom vplivu nezalezhnoyi zminnoyi abo istorichnoyi podiyi Doroslishannya Sub yekti zminyuyutsya v hodi eksperimentu abo navit mizh vimirami Napriklad malenki diti mozhut virosti i yih zdatnist do koncentraciyi uvagi mozhe zminyuvatisya po miri doroslishannya Prirodni alternativni poyasnennya dayut yak postijni zmini napriklad fizichne zrostannya tak i timchasovi napriklad vtoma voni mozhut zminiti te yak sub yekt reaguye na nezalezhnu zminnu Tomu po zavershenni doslidzhennya doslidnik mozhe viyavitisya ne v zmozi viznachiti yaksho prichinoyu nevidpovidnosti chasu abo nezalezhnoyi zminnoyi Povtorne testuvannya takozh efekt testuvannya Bagatorazovij vimir uchasnikiv mozhe prizvesti do uperedzhen oman uchasniki mozhut zapam yatati pravilni vidpovidi abo mozhut buti privcheni znati sho voni prohodyat testi Neodnorazove prohodzhennya tih samih abo zh abo podibnih testiv na intelekt zazvichaj vede do zrostannya rezultativ ale v interpretaciyi cogo zaznacheni vishe omani ye konkuruyuchimi gipotezami do gipotezi pro efektivne zrostannya navichok Zmina vnaslidok instrumenta instrumentalnist Instrument vikoristovuvanij u procesi testuvannya mozhe zminiti eksperiment Ce stosuyetsya i sposterigachiv yaki bilsh koncentrovani abo pidgotovleni abo neusvidomleno zminili kriteriyi yaki voni vikoristovuyut shob vinositi sudzhennya Abo ce takozh mozhe buti problema z riznim samozvituvannyam v riznij chas U comu vipadku efekt mozhe buti zmensheno za rahunok vikoristannya retrospektivnogo poperednogo testuvannya Yaksho vinikayut zmini yakih nebud instrumentiv ce vplivaye na vnutrishnyu validnist osnovnogo visnovku oskilki odrazu isnuyut alternativni poyasnennya Regresiya do serednogo Cej tip pomilki vinikaye koli sub yekti vidbirayutsya na osnovi krajnih pokaznikiv daleko vid serednogo znachennya pid chas testu Napriklad koli diti z najgirshim znachennyam baliv za chitannya vidbirayutsya dlya uchasti u kursi z pokrashennya chitannya pokrashennya po zakinchenni kursu mozhe buti pov yazano z regresiyeyu do serednogo a ne efektivnistyu kursu Yakbi diti buli protestovani she do pochatku kursu voni jmovirno otrimali b krashi rezultati v bud yakomu vipadku Krim togo ekstremalni znachennya individualnih pokaznikiv shvidshe za vse budut viyavleni v odinarnomu testi ale jmovirno peretvoryatsya v bilsh normalnij rozpodil pri seriyi testiv Diferencijne visnazhennya Dokladnishe Uperedzhennya vizhivannya Cya pomilka vinikaye yaksho visnovki zrobleni na osnovi lishe tih uchasnikiv yaki brali uchast vid pochatku do kincya Odnak uchasniki mozhlivo vibuli z doslidzhennya do jogo zavershennya i mozhlivo navit cherez same doslidzhennya chi eksperiment Napriklad u pislya testuvanni bulo pokazano sho vidsotok chleniv eksperimentalnoyi grupi yaki kinuli paliti buv znachno vishij nizh v kontrolnij grupi Odnak v eksperimentalnij grupi lishe 60 zavershili programu vidmovi vid palinnya Yaksho take visnazhennya sistematichno stosuyetsya bud yakogo ob yekta doslidzhennya upravlinnya nezalezhnoyu zminnoyu instrumentariyu abo yaksho vidmova vid prodovzhennya prizvodit do vidpovidnogo mizh grupami vinikaye cilij klas alternativnih poyasnen sposterezhuvanih vidminnostej Vzayemodiya mizh vibirkoyu doroslishannyam Taka vzayemodiya vidbuvayetsya koli vzayemodiyut zminni pov yazani z sub yektom taki yak kolir volossya kolir shkiri i t d i zminni pov yazani z chasom vik fizichnij rozmir i t d Yaksho nevidpovidnist mizh dvoma grupami eksperimentalnoyu ta kontrolnoyu vinikaye mizh testami vona mozhe buti viklikana vikovimi vidminnostyami u vikovih kategoriyah Kompensatorne supernictvo obrazhena demoralizaciya Povedinka v kontrolnih grupah mozhe zminitisya v rezultati doslidzhennya Napriklad chleni grupi mozhut dodatkovo staratisya shob ochikuvana perevaga eksperimentalnoyi grupi ne bula prodemonstrovana Ce ne oznachaye sho nezalezhna zminna ne dala efektu chi vidsutnij vzayemozv yazok mizh zalezhnoyu i nezalezhnoyu zminnoyu I navpaki na zmini v zalezhnij zminnij mozhe vplinuti demoralizovana kontrolna grupa yaka bude mensh motivovana i menshe staratisya pracyuvati mensh zhorstkim chi pidgruntya a ne nezalezhna zminna Uperedzhennya eksperimentatora Uperedzhennya eksperimentatora vidbuvayetsya koli lyudi yaki vedut eksperiment mimovoli vplivayut na rezultat koli ne usvidomleno vedut sebe po riznomu dlya chleniv kontrolnoyi ta eksperimentalnoyi grup Viklyuchiti mozhlivist uperedzhenosti eksperimentatora mozhlivo z dopomogoyu podvijnogo slipogo doslidzhennya zrazkiv v yakih eksperimentator ne znaye pro stan do yakogo nalezhit uchasnik Dlya vosmi z cih zagroz isnuye mnemonichnij visliv angl THIS MESS cej bardak yakij skladayetsya z pershih liter anglomovnih nazv faktoriv Testing repeated testing History Instrument change Statistical Regression toward the mean Maturation Experimental mortality Selection ta Selection Interaction Div takozhZovnishnya validnist Validnist statistika Ekologichna validnistPrimitkiBrewer M 2000 Research Design and Issues of Validity In Reis H and Judd C eds Handbook of Research Methods in Social and Personality Psychology Cambridge Cambridge University Press Shadish W Cook T and Campbell D 2002 Experimental and Quasi Experimental Designs for Generilized Causal Inference Boston Houghton Mifflin Levine G and Parkinson S 1994 Experimental Methods in Psychology Hillsdale NJ Lawrence Erlbaum Liebert R M amp Liebert L L 1995 Science and behavior An introduction to methods of psychological research Englewood Cliffs NJ Prentice Hall Wortman P M 1983 Evaluation research A methodological perspective Annual Review of Psychology 34 223 260 doi 10 1146 annurev ps 34 020183 001255 PosilannyaVnutrishnya validnist 25 listopada 2016 u Wayback Machine socialni metodi doslidzhennya