Понятие и виды валидности. экспериментальная психология

Что такое валидность методики?

Что такое валидность методики? Это показатель, который обозначает, занимается ли рассматриваемая методика изучением того качества, характеристики, для которой она предназначена. При этом делается акцент на том, что испытуемый, который проходит тестирование, может иначе видеть и характеризовать самого себя. Вот почему не всегда результаты учитывают мнение людей, которые могут не замечать за собой определенных характеристик.

Валидизацией называется проверка валидности методики. Чтобы определить действенность, эффективность, практичность используемой методики, применяется внешний независимый показатель – качество, которое наблюдается в повседневной жизни. Здесь выделяют 4 типа внешних показателей:

1. Критерий исполнения – затраченное время, количество работы, уровень успеваемости, рост профессиональных навыков и т. д.
2. Субъективные критерии – мнение, взгляды, предпочтение, отношение испытуемого к кому- или чему-либо. Здесь применяются анкеты, интервью, опросники.
3. Физиологические критерии – влияние внешнего мира на психику и организм человека. Здесь измеряются пульс, частота дыхания, симптомы утомления и пр.
4. Критерий случайности – возможен ли, к примеру, подбор лиц, которые не склонны к несчастным случаям? Изучение влияния определенного случая.

Теоретический поход в измерении валидности методов позволяет распознать, действительно ли технология изучает именно то качество, для которого она была предназначена.

Валидность также определяется встречаемостью изучаемого качества. Хорошо, если оно является распространенным, что и делает методику нужной и полезной. Также важными становятся этические и культурные изменения общества.

Способы установления валидности методики

Чаще всего понятие «валидность» обсуждается в контексте конкретных методик или экспериментов. При этом может быть поставлен вопрос и о валидности определенного метода в целом (например, метода тестирования или ассессмент центра). Подобные исследования проводятся с помощью мета-анализа.

Существуют три основных способа установления валидности методики.

I. Оценка содержательной валидности.

Содержательная валидность — степень соответствия содержания заданий методики той реальной деятельности, в которой проявляется измеряемое в методике свойство. Частным случаем содержательной валидности является так называемая очевидная (лицевая или фейс) валидность — степень соответствия методики ожиданиям оцениваемых. Для большинства методик считается важным, чтобы для участника оценки была очевидна связь между содержанием процедуры оценки и той реальной деятельностью, которая является объектом оценки (профессиональная, учебная, семейная и т. п.).

II. Оценка конструктной валидности.

Конструктная валидность — это степень обоснованности того, что методика действительно измеряет заданные и при этом научно обоснованные конструкты. Существуют, как минимум, две стратегии установления конструктной валидности.

Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи результатов конкретной методики с показателями других методик, измеряющих сходные характеристики. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями.

Подход второй — «дискриминантная валидизация». Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

III. Оценка критериальной валидности.

Критериальная валидность — это определенная статистическими методами степень соответствия результатов методики и определенных заранее внешних критериев. В качестве подобных критериев могут выступать:

• независимые от результатов методики непосредственные меры исследуемого качества (такие как уровень достижения в какой-либо деятельности, степень развития способности, выраженность определенного свойства личности и т. д.),
• показатели социально- или оргазизационно-значимых результатов деятельности (ключевые показатели эффективности (КПЭ или KPI), успеваемость, устойчивость семейных отношений и т. п.)

Одним из видов критериальной валидности является т. н. «прогностическая» валидность. Этот вид валидности используется, когда методика призвана давать определенный прогноз поведения человека. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что методика является прогностически валидной.

Профессиональные разработчики методик должны обосновывать все перечисленные виды валидности и вести постоянный сбор свидетельств в пользу валидности их инструментов.

Специфика и задачи психологического эксперимента

Эксперимент в психологии проводится с целью получить новые научные сведения путем исследования жизнедеятельности испытуемого.

Специфика состоит в том, что:

• о деятельности психики можно получить сведения, лишь основываясь на ее проявлениях (например, в виде определенного поведения), ибо как конструкт ее нельзя объективно наблюдать;
• невозможно выделить какой-то один из психических процессов, изучая их, так как воздействие происходит всегда на психику в целом;
• происходит активное взаимодействие между испытуемым и экспериментатором (в проведении исследований с людьми и, например, с приматами), что делает необходимым инструктаж (для более точного понимания требований).

В эксперименте выделяют 3 вида переменных:

• независимая;
• зависимая;
• дополнительные (внешние).

Общей задачей психологического эксперимента является установление наличия связей между ними.

Понятие валидности является здесь краеугольным камнем. Она дает некоторую уверенность ученым в том, что они измерили то, что хотели. Предпринимая множество мер для соблюдения всех ее видов, все равно невозможно быть абсолютно уверенным в следовании им до конца ввиду недостижимости безупречного эксперимента.

Валидность теста и методики

Тесты являются популярными методиками измерения конкретных качеств клиентов при проведении практической работы. Здесь надежность и валидность тестов должна быть стопроцентной. По факту оказывается, что тесты обладают 80% валидностью, что также считается нормальными показателями, поскольку во многом результаты зависят от честности и сознательности самих клиентов, которые проходят тесты.

Нередко нужно использовать несколько тестов, поскольку рассматриваемое качество может проходить в связке с другим качеством, которое уже измеряется другим тестом. Существуют прогностические тесты, которые должны рассматривать, как качество, которым обладает человек, будет проявляться в будущем.

Валидность методики заключается в том, насколько конкретная методика выявляет и измеряет ту характеристику, на которую она направлена. Валидной методика является, когда она реализовывает все возложенные на нее задачи.

Многое при проведении тестов и методик зависит от самих испытуемых, которые дают ответы на поставленные вопросы. Здесь все зависит от того, как сам испытуемый себя воспринимает и оценивает, что будет влиять на его ответы и, соответственно, результаты, которые могут на самом деле немного отличаться от действительности, поскольку базируются на искаженном восприятии человеком самого себя.

Основной тип валидности: внутренняя

Рассматривается как междисциплинарный, поскольку активно используется и в экспериментальной психологии, и в других науках. Вид валидности, показывающий, насколько независимая переменная влияет на зависимую. Для ее обеспечения необходимо контролировать все важные внешние факторы.

Чем выше вероятность изменения зависимой переменной от независимой, а не от каких-то других факторов, тем выше внутренняя валидность исследования. Однако невозможно с полной уверенностью утверждать, что она соблюдена в науке, особенно в психологии. Поэтому ученые при любом психологическом эксперименте могут лишь постараться минимизировать различные причины, несущие угрозу внутренней валидности.

Что такое валидация и чем она отличается от верификации

Говоря простыми словами, валидация – это проверка продукции на то, насколько она соответствует заявленным характеристикам. То есть, какой-нибудь мобильный телефон не пройдет валидацию до тех пор, пока заказчики не удостоверятся, что в нём именно такая камера и именно такой объем памяти, за который они готовы были заплатить.

Верификация же – это именно процесс, предшествующий валидации продукции. То есть, когда заказчик телефона из предыдущего примера проверял его на соответствие заявленным требованиям, то он проводил верификацию мобильного телефона. Заодно в процесс верификации продукции обычно включается анализ изделия: все ли необходимые части на месте, правильно ли они работают и так далее.

А теперь ещё раз, но уже в сравнении. Валидация – это анализ продукции на её работоспособность (включается ли телефон и может ли он звонить). Верификация – бюрократический вариант, то есть в течение этого процесса тестеры сверяются, соответствуют ли составные части продукции установленным техническим стандартам изготовления.

Возможно, профессионалы в области стандартизации скажут, что это слишком грубое и неполное объяснение, но оно даёт общую картину того, что же это за слова такие непонятные.

Приведём еще один пример. Представим, что планируется выход на рынок нового напитка. Способ изготовления и необходимые стандарты отправляются на фабрику. Изготовитель по окончанию процесса производства проверяет (верифицирует) состав напитка и его соответствие заявленному стандарту. Заказчик партии напитков проводит серию тестов на то, насколько напиток нравится потенциальным покупателям по вкусовым качествам. Если на этом этапе проверки тоже не возникает никаких проблем, то напиток можно считать валидированным.

То есть, в процессе валидации проверяется, имеет ли изготовленная продукция тот результат, на который производители и разработчики рассчитывали во время его проектирования. Бывает, что продукция проходит процесс верификации, но на деле оказывается, что она не работает. Таким образом, валидированный продукт внушает большее доверие.

Валидность это в психологии

В психологии понятие валидности обозначает уверенность экспериментатора в том, что он измерял именно то, что хотел с помощью определенной методики, показывает меру соответствия результатов и самой методики относительно поставленных задач. Валидное измерение – это то значение, которое измеряет именно то, для чего было создано. Например, методика, направлена на определение темперамента, должна измерять именно темперамент, а не нечто другое.

Валидность в экспериментальной психологии очень важный аспект, является важным показателем, который обеспечивает достоверность результатов, и с ним иногда больше всего возникает проблем. Совершенный эксперимент должен обладать безупречной валидностью, то есть он должен демонстрировать, что экспериментальный эффект вызван модификациями независимой переменной и полностью соответствовать действительности. Полученные результаты без ограничений можно обобщать. Если речь идет о степени данного критерия, то предполагается, что результаты будут соответствовать поставленным задачам.

Проверка на валидность осуществляется тремя способами.

Оценивание содержательной валидности, проводится, чтобы узнать уровень соответствия использованной методики и реальной действительности, в которой выражается исследуемое свойство в методике. Существует здесь также такой компонент, как очевидная, еще ее называют лицевая валидность, она характеризует степень соответствия теста к ожиданиям оцениваемых. В большинстве методик считается очень важным, чтобы участник оценки видел очевидную связь содержания процедуры оценки и действительности того объекта оценки.

Оценивание конструктной валидности исполняется для получения степени обоснованности, что тест реально вычисляет те конструкты, которые заданные и научно обоснованные.

В конструктной валидности имеются два направления. Первый называется конвергентной валидизацией, с его помощью проверяется ожидаемая связь результатов методики с характеристиками из других методик, которые измеряют исходные свойства. Если для измерения какой-то характеристики необходимо несколько методик, то рациональным решением было бы проведение экспериментов минимум двух методик, чтобы при сопоставлении результатов обнаружив высокую положительную корреляцию, можно было утверждать о валидном критерии.

Конвергентная валидизация определяет вероятность вариации оценки теста с ожиданиями. Второй подход, называется дискриминантная валидизация, в ней заключается, что методика не должна измерять никаких характеристик, с которой теоретически не должно быть корреляции.

Проверка на валидность, также бывает критериальной, она, руководствуясь статистическими методами, определяет степень соответствия результатов к заранее определенным внешним критериям. Такими критериями могут быть: непосредственные меры, независимые от результатов методики или значение социально-организационных значимых показателей деятельности. В критериальной валидности также выделяют прогностическую, она применяется при потребности прогнозирования поведения. И если получается, что этот прогноз осуществляется со временем, значит методика прогностически валидна.

Валидность методики это

Валидность методики определяет соответствие того, что изучается данной методикой, тому для изучения чего именно она предназначена.

Например, если психологическая методика, которая основана на осведомленном самоотчете, назначена для исследования некого качества личности, такого качества, которое не может быть верно, оцененным самим человеком, то такая методика не будет валидной.

В большинстве случаев ответы, которые дает испытуемый на вопросы о наличии или отсутствии развитости в нем этого качества, может выражать то, как сам испытуемый воспринимает себя, или каким бы ему хотелось быть в глазах других людей.

Валидность также является основным требованием к психологической методике изучения психологических конструктов. Существует масса разных видов данного критерия, и нет пока единственного мнения о том, как правильно назвать эти виды и неизвестно каким именно видам методика обязана соответствовать. Если же методика оказывается невалидной внешне или внутренне, не рекомендуется ее использовать. Существуют два подхода к валидизации методики.

Теоретический подход выявляется в том, чтобы показать насколько действительно методика измеряет именно то качество, которое, как придумал исследователь, и обязана измерять. Это доказывается через составление с родственными показателями и теми, где связей не могло бы быть. Поэтому для подтверждения теоретического валидного критерия нужно определить степень связей с родственной методикой, имеется в виду конвергентный критерий и отсутствие такой связи с методиками, которые имеют иную теоретическую базу (дискриминантная валидность).

Оценивание валидности методики может быть количественной или качественной. За прагматическим подходом оценивается эффективность и практическая значимость методики, и для ее проведения используется независимый критерий извне, как показатель встречаемости данного качества в повседневной жизни. Таким критерием, например, может быть успеваемость (для методик на достижения, тестов на интеллект), субъективные оценки (для личностных методик), специфические способности, рисование, моделирование (для методик специальных особенностей).

Для доказательства валидности внешних критериев, выделяется четыре типа: критерии исполнения – это критерии такие, как количество выполненных заданий, время, потраченное на обучение; субъективные критерии получают вместе с опросниками, интервью или анкетами; физиологические – частота пульса, давление, физические симптомы; критерии случайности – используются, когда к цели имеет касательство или влияние определенного случая или обстоятельств.

При выборе методики исследования имеет теоретическое и практическое значение определение охвата изучаемых характеристик, как важной составляющей валидности. Информация, которая содержится в названии методики практически всегда не является достаточной для суждения об области ее применения

Это просто имя методики, но под ним всегда кроется еще много чего. Хорошим примером будет методика корректурной пробы. Здесь в сферу изучаемых свойств включаются концентрация внимания, устойчивость и психомоторная скорость процессов. Такая методика дает оценку выраженности этих качеств в личности, хорошо соотноситься со значениями, полученными из других методов и обладает хорошей валидностью. Вместе с тем полученные в результате проведения корректурной пробы значения подвержены большему влиянию других факторов, относительно которых методика будет неспецифичной. Если применить корректурную пробу, чтобы измерить их, то валидность будет невысокая. Выходит,что определяя область применения методики, валидный критерий отображает уровень обоснованности результатов исследования. При небольшом количестве сопровождающих факторов, которые имеют влияние на результаты, достоверность оценок, полученных в методике будет выше. Еще достоверность результатов определяется с помощью набора измеряемых свойств, их важностью при осуществлении диагностики сложной деятельности, существенностью отображения в материале методики предмета измерения. Например, для удовлетворения требований достоверности и надежности, методика, назначенная на профотбор, должна иметь анализ большого круга различных показателей, которые наиболее важные при достижении успеха в профессии.

Сущность понятия «валидность»

Определение 1

Валидность – это комплексная характеристика методики, которая включает сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

Данное понятие относится к тому, что эта методика измеряет и как хорошо она это делает. Те тесты, которые не обладают валидностью, для практического использования не годятся.

Уровень валидности – это её коэффициент.

На валидность теста оказывают влияние систематические факторы, привносящие в результаты искажения. К ним относятся другие психические свойства, мешающие в результатах теста проявиться тому свойству, на которое направлен тест.

Например, необходимо измерить потенциал обученности, но время исполнения строго ограничено, и допущенную ошибку исправить невозможно. Таким образом, искомое психическое свойство смешается с другим – «стрессоустойчивостью». Те, у кого стрессоустойчивость высокая, выполнять тест будут лучше. Здесь проявляется эффект систематического искажения. Отсюда, единого и универсального подхода к определению валидности не существует.

Исходя из того, какая сторона валидности будет рассматриваться, будут использоваться и соответствующие способы доказательства.

Замечание 1

Методика имеет столько валидностей, сколько существует критериев.

В первом понимании валидность относится к самой методике – это валидность измерительного инструмента, а проверка получила название теоретической валидизации. Второе понимание относится уже не столько к методике, сколько к цели её использования – это прагматическая валидизация.

Для использования психодиагностических методик в практических целях, они должны быть проверены по ряду формальных критериев, которые являются главным элементом методик и доказывают их эффективность и высокое качество.

Основными критериями оценок являются надежность и валидность.

Критерий валидности представляет собой источник информации об измеряемом психическом свойстве, он не зависит от теста и по отношению к нему является внешним. Говорить о валидности теста можно только тогда, когда его результаты будут сравнимы с источником истиной информации об измеряемом свойстве, т.е. с критерием.

В качестве критерия валидности на практике часто используется прагматический критерий, представляющий собой очевидный признак, проявляемый испытуемым независимо от исследуемого качества. Например, данные о выполнении разных заданий, контрольных проб и данные, полученные при помощи других методик, валидность которых доказана.

Виды валидности методов исследования

Выбор методов научного исследования зависит от ряда фактов: области наук (гуманитарные или прикладные), необходимость проведения анализа с расчетной частью или простое сопоставление фактов, наличие конкретных данных для анализа и пр.

Следует отметить, что в одном исследовании выбранный метод может быть валидным, а в ином – вовсе неэффективен. Поэтому валидность выбранной методики следует оценивать в рамках конкретной научной работы, а не в сравнении с иными исследованиями.

В науке выделяют несколько разновидностей валидности методов исследования:

Виды валидности

Теоретическая валидность.

Данный вид определяется сопоставлением показателей, рассчитанных с помощью выбранной методики, с аналогичными показателями, рассчитанными по другому методу

Важно, чтобы рассчитанные параметры были теоретически зависимы, то есть оценивали один и тот же предмет, учитывали одни и те же факторы или схожие факторы влияния, демонстрировали теоретическую зависимость (то есть имели принадлежность к конкретному объекту или суждению)

Этот показатель определяют с помощью корреляции одно и того же показателя или свойства, рассчитываемого с помощью разных методов исследования

При этом важно соблюдение: обе методики должны быть связаны с одной и той же гипотезой или теорией

Эмпирическая валидность.

Данный критерий рассчитывается или проявляется благодаря действию опытно-логического метода исследования. В частности, он находит отражение на реакции, мышлении, эмоциях, поведении испытуемых объектов. Данный способ применим больше в психологической отрасли, когда требуется оценить реакцию или психологическое состояние человека в конкретной ситуации.

Эмпирическая валидность методов исследования будет выше тогда, когда выбранная методика продемонстрирует тот факт, что полученные данные соответствуют реальным данным испытуемого, то есть во время проведения «чистого» или «естественного» эксперимента: когда поведение объекта в рамках исследования будет полностью совпадать с поведением в реальной жизни.

Возникли сложности?

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

дипломные магистерские диссертации

Внешняя валидность.

Данный критерий имеет сходства с эмпирической валидность

Его особенностью является то, что здесь важно установить связь между конкретными параметрами выбранного метода исследования с внешними проявлениями испытуемого (поведением) в реальной жизни

Внутренняя валидность.

Этот показатель проявляется в том, что выбранная методика позволяет достичь поставленной цели исследования, доказывает или опровергает эффективность выдвинутой гипотезы. Фактически, внутренняя валидность демонстрирует соответствие методики исследования его содержанию. Валидность выбранного метода выше тогда, когда он показывает, что все коэффициенты и действия измеряют именно то, что требуется, связывая эти проявления с внешними признаками проблемы (ее симптомами).

IV. Оценка прогностической валидности.

Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.

Требования к идеальному тесту

1. Минимальное количество заданий. Однако чем больше личностных факторов хочет измерить тестирующий, тем большее количество вопросов целесообразнее задать тестируемому.
2. Тест должен соответствовать целевой группе, на которую он направлен. Верно то утверждение, что тест, направленный на одну группу, в результате тестирования которой были получены достоверные результаты, может быть невалидным в отношении другого целевого сегмента.
3. Адаптация теста. Применяется в случае проведения теста в иноязычной стране.