Валидность

Валидность служит основным целям любой науки – познание и власть.

Валидность

Сегодня часто утверждают, что концепция валидности уникальна. Но критерий оценки или процедура оценки действительна или недействительна, и не более того. Разнообразны и многочисленны методы проверки, одни из которых теоретические или конструктивные, а другие — прагматические или просто эмпирические.

Техники валидации очень распространены, и их количество быстро растет. Но, существует только два фундаментальных типа валидности, которые в остальном взаимозависимы: теоретическая и практическая. Они соответствуют двум фундаментальным целям науки: познанию и власти. С одной стороны, чтобы познать реальность, объяснить и понять ее, то есть чтобы учесть один аспект реальности (объяснить его) в связи с другими аспектами (понять их).

С другой стороны, чтобы иметь возможность вмешиваться в реальность, чтобы до некоторой степени доминировать над ней, лучше приспособиться к ней или модифицировать ее так, чтобы она лучше соответствовала нашим целям. Это две разные цели, но не независимые.

В психометрии валидность понимается как степень, в которой инструмент или процедура измеряет то, что они предназначены для измерения. Другими словами, метод измерения будет действителен до тех пор, пока он эффективно отражает психологическую переменную, на которую он направлен. Переменная эта оценивается по ее взаимосвязи с определенным критерием, например, результатами в других переменных или связанных задачах. В этом смысле можно рассматривать различные типы достоверности: прогнозирующая валидность, конвергентная валидность, конструктивная валидность и т.д.

Валидность — это суждение или оценка того, насколько хорошо тест измеряет (оценивает) то, что он предназначен для измерения в данном контексте. В частности, это вынесение основанного на фактах суждения о целесообразности различий, сделанных на основе результатов тестов.

Валидность гарантирует, что измеряется то, что предлагается, а не что-то иное. Тест считается валидным, если он соответствует нашим целям.

Валидация — это процесс, который позволяет все больше и больше уточнять, ограничивать и улучшать измерительный «инструмент». Таким образом, тест по теории измерений будет действительным, если он действительно дает возможность измерить, например, знания, которые студенты имеют по этому предмету, а не (возможно, непреднамеренно) что-либо иное.

Наконец, срок действия валидности относится к степени, в которой тест измеряет то, что он намеревается измерить. В этом смысле тест будет пригоден для измерения пространственного мышления, например, если он измеряет этот тип рассуждения, а не что-то еще.

Валидность  в психологии

Валидность

Валидация — это процесс сбора и оценки достоверности доказательств. И создатель теста, и пользователь теста могут сыграть роль в валидации теста для конкретной цели.

Один из способов, которым специалисты по измерениям традиционно концептуализируют валидность, состоит в трех категориях:

  • Валидность содержания. Валидность контента определяет, является ли тест репрезентативным для всех аспектов конструкции. Полностью ли тест отражает то, что он нацелен на измерение.
  • Валидность (текущая или прогностическая), связанная с критерием оценивает, насколько близко результаты теста соответствуют результатам другого теста одного и того же предмета.
  • Валидность конструкции — это гарантия того, что метод измерения соответствует конструкции, которую вы хотите измерить.

Валидность можно разделить на два основных типа:

  1. Внутренняя валидностьозначает степень уверенности в том, что тестируемая причинно-следственная связь заслуживает доверия и не зависит от других факторов или переменных.

Один из ключей к пониманию внутренней валидности — это признание того, что, когда она связана с экспериментальным исследованием, она относится как к тому, насколько хорошо было проведено исследование (план исследования, используемые рабочие определения, как измерялись переменные, что измерялось/не измерялось и т. д.), так и насколько уверенно можно сделать вывод, что изменение зависимой переменной было произведено исключительно независимой переменной, а не посторонними.

В своей классической книге по экспериментальным исследованиям Кэмпбелл и Стэнли (1966) идентифицируют и обсуждают 8 типов посторонних переменных, которые, если их не контролировать, могут поставить под угрозу внутреннюю валидность эксперимента.

  • История

Это уникальный опыт, полученный испытуемыми между различными измерениями, выполненными в эксперименте. Этот опыт действует как дополнительные и незапланированные независимые переменные. Исследования, в которых с течением времени проводятся повторяющиеся измерения субъектов, с большей вероятностью будут подвержены влиянию исторических переменных, чем те, которые собирают данные в более короткие периоды времени или не используют повторные измерения.

  • Созревание

Это естественные (а не навязанные экспериментатором) изменения, которые происходят в результате нормального течения времени. Например, чем больше времени проходит в исследовании, тем больше вероятность того, что испытуемые устают и скучают, более или менее мотивированы в зависимости от голода или жажды и т. д.

  • Тестирование

Во многих экспериментах проводится предварительное тестирование субъектов, чтобы установить, что все субъекты начинают исследование примерно на одном и том же уровне и т. д. Это может повлиять на результативность субъектов в более поздних.

  • Инструменты

Изменение методов измерения (или их применения) во время исследования влияет на то, что измеряется.

  • Статистическая регрессия

Это когда субъекты исследования выбираются в качестве участников из-за того, что они набрали чрезвычайно высокие или чрезвычайно низкие баллы по некоторому показателю эффективности. Повторное тестирование субъектов почти всегда приводит к другому распределению баллов. и среднее значение для этого нового распределения будет ближе к среднему значению.

  • Отбор

Субъекты в группах сравнения (например, контрольная и экспериментальная) должны быть функционально эквивалентны в начале исследования. Если группы сравнения отличаются друг от друга в начале исследования, результаты исследования являются необъективными.

  • Экспериментальная смертность

Испытуемые выбывают из исследований. Если одна группа сравнения испытывает более высокий уровень исключения/смертности субъектов, чем другие группы, то наблюдаемые различия между группами становятся сомнительными.

  • Взаимодействие при выборе

В некоторых исследованиях метод выбора взаимодействует с одной или несколькими другими угрозами (описанными выше), искажая результаты исследования.

  1. Внешняя валидность относится к степени, в которой результаты исследования могут быть применены (обобщены) к другим ситуациям, группам или событиям.

Достоверность исследования во многом определяется планом эксперимента. Чтобы убедиться в достоверности используемых вами инструментов или тестов, вы также должны учитывать достоверность измерений.

 

Степень, в которой результаты исследования (независимо от того, является ли исследование описательным или экспериментальным) могут быть обобщены/применены к другим людям или условиям, отражает его внешнюю валидность. Как правило, групповые исследования, использующие рандомизацию, изначально будут обладать более высокой внешней валидностью, чем исследования (например, тематические исследования и экспериментальные исследования с одним субъектом), в которых не используется случайный выбор/назначение. Кэмпбелл и Стэнли определили 4 фактора, которые отрицательно влияют на внешнюю валидность исследования:

  • Взаимодействие 

Взаимодействие между тем, как были выбраны субъекты и лечение может произойти. Если субъекты не выбираются случайным образом из популяции, то их конкретные демографические/организменные характеристики могут влиять на их работу, и результаты исследования могут быть неприменимы к популяции или к другой группе, которая более точно представляет характеристики популяции.

  • Предварительное тестирование

Это может вызвать более/менее сильную реакцию, например, на лечение, чем если бы они не прошли предварительное тестирование. Иными словами, чтобы обобщить результаты исследования, исследователь должен будет указать, что также должен проводиться определенный тип предварительного тестирования, поскольку предварительное тестирование может служить дополнительной непреднамеренной независимой переменной.

  • Эффективность субъектов

Эффективность субъектов в некоторых исследованиях больше является продуктом или реакцией на экспериментальные условия (например, ситуацию, в которой проводится исследование), чем на независимую переменную.

Исследования, в которых используется несколько методов вмешательств, могут иметь ограниченную обобщаемость, поскольку ранние методы исследования могут иметь кумулятивный эффект на показатели субъектов.

Существует разница между внутренней и внешней валидностью.

Внутренняя валидность является степень уверенности, что причинно-следственная связь тестируется не зависит от других факторов или переменных.

Внешняя валидность — это степень, в которой ваши результаты могут быть обобщены на другие контексты.

Виды валидности

 

  • Повышение внутренней и внешней валидности

В групповых исследованиях основными методами, используемыми для достижения внутренней и внешней валидности, являются рандомизация, использование плана исследования и статистического анализа, соответствующих типам собранных данных, а также вопросам, которые исследователь(и) пытается решить, найти ответ. Экспериментальные исследования с одним субъектом почти всегда имеют высокую внутреннюю валидность, поскольку субъекты служат в качестве их собственных контролей, но они чрезвычайно низки в отношении внешней валидности. Однопредметные исследования приобретают внешнюю валидность в процессе репликации и расширения, т. е. повторения исследования в различных условиях, с другим предметом и т.д.

Что такое валидность психологического эксперимента?

Несмотря на свою важность, концепция экспериментальной валидности с момента своего появления получила мало развития. По этой причине цель состоит в том, чтобы обеспечить критический анализ с помощью метода философского анализа по трем осям:

  • различие между альтернативными гипотезами и экспериментальными артефактами;
  • списки угроз экспериментальной валидности;
  • предполагаемое противоречие между внутренней и внешней валидностью.

Если разработка концепции экспериментальной валидности была недостаточной, то всему виной ограниченное рассмотрение как причинных допущений, так и неопределенности в экспериментальном контексте.

Надежность психологического эксперимента измеряет согласованность, проверяемость или повторяемость исследования. Если исследование может быть повторено и по-прежнему дает те же результаты (либо в другой группе участников, либо в течение другого периода времени), то оно считается надежным.

Со своей стороны, валидность в психологии (и не только), измеряет относительную точность или точность выводов, сделанных в результате исследования. Это относительная точность и правильность психологических исследований. Чтобы определить достоверность меры количественно, ее необходимо сравнить с критерием.

Выделяются различные типы валидности психологического эксперимента:

Валидность теста

Тест

Валидность теста — это показатель количества смысла, который можно приписать набору результатов теста. В психологических и образовательных тестах, где важность и точность тестов имеют первостепенное значение, очень важна валидность теста.

Валидность теста включает в себя ряд видов действия, в том числе критерия достоверности, обоснованности содержания и валидности. Если исследовательский проект имеет высокие баллы в этих областях, общая валидность теста высока.

  • Критерий валидности

Валидность критерия устанавливает, соответствует ли тест определенному набору навыков:

  • Параллельная достоверность измеряет тест против эталонного теста, а высокая корреляция указывает на то, что тест имеет сильную достоверность критерия.
  • Прогностическая достоверность является мерой того, насколько хорошо тест предсказывает навыки, такие как измерение того, дает ли, например, хороший средний балл в средней школе хорошие результаты в колледже или университете.
  • Валидность содержания

 

Валидность содержания определяет , как хорошо тест по сравнению с реальным миром. Например, тест на школьные способности должен отражать то, что на самом деле преподается в классе.

  • Валидность конструкции

Валидность конструкции является мерой того, насколько хорошо тест выполняет свои требования. Тест, предназначенный для измерения депрессии, должен измерять только этот конкретный конструкт, а не тесно связанные идеалы, такие как тревога или стресс.

Валидность

Валидность методики

Валидность вместе с надежностью, составляют фундаментальные свойства психометрических методов и, в более общем плане, процедур наблюдения и записи психологических переменных. В этом смысле это также применимо к экспериментальным процедурам, в которых проводится различие между внутренней и внешней валидностью.

Валидация метода относится к процессу экспериментирования и оценки для определения рабочих характеристик метода. Метод считается валидированным, когда «испытатель» подтвердил посредством объективных свидетельств и оценки этих экспериментов, что метод соответствует его предполагаемому использованию (соответствует цели).

Два из этих параметров — точность и аккуратность.

Результатом валидации является решение относительно средств управления, которые необходимо ввести, чтобы гарантировать, что метод остается действительным.

Существуют различные методологии, позволяющие определить валидность содержания теста или инструмента. Некоторые авторы заявляют, что в них входят результаты тестирования, мнение специалистов, когнитивные интервью и оценка экспертов. Других выполняют статистический анализ с различными «формулами.  Качественные данные получаются благодаря таким методам как:

  • Экспертная комиссия

Это методология, которая позволяет определить валидность инструмента с помощью группы экспертов для каждой из областей науки, которые должны быть рассмотрены в инструменте оценки, которые должны проанализировать, как минимум, согласованность пунктов с цели курсов, сложность заданий и оцениваемые когнитивные способности. Эта методология наиболее часто используется для проверки содержимого.

  • Когнитивное интервью

Это метод, требующий от участников мысли вслух при выполнении требуемой деятельности. Полученный рассказ записывается для последующей расшифровки и анализа.

Для лучшего результата в отношении валидности содержания предлагается использовать более одной методологии, чтобы дополнять их, тем самым повышая строгость процесса.

Валидность эксперимента

Способы установления валидности методики

Когда ва­лид­ность об­суж­да­ет­ся в кон­тек­сте определенных тестов, экс­пе­ри­мен­тов или ме­то­дик, может быть по­став­лен во­прос и о ва­лид­но­сти ме­то­да, те­сти­ро­ва­ния или иного опре­де­лен­ного ме­то­да в целом, особенно тогда инструментом ис­сле­до­ва­ния определяют ме­та-ана­ли­з.

Для установления валидности методики используют 3 основных способа:

Валидность

Валидность

Валидность

Методику можно считать прогностически валидной, если прогноз подтверждается с течением времени.

Все создатели своих методик должны неустанно обосновывать все виды валидности и собирать свидетельства в пользу валидности выбранных инструментов.

Часто валидность считают синонимом точности. Но нет, валидность — это не синоним точности. Таким образом, валидность результата эксперимента означает, что результату можно доверять, и люди могут принимать осмысленные решения, основываясь на качестве результатов. Это потому что тестирование проводилось с использованием проверенного метода (метод был проверен для достижения характеристик, необходимых для соответствия цели испытания, включая точность), и метод контролировался и оценивался посредством внутренних и внешних проверок (включая точность).

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
2 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Безухов Саша
Безухов Саша
2 лет назад

Это интересно 🧐

Dima
Dima
2 лет назад

👍👍👍👍

2
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x