Загрузка...

Оглавление

Шаблон для формирования измерительного инструмента (анкеты)

Введение к шаблону

Маркетологам часто приходится иметь дело не только с прямыми измерениями (например, покупал ли респондент тот ли иной продукт, видел ли ту или иную рекламу), но и с измерениями косвенными (как респондент оценивает вероятность покупки им изучаемого продукта, какие характеристики продукта или рекламы в большей степени привлекают его внимание). Анкетирование – один из наиболее распространенных методов получения такой информации.

Зарубежные ученые, например широко известный американский специалист в областях организационной психологии и управления Ренсис Лайкерт (RensisLikert) – автор распространенной шкалы, предлагают для изучения сложных явлений и процессов разбивать их на элементы, каждый из которых изучается в отдельности с применением некоторой измерительной шкалы.

Например, автор представленного шаблона для изучения эффекта от восприятия потребителями рекламных изображений предлагала респондентам оценить, насколько каждый образец рекламы: 1) невзрачен / эффектен; 2) банален / оригинален; 3) имеет негармоничное / гармоничное сочетание цветов; 4) имеет трудно / легко читаемый шрифт; 5) раздражает / успокаивает; 6) неромантичный / романтичный; 7) сексуальный / несексуальный; 8) отталкивает / манит к себе; 9) приводит в замешательство / легок для восприятия; 10) не вызывает / вызывает доверие; 11) трудно / легко запоминается; 12) вызывает / не вызывает желание купить рекламируемый продукт. Для оценки перечисленных параметров использована шестибалльная шкала семантического дифференциала.

Но для получения достоверных результатов анкета, которая в данном случае выступает как измерительный инструмент, должна быть обоснована с точки зрения ее качества. Параметрами качества измерительных инструментов являются:

  • обоснованность (валидность) – эквивалентность измерений характеристикам измеряемого объекта. Другими словами, это мера соответствия оценок, получаемых в процессе измерения, представлениям о сущности свойств исследуемых объектов и их роли в исследуемых процессах:

−            содержательная валидность показывает, насколько пункты или вопросы анкеты соответствуют сути (содержанию) изучаемого явления или процесса;

−            внешняя валидность характеризует, как пункты анкеты (вопросы, утверждения – выделенные исследователем составляющие изучаемого явления или процесса) воспринимаются и понимаются респондентами;

−            эмпирическая валидность рассматривает качество измерительного инструмента с позиций возможности предсказывать те или иные результаты на основе измерений, полученных этим инструментом, а также соответствия полученных результатов неким «золотым стандартам», то есть уже проверенным и испытанным инструментам, используемым параллельно с разрабатываемой тестируемой анкетой;

−            концептная (дискриминантная) валидность – оценивается по способности каждого пункта измерительного инструмента (вопроса или утверждения используемой анкеты или теста) отражать изменчивость измеряемых характеристик. Такая проверка проводится для выделения и исключения пунктов анкеты (например, вопросов), не обеспечивающих достаточную степень «уверенного» разделения откликов;

  • надежность – отражает устойчивость во времени и согласованность получаемых результатов измерения:

−            надежность-устойчивость характеризует стабильность результатов во времени;

−            надежность-согласованность характеризует согласованность (гомогенность) пунктов инструмента.

Ниже будут описаны методы и процедуры с помощью которых можно оценить качество имеющегося измерительного инструмента или сформировать новую качественную анкету. «Идеальный» алгоритм проведения исследования, направленного на изучение мнений, отношений респондентов к чему-либо и предполагающего проведение косвенных измерений, представлен на рисунке 1.

1 Обеспечение обоснованности (валидности) анкеты

1.1 Для обеспечения содержательной валидности проводится экспертный опрос, фокус-группа, структурированное или полуструктурированное интервью с экспертами, то есть специалистами в области предмета исследования, чтобы выявить наиболее важные характеристики изучаемого процесса или явления.

1.2 Внешняя валидность оценивается в ходе проведения «пилотного» исследования – опроса 10–15 представителей генеральной совокупности, при отборе которых не обязательно пользоваться критериями случайного отбора. На данном этапе цель исследователя состоит в тестировании измерительного инструмента, а не получении искомых результатов, которые могли бы быть обобщены на генеральную совокупность. Поэтому респонденты «пилотного» исследования могут быть отобраны по критерию «доступности», методом «снежного кома» или другими методами, не претендующими обеспечение репрезентативности выборки.

При проведении «пилотного» исследования не будет лишним использование диктофона: респондентам предлагается не просто «молча заполнить анкету», а проговорить впечатления от вопросов, всплывающие ассоциации, причины выбора того или иного ответа, все «непонятности», встречающиеся в анкете и другие моменты, которые респонденту покажутся важными. Интервьюер при этом не вмешивается в рассуждения респондента, не отвечает на его вопросы и не поясняет «непонятности». Диктофонные записи могут быть полезны при корректировке измерительного инструмента.

Шаблон для формирования измерительного инструмента (анкеты)

Рисунок 1 – Этапы оценки качества измерительного инструмента (анкеты)

Оценка и аргументация содержательной и внешней валидности измерительных инструментов носит преимущественно описательный характер.

1.3 Задача обеспеченияэмпирической валидности является одной из наиболее важных при разработке новой анкеты или адаптации апробированной за рубежом переводной анкеты к отечественным условиям и специфике восприятия респондентами. Для установления соответствия полученных результатов «золотым» стандартам – проводится «пилотное» исследование, в ходе которого респонденты оценивают одно и то же явление или процесс при помощи двух альтернативных анкет: авторской и уже апробированной. В результате исследователь имеет следующую таблицу:

Шаблон для формирования измерительного инструмента (анкеты)

При косвенном измерении чаще всего применяются ранговые шкалы (Лайкерта, семантический дифференциал), поэтому связь между результатами измерения по авторской и альтернативной анкетам оценивает коэффициент р-Спирмена (коэффициент ранговой корреляции). Статистическая значимость коэффициента корреляции Спирмена по выборке из n элементов определяется посредством сравнения эмпирического и критического значений критерия Стьюдента. Критическое значение критерия Стьюдента можно определить с помощью MS Excel: функция СТЬЮДРАСПОБР (α,dt), где  α – уровень значимости,  dt– число степеней свободы (df=n-2). Формула для определения эмпирического значения критерия Стьюдента t:

Шаблон для формирования измерительного инструмента (анкеты)

При  t>t * коэффициент p-Спирмена признается статистически значимым.

При статистически значимом p>0,71 можно утверждать наличие как сильной связи между полученными результатами, что обосновывает возможность применения авторской анкеты для изучения данного предмета исследования.

В том случае, если исследователь располагает уже апробированной анкетой, он может не проводить оценку ее содержательной, внешней и эмпирической валидности, поскольку, вполне вероятно, она была проведена разработчиком. Это, несомненно, позволит снизить затраты на проведение исследования, однако следует помнить о возможных различиях опрашиваемых: моменты, понятные одной группе респондентов, могут оказаться непонятными респондентам другой группы.

1.4 Для оценки концептной (дискриминантной) валидности используется математический индикатор, механизм расчета которого следующий. Сначала респонденты распределяются по группам в зависимости от суммы баллов, набранных каждым респондентом по всем пунктам анкеты (суммарным откликам). В результате распределения формируются две группы с равным количеством человек в каждой:

  • группа с низким суммарным откликом (группа L) – 25% респондентов;
  • группа с высоким суммарным откликом (группа H) – 25% респондентов.

Оставшиеся респонденты (50%) со «средним» откликом не рассматриваются. Далее для каждого пункта анкеты определяются модифицированный t-критерий по формуле:

Шаблон для формирования измерительного инструмента (анкеты)

где, 

Шаблон для формирования измерительного инструмента (анкеты)

– модифицированный критерий Стьюдента;

  

Шаблон для формирования измерительного инструмента (анкеты)  – среднее значение суммарного отклика респондентов, попавших, соответственно, в группу с высоким (Н) и низким (L) суммарным

    откликом;

Шаблон для формирования измерительного инструмента (анкеты)

 – соответственно, число респондентов группы с высоким (Н) и низким (L) суммарным откликом, выбравших соответствующую позицию  

    шкалы;

Шаблон для формирования измерительного инструмента (анкеты)

– позиция шкалы, выбранная, соответственно, респондентами из группы с высоким (Н) и низким (L) суммарным откликом;

 

– число респондентов в группе (численность выборки).

Для определения модифицированного t-критерия рекомендуется воспользоваться таблицей, которая имеет следующий вид (для пятибалльной шкалы Лайкерта):

Шаблон для формирования измерительного инструмента (анкеты)

2 Обеспечение надежности анкеты

2.1 Оценка надежности-устойчивости результатов во времени также проводится на этапе «пилотного» исследования. Для этого один и тот же инструмент повторно тестируется по одной и той же выборке через определенный промежуток времени (метод «тест-ретест»). Приемлемым считается интервал между тестированиями от двух недель до двух месяцев.

Результаты двух тестов сравниваются путем сопоставления средних значений оценок анализируемого процесса или явления, а также определения коэффициента корреляции (чаще – ранговой корреляции p -Спирмена, аналогично определению эмпирической валидности в смысле соответствия анкеты «золотым стандартам»; статистическая значимость коэффициента определяется по формуле (1)):

Шаблон для формирования измерительного инструмента (анкеты)

Статистическая значимость различий в средних значениях при небольших выборках определяется на основе t-критерия Стьюдента:

Шаблон для формирования измерительного инструмента (анкеты) где

Шаблон для формирования измерительного инструмента (анкеты) – средние значения оценок, полученные при первичном и повторном анкетировании, соответственно;

 

Шаблон для формирования измерительного инструмента (анкеты)

– стандартное отклонение распределения разностей выборочных пропорций; для приближенных расчетов в случае, когда численность выборок одинакова (или примерно одинакова, что и рекомендуется при тестировании анкеты), можно воспользоваться формулой:

Шаблон для формирования измерительного инструмента (анкеты)

где

Шаблон для формирования измерительного инструмента (анкеты)

– стандартные отклонения оценок, полученных при первичном и повторном анкетировании (для определения можно воспользоваться

   функцией MS Excel СТАНДОТКЛОН).

Критическое значение критерия Стьюдента t* можно определить с помощью MS Excel: функция СТЬЮДРАСПОБР (α,dt), где α – уровень значимости, dt– число степеней свободы
Шаблон для формирования измерительного инструмента (анкеты)

Для того, чтобы признать надежность-устойчивость тестируемого инструмента следует проверить одновременное выполнение условий: статистически значимое p>0,71 и статистически незначимые различия в средних значениях, полученных при первичном и повторном анкетировании (t<t*).

2.2 Как известно, анкеты состоят из большого числа отдельных составляющих – пунктов, вопросов, утверждений, каждое из которых направлено на косвенное выявление какой-то одной стороны, отдельного фрагмента общего целого, вследствие чего оно является частичным индикатором измеряемого шкалой фактора (свойства, явления, процесса). Считается, что согласованный инструмент должен состоять из внутренне непротиворечивых пунктов, которые определяют нечто единое. Для оценки надежности-согласованности анкеты применяются несколько методов.

2.2.1  Метод раздельного коррелирования – все пункты инструмента случайным образом (например, с помощью функции-генератора случайных чисел MSExcel) разбиваются на две половины, коэффициент корреляции (как правило, p-Спирмена) рассчитывается по соответствующим двум наборам данных – суммарным результатам по каждому пункту:

Шаблон для формирования измерительного инструмента (анкеты)

Статистическая значимость коэффициента корреляции Спирмена определяется аналогично случаю с установлением эмпирической валидности анкеты, но в данном случае в соответствующую формулу подставляется не число респондентов nm/2, где m - число пунктов анкеты. Тогда число степеней свободы для определения критического значения t-критерия Стьюдента определится по формуле df=m/2-2. Формула для определения эмпирического значения критерия Стьюдента t примет вид:

Шаблон для формирования измерительного инструмента (анкеты) При t>t* коэффициент p-Спирмена признается статистически значимым.

При статистически значимом p>0,71 можно говорить о достаточной согласованности пунктов тестируемой анкеты.

2.2.1 Для корректировки полученного значения используется формула Спирмена-Брауна:

Шаблон для формирования измерительного инструмента (анкеты) где

Шаблон для формирования измерительного инструмента (анкеты)

– скорректированный показатель надежности-согласованности по методу раздельного коррелирования;

 

p - коэффициент корреляции Спирмена между двумя наборами пунктов инструмента.

2.2.1        Другой метод корректировки значения коэффициента корреляции между двумя группами пунктов анкеты (полученного в ходе выполнения этапа 2.2.1) – обобщенная формула Спирмена-Брауна, в которой используется усредненный коэффициент корреляции:

Шаблон для формирования измерительного инструмента (анкеты) где 

Шаблон для формирования измерительного инструмента (анкеты)

– усредненный скорректированный показатель надежности-согласованности по методу раздельного коррелирования;

 

m – количество пунктов в шкале (вопросов, утверждений и тому подобное);

 

p – усредненный коэффициент корреляции между всеми пунктами инструмента.

2.2.1        Для порядковых шкал с большим количеством позиций (например, шкалы Лайкерта) надежность-согласованность всего инструмента рекомендуется оценивать также при помощи коэффициента альфа Кронбаха α:

Шаблон для формирования измерительного инструмента (анкеты) где

Шаблон для формирования измерительного инструмента (анкеты)

 – дисперсия откликов (оценок респондентов) по каждому пункту анкеты;

 

Шаблон для формирования измерительного инструмента (анкеты)

 – дисперсия суммарной шкалы (дисперсия суммы откликов каждого респондента на пункты анкеты).

 

Для определения дисперсии может быть использована программа MS Excel ДИСП. В приведенной ниже таблице показаны, по каким диапазонам необходимо рассчитывать дисперсии для определения коэффициента альфа Кронбаха:

Шаблон для формирования измерительного инструмента (анкеты)

Следует помнить, что надежность-согласованность инструмента, определяемая по формуле Кронбаха, зависит от количества и качества пунктов, входящих в этот инструмент. При исключении любого пункта из анкеты коэффициент альфа Кронбаха будет изменяться (уменьшаться или увеличиваться). При исключении пунктов, которые не противоречат другим пунктам анкеты, коэффициент альфа Кронбаха уменьшается. И, напротив, при исключении пунктов, которые не согласуются с другими пунктами анкеты, значение коэффициента альфа Кронбаха будет увеличиваться. 

Поэтому при α<0,71 рекомендуется рассчитать этот показатель также при попеременном исключении пунктов из анкеты:

Шаблон для формирования измерительного инструмента (анкеты)

Если исключение одного из пунктов анкеты приводит к повышению значения коэффициента альфа Кронбаха до требуемого уровня, значит именно данный пункт не согласуется с остальными и требует исключения из измерительного инструмента.

2.2.1 Обобщение результатов оценки надежности-согласованности инструмента:

Шаблон для формирования измерительного инструмента (анкеты)

Если проводится исключение несогласованных пунктов из анкеты, то этапы 2.2.1–2.2.5 проводятся после каждой операции исключения пункта.

Загрузка...
Наверх Версия для печати Сообщить об ошибке