Маркетологам часто приходится иметь дело не только с прямыми измерениями (например, покупал ли респондент тот ли иной продукт, видел ли ту или иную рекламу), но и с измерениями косвенными (как респондент оценивает вероятность покупки им изучаемого продукта, какие характеристики продукта или рекламы в большей степени привлекают его внимание). Анкетирование – один из наиболее распространенных методов получения такой информации.
Зарубежные ученые, например широко известный американский специалист в областях организационной психологии и управления Ренсис Лайкерт (RensisLikert) – автор распространенной шкалы, предлагают для изучения сложных явлений и процессов разбивать их на элементы, каждый из которых изучается в отдельности с применением некоторой измерительной шкалы.
Например, автор представленного шаблона для изучения эффекта от восприятия потребителями рекламных изображений предлагала респондентам оценить, насколько каждый образец рекламы: 1) невзрачен / эффектен; 2) банален / оригинален; 3) имеет негармоничное / гармоничное сочетание цветов; 4) имеет трудно / легко читаемый шрифт; 5) раздражает / успокаивает; 6) неромантичный / романтичный; 7) сексуальный / несексуальный; 8) отталкивает / манит к себе; 9) приводит в замешательство / легок для восприятия; 10) не вызывает / вызывает доверие; 11) трудно / легко запоминается; 12) вызывает / не вызывает желание купить рекламируемый продукт. Для оценки перечисленных параметров использована шестибалльная шкала семантического дифференциала.
Но для получения достоверных результатов анкета, которая в данном случае выступает как измерительный инструмент, должна быть обоснована с точки зрения ее качества. Параметрами качества измерительных инструментов являются:
Ниже будут описаны методы и процедуры с помощью которых можно оценить качество имеющегося измерительного инструмента или сформировать новую качественную анкету. «Идеальный» алгоритм проведения исследования, направленного на изучение мнений, отношений респондентов к чему-либо и предполагающего проведение косвенных измерений, представлен на рисунке 1.
При проведении «пилотного» исследования не будет лишним использование диктофона: респондентам предлагается не просто «молча заполнить анкету», а проговорить впечатления от вопросов, всплывающие ассоциации, причины выбора того или иного ответа, все «непонятности», встречающиеся в анкете и другие моменты, которые респонденту покажутся важными. Интервьюер при этом не вмешивается в рассуждения респондента, не отвечает на его вопросы и не поясняет «непонятности». Диктофонные записи могут быть полезны при корректировке измерительного инструмента.
1.3 Задача обеспеченияэмпирической валидности является одной из наиболее важных при разработке новой анкеты или адаптации апробированной за рубежом переводной анкеты к отечественным условиям и специфике восприятия респондентами. Для установления соответствия полученных результатов «золотым» стандартам – проводится «пилотное» исследование, в ходе которого респонденты оценивают одно и то же явление или процесс при помощи двух альтернативных анкет: авторской и уже апробированной. В результате исследователь имеет следующую таблицу:
При косвенном измерении чаще всего применяются ранговые шкалы (Лайкерта, семантический дифференциал), поэтому связь между результатами измерения по авторской и альтернативной анкетам оценивает коэффициент р
-Спирмена (коэффициент ранговой корреляции). Статистическая значимость коэффициента корреляции Спирмена по выборке из n элементов определяется посредством сравнения эмпирического и критического значений критерия Стьюдента. Критическое значение критерия Стьюдента 
t можно определить с помощью MS Excel: функция СТЬЮДРАСПОБР (
α,dt), где 
α – уровень значимости, 
dt– число степеней свободы (
df=n-2). Формула для определения эмпирического значения критерия Стьюдента 
t:
При t>t * коэффициент p-Спирмена признается статистически значимым.
При статистически значимом p>0,71 можно утверждать наличие как сильной связи между полученными результатами, что обосновывает возможность применения авторской анкеты для изучения данного предмета исследования.
В том случае, если исследователь располагает уже апробированной анкетой, он может не проводить оценку ее содержательной, внешней и эмпирической валидности, поскольку, вполне вероятно, она была проведена разработчиком. Это, несомненно, позволит снизить затраты на проведение исследования, однако следует помнить о возможных различиях опрашиваемых: моменты, понятные одной группе респондентов, могут оказаться непонятными респондентам другой группы.
1.4 Для оценки концептной (дискриминантной) валидности используется математический индикатор, механизм расчета которого следующий. Сначала респонденты распределяются по группам в зависимости от суммы баллов, набранных каждым респондентом по всем пунктам анкеты (суммарным откликам). В результате распределения формируются две группы с равным количеством человек в каждой:
- группа с низким суммарным откликом (группа L) – 25% респондентов;
- группа с высоким суммарным откликом (группа H) – 25% респондентов.
Оставшиеся респонденты (50%) со «средним» откликом не рассматриваются. Далее для каждого пункта анкеты определяются модифицированный t-критерий по формуле:
где,
– модифицированный критерий Стьюдента;
– среднее значение суммарного отклика респондентов, попавших, соответственно, в группу с высоким (Н) и низким (L) суммарным
откликом;
– соответственно, число респондентов группы с высоким (Н) и низким (L) суммарным откликом, выбравших соответствующую позицию
шкалы;
– позиция шкалы, выбранная, соответственно, респондентами из группы с высоким (Н) и низким (L) суммарным откликом;
n – число респондентов в группе (численность выборки).
Для определения модифицированного t-критерия рекомендуется воспользоваться таблицей, которая имеет следующий вид (для пятибалльной шкалы Лайкерта):
2 Обеспечение надежности анкеты
2.1 Оценка надежности-устойчивости результатов во времени также проводится на этапе «пилотного» исследования. Для этого один и тот же инструмент повторно тестируется по одной и той же выборке через определенный промежуток времени (метод «тест-ретест»). Приемлемым считается интервал между тестированиями от двух недель до двух месяцев.
Результаты двух тестов сравниваются путем сопоставления средних значений оценок анализируемого процесса или явления, а также определения коэффициента корреляции (чаще – ранговой корреляции p -Спирмена, аналогично определению эмпирической валидности в смысле соответствия анкеты «золотым стандартам»; статистическая значимость коэффициента определяется по формуле (1)):
Статистическая значимость различий в средних значениях при небольших выборках определяется на основе t-критерия Стьюдента:
где
– средние значения оценок, полученные при первичном и повторном анкетировании, соответственно;
– стандартное отклонение распределения разностей выборочных пропорций; для приближенных расчетов в случае, когда численность выборок одинакова (или примерно одинакова, что и рекомендуется при тестировании анкеты), можно воспользоваться формулой:
где
– стандартные отклонения оценок, полученных при первичном и повторном анкетировании (для определения можно воспользоваться
функцией MS Excel СТАНДОТКЛОН).
Критическое значение критерия Стьюдента
t* можно определить с помощью MS Excel: функция СТЬЮДРАСПОБР
(α,dt), где
α – уровень значимости,
dt– число степеней свободы
Для того, чтобы признать надежность-устойчивость тестируемого инструмента следует проверить одновременное выполнение условий: статистически значимое p>0,71 и статистически незначимые различия в средних значениях, полученных при первичном и повторном анкетировании (t<t*).
2.2 Как известно, анкеты состоят из большого числа отдельных составляющих – пунктов, вопросов, утверждений, каждое из которых направлено на косвенное выявление какой-то одной стороны, отдельного фрагмента общего целого, вследствие чего оно является частичным индикатором измеряемого шкалой фактора (свойства, явления, процесса). Считается, что согласованный инструмент должен состоять из внутренне непротиворечивых пунктов, которые определяют нечто единое. Для оценки надежности-согласованности анкеты применяются несколько методов.
2.2.1 Метод раздельного коррелирования – все пункты инструмента случайным образом (например, с помощью функции-генератора случайных чисел MSExcel) разбиваются на две половины, коэффициент корреляции (как правило, p-Спирмена) рассчитывается по соответствующим двум наборам данных – суммарным результатам по каждому пункту:
Статистическая значимость коэффициента корреляции Спирмена определяется аналогично случаю с установлением эмпирической валидности анкеты, но в данном случае в соответствующую формулу подставляется не число респондентов n,а m/2, где m - число пунктов анкеты. Тогда число степеней свободы для определения критического значения t-критерия Стьюдента определится по формуле df=m/2-2. Формула для определения эмпирического значения критерия Стьюдента t примет вид:
При t>t* коэффициент p-Спирмена признается статистически значимым.
При статистически значимом p>0,71 можно говорить о достаточной согласованности пунктов тестируемой анкеты.
2.2.1 Для корректировки полученного значения используется формула Спирмена-Брауна:
где
– скорректированный показатель надежности-согласованности по методу раздельного коррелирования;
p - коэффициент корреляции Спирмена между двумя наборами пунктов инструмента.
2.2.1 Другой метод корректировки значения коэффициента корреляции между двумя группами пунктов анкеты (полученного в ходе выполнения этапа 2.2.1) – обобщенная формула Спирмена-Брауна, в которой используется усредненный коэффициент корреляции:
где
– усредненный скорректированный показатель надежности-согласованности по методу раздельного коррелирования;
m – количество пунктов в шкале (вопросов, утверждений и тому подобное);
p – усредненный коэффициент корреляции между всеми пунктами инструмента.
2.2.1 Для порядковых шкал с большим количеством позиций (например, шкалы Лайкерта) надежность-согласованность всего инструмента рекомендуется оценивать также при помощи коэффициента альфа Кронбаха α:
где
– дисперсия откликов (оценок респондентов) по каждому пункту анкеты;
– дисперсия суммарной шкалы (дисперсия суммы откликов каждого респондента на пункты анкеты).
Для определения дисперсии может быть использована программа MS Excel ДИСП. В приведенной ниже таблице показаны, по каким диапазонам необходимо рассчитывать дисперсии для определения коэффициента альфа Кронбаха:
Следует помнить, что надежность-согласованность инструмента, определяемая по формуле Кронбаха, зависит от количества и качества пунктов, входящих в этот инструмент. При исключении любого пункта из анкеты коэффициент альфа Кронбаха будет изменяться (уменьшаться или увеличиваться). При исключении пунктов, которые не противоречат другим пунктам анкеты, коэффициент альфа Кронбаха уменьшается. И, напротив, при исключении пунктов, которые не согласуются с другими пунктами анкеты, значение коэффициента альфа Кронбаха будет увеличиваться.
Поэтому при α<0,71 рекомендуется рассчитать этот показатель также при попеременном исключении пунктов из анкеты:
Если исключение одного из пунктов анкеты приводит к повышению значения коэффициента альфа Кронбаха до требуемого уровня, значит именно данный пункт не согласуется с остальными и требует исключения из измерительного инструмента.
2.2.1 Обобщение результатов оценки надежности-согласованности инструмента:
Если проводится исключение несогласованных пунктов из анкеты, то этапы 2.2.1–2.2.5 проводятся после каждой операции исключения пункта.
