Как проверить анкету перед запуском: претест
Перед запуском дайте анкету заполнить людям из вашей целевой аудитории. Даже если команда вычитала каждый вопрос, пробное заполнение покажет, как его понимают участники, хватает ли им вариантов ответа и попадают ли они в нужную ветку. Такая проверка называется претестом.1
Как провести претест и сколько человек пригласить, зависит от задачи. Ниже разберём, как организовать каждый проход, подобрать участников и решить, что исправить перед запуском.
Если анкеты ещё нет. В QUESTIONSTAR можно создать онлайн-опрос, провести его и посмотреть результаты. Если нужны правильные ответы и баллы, начните с онлайн-теста. Претест, о котором дальше пойдёт речь, проверяет, как работает сама анкета или тест до запуска.
Начать работу в QUESTIONSTAR · Как создать онлайн-опрос
В статье
- Зачем проверять анкету и какие методы выбрать
- Как провести когнитивное интервью и проверить анкету технически
- Кого и сколько пригласить и что наблюдать
- Как записать замечания и решить, что менять
- Как провести опрос в QUESTIONSTAR и посмотреть результаты
- Чек-лист перед запуском и частые вопросы
Зачем проверять даже тщательно составленную анкету?
На бумаге кораблик выглядит вполне пригодным для плавания. Проверить это можно, только опустив его в воду. По одним правилам составления анкет трудно предсказать, как люди поймут вопрос в конкретном опросе. Это выясняется при пробном заполнении.2
Один вопрос, несколько прочтений
Вопрос «У вас есть автомобиль?» выглядит простым. В примере Уиллиса возникают как минимум три уточнения: считать ли пикап или внедорожник, отвечать за себя или за домохозяйство и учитывать ли автомобиль в лизинге? При самостоятельном заполнении анкеты рядом обычно нет человека, которому можно задать эти вопросы.3
Та же проблема возникает в опросе клиентов. На вопрос «Сколько раз за последние 30 дней вы обращались в поддержку?» один участник посчитает чат и звонок по одной проблеме как два обращения, другой — как одно. Если вам нужно число разных проблем, так и спросите: «По скольким разным проблемам вы обращались в поддержку за последние 30 дней? Если по одной проблеме вы обращались несколько раз, посчитайте её один раз». При повторной проверке попросите другого участника объяснить, как он посчитает чат и звонок по одной проблеме.
В исследовании Белсона только 3 из 52 участников поняли вопрос о времени просмотра телевизора в будний день так, как задумали исследователи. Двенадцать включили в ответ все семь дней недели. В среднем по проверенным вопросам смысл передали верно 29% участников.4 В другом претесте почти готовой профессиональной анкеты обнаружили 279 проблем в 1741 эпизоде ответа на вопрос, около 16%.5 Это результаты конкретных проверок.
Одного вопроса «Всё понятно?» мало
Участник может дать осмысленный ответ при собственной трактовке формулировки. В эксперименте с намеренно внесёнными дефектами примерно треть участников заметила отсутствующие варианты ответа. Односторонние или двусмысленные формулировки распознали лишь 3–5%.6 Поэтому лучше заранее решить, что вы будете наблюдать и какие уточнения зададите.
| Что проверить | Вопрос для проверки | Источник по оригиналу |
|---|---|---|
| Понимание | Участники одинаково понимают формулировку? | Jacob et al., 2019, с. 212 |
| Варианты ответа | Есть ли пропуски или пересечения между категориями? | Jacob et al., 2019, с. 212; Möhring и Schlütz, 2019, с. 184 |
| Чувствительные темы | Как участники реагируют на неудобные вопросы? | Jacob et al., 2019, с. 212 |
| Порядок | Влияет ли предыдущий вопрос на следующий ответ? | Schnell, 2019, с. 123 |
| Переходы | Видит ли каждый участник нужные вопросы? | Schnell, 2019, с. 123; Möhring и Schlütz, 2019, с. 182 |
| Время | Сколько занимает самостоятельное заполнение? | Jacob et al., 2019, с. 212 |
| Техника | Работает ли анкета на разных устройствах и в разных браузерах? | Möhring и Schlütz, 2019, с. 184 |
| Анализ | Хватает ли данных для запланированных таблиц? | Malhotra и Birks, 2007, с. 392 |
Какие методы претеста есть?
Якоб и соавторы предлагают сочетать несколько методов. Шнелль рекомендует как минимум два прохода: ранний для доработки черновика и заключительный для проверки исправлений. Новые вопросы, добавленные после заключительной проверки, сами претест не прошли.7
Экспертная вычитка, индивидуальные беседы и тест в рабочих условиях выявляют разные проблемы. Мёринг и Шлютц рекомендуют сочетать методы и включать как минимум вычитку и рабочий проход.8 Для онлайн-анкеты добавьте технический проход.
Схема 1. От вычитки до полевого теста
| Этап | Кто и что делает | Что можно обнаружить |
|---|---|---|
| Вычитка | Автор и один-два человека с опытом опросов проверяют анкету по списку | Неясные слова, пропущенные ответы, скрытые предположения |
| Технический тест | Автор проходит все маршруты, проверяет устройства, второй браузер и выгрузку | Ошибки ветвления, отображения и состава данных |
| Когнитивные интервью | Ориентир из оригинала — 5–10 человек из целевой группы. Участники проговаривают мысли, отвечают на уточнения, пересказывают вопросы | Разные трактовки и способы выбора ответа |
| Полевой тест | В оригинале указаны 10–50 человек, для небольших проектов предложен рабочий диапазон 10–30. Участники заполняют анкету онлайн, затем дают обратную связь | Длительность, прерывания и проблемы, заметные только при последовательном заполнении |
После каждого этапа внесите необходимые изменения. После правок повторите технический проход. После заключительного претеста отложите новые вопросы до следующей проверки. Источники схемы.9
Экспертная вычитка и обсуждение анкеты
Соберите небольшую группу и разберите черновик вопрос за вопросом. Если привлекаете экспертов, дайте анкету людям, которые сами проектировали опросы. Шнелль описывает обсуждение длительностью два-три часа с коллегами, которые не участвовали в проекте.10
В системе оценки вопросов Уиллиса проверяют термины, период, скрытые предположения, нагрузку на память и вычисления, полноту и взаимное исключение вариантов. Система Фаульбаума и коллег включает проверку баланса шкалы и того, одинаковыми ли выглядят шаги между её категориями.11 См. также руководство по формулировкам.
ИИ-ассистенту можно дать такой список и попросить отметить вопросы с двумя темами, наводящими формулировками, пересечениями ответов и несбалансированными шкалами. При подключении QUESTIONSTAR через MCP ассистент получает список проверки. Попросите его объяснить каждое замечание. Решение о правке принимает автор анкеты. Для российских аккаунтов есть отдельная инструкция по подключению через MCP.
Вычитка помогает увидеть дефекты отдельных вопросов. Для проверки влияния порядка и переходов нужно пройти анкету в её рабочей последовательности.12
Когнитивное интервью
Для разговора достаточно спокойного места или видеозвонка с демонстрацией экрана. Участник отвечает, а исследователь выясняет, какой смысл тот увидел в вопросе и как пришёл к ответу.13
Стандартный претест и обсуждение после заполнения
Попросите участников заполнить анкету самостоятельно в условиях будущего опроса и замерьте длительность. Сразу после заполнения пройдитесь по вопросам по порядку и выясните, где человек затруднился. Так вы получите и время без вмешательства интервьюера, и комментарии. Обсуждение можно провести письменно.14
Для этого подойдёт опрос «Претест — проверка понятности вашей анкеты». Он помогает собрать замечания о формулировках, вариантах ответа и технических проблемах. Это готовый пример формы для письменного разбора. Участникам отправьте рабочую ссылку на форму вашего проекта после того, как они заполнят исходную анкету.
Малхотра и Биркс рекомендуют первый проход провести в личном интервью: тогда видно, где человек остановился или замешкался. Следующий проход проведите в запланированном режиме, например онлайн без наблюдателя.15
Как задавать вопросы в когнитивном интервью?
Представьте, что вы объясняете дорогу до вокзала. Собеседник кивнул, но только при пересказе выяснилось, что у аптеки он собирается повернуть в другую сторону. В анкете уверенный ответ такой же ненадёжный признак понимания. Два человека могут выбрать «скорее доволен», имея в виду разные стороны услуги.
Возьмём условный пример из оригинала. Вуз проверяет утверждение «Занятие было хорошо организовано» со шкалой «совсем не доволен», «скорее не доволен», «ни доволен, ни недоволен», «скорее доволен», «полностью доволен».
- Мысли вслух. Участник говорит во время ответа или сразу после него, о чём думал. Например, помещение было тесным, материалы присылали вовремя, поэтому он выбрал середину шкалы. Метод позволяет услышать неожиданные замечания, но требует времени, а участники могут больше объяснять задним числом, чем передавать ход мысли. Шнелль рекомендует начать с упражнения, например попросить вспомнить число окон в доме, где человек вырос.16
- Уточняющие вопросы, или пробинг. Спросите после ответа, что именно человек подразумевал под «организацией». При вопросе о лечении за последние полгода уточните, включал ли участник самолечение. Чем конкретнее уточнение, тем яснее, где возникло расхождение. Учитывайте, что вопрос интервьюера может подсказать трактовку, а тема без уточнения может остаться незамеченной.17
- Пересказ своими словами. Один студент объяснит «организацию» через помещение и доступность материалов, другой — через последовательность лекций. Их пересказы показывают, что исходное утверждение для них означает разное.
- Оценка уверенности. После ответа участник указывает, насколько в нём уверен. Метод уместен для вопросов о знаниях или прошлом поведении. Например, студент сомневается, сколько занятий пропустил. Чтобы понять причину, спросите, в чём именно он не уверен.18
В учебном примере проблема ещё и в связи вопроса со шкалой. Утверждение лучше оценивать по степени согласия, а разные аспекты курса вынести отдельно: «Материалы были доступны вовремя», «Было понятно, как занятия связаны между собой». Варианты для обоих утверждений: «совершенно не согласен», «скорее не согласен», «и согласен, и не согласен», «скорее согласен», «полностью согласен».
Выберите вопросы для углублённого разбора и подготовьте уточнения заранее. Например: «О чём вы думали, когда отвечали?» или «Что здесь для вас означает “домохозяйство”?» Оставьте метод «мысли вслух» для отдельных сложных вопросов. Объясните участникам, что их замечания нужны для доработки анкеты, и задавайте уточнения нейтрально. Примеры таких интервью опубликованы в базе претестов GESIS. Время заполнения замеряйте в отдельном проходе без уточнений.19
Как технически проверить онлайн-анкету?
До приглашения первых участников проведите четыре проверки.
- Пройдите каждый маршрут. Нарисуйте ветвление и пройдите обычные и редкие сценарии. На вопрос о доставке должны попадать только те, кто делал заказ. См. справку по логике показа.
- Откройте анкету на реальных устройствах. Используйте смартфон, планшет или ноутбук и второй браузер. Проверьте ширину матриц, длинные списки и ползунки. Отдельно посмотрите, как отображение меняется при другой ширине экрана.20
- Испытайте обязательные поля и проверки ввода. Попробуйте уйти со страницы без ответа, ввести буквы в числовое поле и отметить все пункты в вопросе с множественным выбором. Если ввод отклонён, сообщение должно объяснять, как его исправить.
- Сопоставьте пробную выгрузку с планом анализа. Заполните анкету вымышленными ответами, выгрузите их и сравните с пустыми таблицами для будущего отчёта. Если поле нигде не используется, проверьте, зачем оно нужно. Если нужную таблицу нечем заполнить, найдите недостающий вопрос или переменную.21
Схема 2. Два прохода по веткам
- Вопрос 3. Заказывали ли вы что-либо онлайн за последние 12 месяцев?
- Проход 1, «Да». Показаны вопросы 4 и 5 об удовлетворённости сроком доставки и упаковкой. Вопрос 6 пропускается.
- Проход 2, «Нет». Показан вопрос 6 о причинах отсутствия заказов. Вопросы 4 и 5 пропускаются.
- Общий выход: вопрос 7 со сведениями об участнике.
В выгрузке проверьте, можно ли отличить вопрос, который не показывали, от вопроса, который показали, но оставили без ответа. Сценарий условный. После технической проверки дайте анкету участникам: они могут остановиться там, где автору всё понятно.
Сколько участников нужно?
Единого стандарта числа участников нет.22 Число зависит от задачи. Для проверки трактовок вопросов нужны подробные беседы. Для оценки времени или предварительного просмотра распределений нужен другой масштаб. В таблице собраны ориентиры из разных руководств. Строки про стандартный претест и полевую проверку понятности описывают близкие процедуры, поэтому диапазоны пересекаются.
| Задача | Ориентир | Источник по оригиналу |
|---|---|---|
| Когнитивные интервью об отдельных вопросах | 5–10 | Jacob et al., 2019, с. 214; Möhring и Schlütz, 2019, с. 185 |
| Групповая проверка письменной или онлайн-анкеты с замечаниями и обсуждением | 10–15 | Jacob et al., 2019, с. 218 |
| Первый претест, названный у авторов pilot test | 15–30, в зависимости от неоднородности аудитории | Malhotra и Birks, 2007, с. 392 |
| Стандартный претест в рабочих условиях | 10–50, в зависимости от размера основной выборки | Möhring и Schlütz, 2019, с. 184 |
| Полевая проверка понимания и длительности | 30–50 | Jacob et al., 2019, с. 216 |
| Полевой тест с предварительным просмотром частот | От 100, для опросов населения 150–200 | Jacob et al., 2019, с. 216 |
| Претест новой анкеты в целом | Ориентировочно не менее 20–30 | Schumann, 2019, с. 76, прим. 129 |
Для дипломной работы и небольшого опроса сотрудников в первую очередь полезны ориентиры для когнитивного и стандартного претеста. Числа от 100 относятся к отдельной задаче: посмотреть, как распределяются ответы уже на пробном этапе. Пауль Маркс предлагает для первых бесед в небольшом проекте минимум три человека, предпочтительно 5–10. Его рабочий пример для дипломной работы или клиентского опроса среднего масштаба — 5–10 интервью и затем отдельный онлайн-проход с 10–30 людьми. Это рекомендации автора для таких ситуаций.
Кого пригласить?
Ищите участников в той же аудитории, в которой будете проводить основной опрос. Если он рассчитан на новых и давних клиентов, включите обе группы. Шнелль рекомендует случайный отбор из целевой совокупности после самого раннего этапа разработки. Якоб и соавторы допускают квоты при качественной полевой проверке: можно заранее решить, сколько людей взять из разных возрастных групп или подразделений. Студенты или сотрудники одной организации подходят, если именно они и составляют аудиторию исследования.23
Коллеги, друзья или родственники пригодятся для первого пробного просмотра, когда все знают, что это проверка. После него дайте анкету представителям целевой группы. После существенной правки проведите новый тест с другими людьми.24
На что смотреть во время проверки?
Общая просьба записывать все затруднения редко даёт сопоставимые записи. Заранее определите наблюдаемые признаки.25
- Понимание. Записывайте уточнения, заметные паузы, просьбы повторить вопрос и ответы, которые с ним плохо согласуются. При пересказе можно услышать другое прочтение даже при уверенном ответе.26
- Длительность. Засекайте время от начала до последней страницы только в проходах без обсуждения. Шнелль предлагает ограничить проход с уточнениями примерно двойной длительностью будущего опроса.27
- Обрывы и пропуски. Если человек прервал заполнение или пропустил вопрос, по возможности выясните причину. Проверьте незавершённые анкеты и отличайте пропуск от случая, когда вопрос не был показан из-за ветвления. Отмечайте также раздражение и скуку.28
- Распределения. При достаточном числе пробных ответов посмотрите, есть ли пустые категории, перекосы и частые ответы «не знаю». Эти частоты помогают искать проблемы с вопросами. Переносить доли на всю аудиторию можно лишь при подходящем плане отбора. Причиной может быть как формулировка, так и реальная ситуация в группе. Вариант «не могу оценить» нужен там, где у части людей действительно может не быть опыта или знаний.28
- Устройство. Запишите, с чего отвечал каждый участник, и попросите нескольких человек пройти анкету со смартфона.
Как записать результаты и решить, что менять?
Сделайте журнал с одной строкой на проблему. В исследовательском отчёте укажите размер и состав пробной группы и опишите саму проверку.29
| Вопрос | Что произошло | Сколько случаев | Правка | Основание |
|---|---|---|---|---|
| 4. Организация занятия | Одни оценивали материалы, другие структуру курса; шкала не подходила к утверждению | 4 из 8 | Два утверждения и шкала согласия | Различие выявилось при пересказе |
| 9. Частота использования | Не было варианта «никогда» | 2 из 8 | Добавить «никогда» | Не хватило категории |
| 12. Матрица | На телефоне матрица целиком видна только при повороте экрана | 3 из 3 смартфонов | Разнести по отдельным вопросам | Проблема отображения |
| Анкета целиком | Самостоятельное заполнение заняло 9–17 минут, медиана 12 | 8 замеров | Указать во вступлении «около 12 минут» | Время замерено без обсуждения |
Данные в таблице вымышлены. При восьми замерах медиана — среднее двух центральных значений после сортировки. Для каждого интервью можно отдельно вести лист наблюдений: уточнения, повторы, колебания, отказы, трудные вопросы и ошибочные переходы.
Когда вносить правку?
Повторяющиеся трудности помогают обнаружить место, которое нужно переработать. Даже единичное неверное прочтение стоит разобрать, если от вопроса зависит главный показатель. Замечание о вкусе можно записать и оставить формулировку прежней. После существенных изменений снова проверьте анкету, включая затронутые переходы. В заключительную версию добавляйте вопрос только с учётом того, что его тоже придётся проверить.30
Претест в дипломной работе и в компании
В дипломной работе начните хотя бы с пробного просмотра с однокурсниками, затем по возможности пригласите представителей нужной аудитории. Формальные лабораторные процедуры с подготовленными интервьюерами чаще нужны при разработке шкал или работе с чувствительными темами. Для небольшого проекта практичным вариантом могут быть несколько бесед с уточнениями и самостоятельный онлайн-проход. Опишите в методическом разделе, с кем и как проверяли анкету и что исправили.31 Если для дипломной или магистерской работы нужно провести онлайн-опрос, в QUESTIONSTAR можно создать анкету, разослать её участникам и выгрузить ответы для анализа. Начать можно с шаблона для дипломной или магистерской работы в разделе «Академические исследования». Каталог шаблонов QUESTIONSTAR
В компании срок рассылки часто определяют раньше, чем согласуют вопросы. Маркс приводит пример компактной проверки: пять клиентов или сотрудников из разных групп и примерно по полчаса на видеозвонок с каждым. Если опрос заказывает агентству компания, Шнелль советует самому провести проверку анкеты или точно задать подрядчику процедуру. Общей оценки «с анкетой проблем нет» мало. Шнелль рекомендует несколько когнитивных проверок письма-приглашения. Дайте его прочитать представителям аудитории и выясните, как они поняли цель, условия участия и следующий шаг.32
Как провести опрос в QUESTIONSTAR и посмотреть результаты?
Если в анкете есть правильные ответы и участник должен получить оценку, начните с настройки онлайн-теста с баллами. Затем проверьте, какие вопросы видит участник и какой результат получает после прохождения.
Предпросмотр. Откройте анкету на компьютере и по QR-коду на смартфоне. Ссылка на полноэкранный предпросмотр доступна без входа, ответы в этом режиме не записываются. Для вычитки можно показать скрытые вопросы и временно отключить ветвления и проверки ввода. Перед проверкой маршрутов верните рабочие настройки.
Вычитка и интервью. Отправьте коллеге ссылку на предпросмотр, а для когнитивного интервью откройте анкету на общем экране. Для обсуждения с командой используйте совместное редактирование или выгрузите анкету в Word или PDF для заметок.
Полевой проход. Для проверки в рабочих условиях отправьте участникам обычную ссылку. По возможности используйте тот же канал и те же ограничения участия, что и в основном опросе. В виджете прохождений сравните число начатых и завершённых анкет. Разница включает и прерванные, и ещё не завершённые прохождения. После основного сбора откройте отчёт, чтобы посмотреть распределения ответов, или выгрузите данные для дальнейшего анализа. См. распространение опроса.
В справке показано, как анализировать ответы и работать с отчётами в QUESTIONSTAR.
Тестовые ответы. Заранее предусмотрите, как отделить их от основных данных. Можно вести пробный сбор в отдельной копии или пометить записи для исключения при анализе. Если пробный сбор шёл в той же анкете, русская справка описывает удаление записей в разделе работы с данными. Перед удалением проверьте, что выбраны только пробные ответы. Работа с данными опроса и экспорт
Замечания после заполнения. В опросе «Претест — проверка понятности вашей анкеты» из каталога шаблонов можно посмотреть, как собрать замечания о формулировках, вариантах ответа и технических проблемах. Решение, какие вопросы менять, остаётся за исследователем. Если нужна длительность конкретного задания, предусмотрите отдельный замер.
Чек-лист претеста
Если времени мало, начните с экспертной вычитки и самостоятельного заполнения с листом наблюдений. Для онлайн-анкеты добавьте технический проход и короткие интервью по ключевым вопросам.26
- Подготовьте пустые таблицы для анализа.
- Дайте черновик одному-двум коллегам с опытом опросов и приложите список проверки.
- Пройдите все ветки на смартфоне, планшете или ноутбуке и во втором браузере.
- Проведите когнитивные интервью. В рабочем плане Пауля для этого этапа пять человек из целевой группы. Просите пересказать трудные вопросы и пояснить ответ.
- Запишите проблемы и доработайте анкету.
- Дайте новую версию самостоятельно заполнить пробной группе. В плане Маркса для этого этапа десять и более человек, включая тех, кто заполнит анкету со смартфона. Зафиксируйте время и обрывы, затем соберите замечания с помощью отдельной формы. Пример — «Претест — проверка понятности вашей анкеты».
- Выгрузите пробные данные и сопоставьте их с таблицами.
- Отделите тестовые ответы, уточните во вступлении время заполнения. Если появились новые вопросы, проверьте их до запуска.
- Укажите в отчёте, кто участвовал, сколько человек было, как проходил тест и что изменилось.
Частые вопросы
Что такое претест анкеты?
Это проверка анкеты до основного сбора. Участники из целевой аудитории пробуют её заполнить. Вы проверяете понимание вопросов, варианты ответа, переходы, отображение и время.33
Сколько человек нужно для претеста?
Якоб и соавторы приводят 5–10 для когнитивных интервью. У Мёринг и Шлютц для стандартного теста указано 10–50 в зависимости от основной выборки. Это ориентиры для разных процедур. Включите представителей важных для исследования групп.34
Чем претест отличается от пилотного исследования?
Претест проверяет анкету. Пилотное исследование в малом масштабе проверяет весь процесс, включая отбор участников, сбор и анализ данных. Оно особенно уместно для крупного проекта с новой процедурой.35
Что такое когнитивный претест?
Это проверка того, как человек понимает вопрос и выбирает ответ. Для этого используют мысли вслух, уточнения, пересказ и оценку уверенности.36
Можно ли включить пробные ответы в итоговый анализ?
Обычно их хранят отдельно: после проверки анкета часто меняется, а тестовых участников подбирают иначе. Исключение можно рассмотреть, если анкета осталась прежней, условия сбора совпали и людей отбирали так же, как для основного исследования. Такое решение нужно описать в методическом разделе.37
Нужно ли проверять вопросы, которые уже использовались?
Шуман допускает пропустить претест у вопросов из репрезентативных опросов. Шнелль указывает, что новый контекст или другая аудитория могут изменить понимание. Маркс придерживается второй позиции и допускает более короткую проверку для знакомых вопросов.38
Что означает претест в эксперименте?
Так называют измерение до воздействия, например до рекламной кампании. Его сравнивают с измерением после воздействия. Это отдельное значение термина.39
Перед запуском оставьте себе время на исправления после пробного заполнения. Если участники по-разному поняли любимый вопрос, проверьте, можно ли его уточнить или убрать.
Источники
Автор оригинала — доктор Пауль Маркс. Немецкая публикация
При цитировании указывайте автора оригинала и давайте ссылку на русскую версию. Рекомендуемая форма ссылки: Маркс П. Как проверить анкету перед запуском: претест. Русская адаптация редакции QUESTIONSTAR.
Книги и исследования
- Belson, W. (1981). The Design and Understanding of Survey Questions. Gower. Цит. по Schnell (2019), с. 137.
- DeMaio, T. (1983). Approaches to Developing Questionnaires. Technical Report 10. Office of Management and Budget. Цит. по Schnell (2019), с. 138.
- Faulbaum, F., Prüfer, P., & Rexroth, M. (2009). Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität. VS. Цит. по Möhring и Schlütz (2019), с. 183–184.
- Hunt, S. D., Sparkman, R. D., & Wilcox, J. B. (1982). The Pretest in Survey Research: Issues and Preliminary Findings. Journal of Marketing Research, 19(2), 269–273. Цит. по Schnell (2019), с. 126.
- Jacob, R., Heinz, A., & Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4-е изд.). De Gruyter Oldenbourg.
- Kreiselmaier, J., Prüfer, P., & Rexroth, M. (1989). Der Interviewer im Pretest. Evaluation der Interviewerleistung und Entwurf eines neuen Pretestkonzepts. ZUMA-Arbeitsbericht 89/14. Цит. по Schnell (2019), с. 127.
- Malhotra, N. K., & Birks, D. F. (2007). Marketing Research. An Applied Approach (3-е европейское изд.). Pearson Education.
- Möhring, W., & Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3-е изд.). Springer VS. DOI 10.1007/978-3-658-25865-8.
- Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2-е изд.). Springer VS. DOI 10.1007/978-3-531-19901-6.
- Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7-е изд.). De Gruyter Oldenbourg.
- Willis, G. B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Sage. Цит. по Schnell (2019), с. 125, 132–133.
В списке выше приведены полные сведения о книгах и исследованиях. Чтобы найти, откуда взялась конкретная цифра или рекомендация, откройте сноску рядом с ней в тексте. Там указаны источник и нужные страницы.
Сноски к тексту
- Möhring и Schlütz, 2019, с. 182–184. ↩
- Schnell, 2019, с. 123. ↩
- Willis, 2005, цит. по Schnell, 2019, с. 125. ↩
- Belson, 1981, цит. по Schnell, 2019, с. 137. ↩
- Kreiselmaier et al., 1989, цит. по Schnell, 2019, с. 127. ↩
- Hunt et al., 1982, цит. по Schnell, 2019, с. 126. ↩
- Jacob et al., 2019, с. 212; Schnell, 2019, с. 127–128. ↩
- Möhring и Schlütz, 2019, с. 183. ↩
- Jacob et al., 2019, с. 214, 216–217; Möhring и Schlütz, 2019, с. 183–185. ↩
- Jacob et al., 2019, с. 212; Schnell, 2019, с. 130. ↩
- Willis, 2005, цит. по Schnell, 2019, с. 132–133; Faulbaum et al., 2009, цит. по Möhring и Schlütz, 2019, с. 184. ↩
- Schnell, 2019, с. 131. ↩
- Jacob et al., 2019, с. 212, прим. 21; Schnell, 2019, с. 131. ↩
- Jacob et al., 2019, с. 215. ↩
- Malhotra и Birks, 2007, с. 391. ↩
- Möhring и Schlütz, 2019, с. 185; Schnell, 2019, с. 423–424. ↩
- Möhring и Schlütz, 2019, с. 185; Schnell, 2019, с. 136–137. ↩
- Möhring и Schlütz, 2019, с. 185. ↩
- Jacob et al., 2019, с. 213–214, 218; Möhring и Schlütz, 2019, с. 185. ↩
- Möhring и Schlütz, 2019, с. 147, 179, 181, 184. ↩
- Malhotra и Birks, 2007, с. 392. ↩
- Schnell, 2019, с. 126. ↩
- Schnell, 2019, с. 142; Jacob et al., 2019, с. 214–216; Schumann, 2019, с. 76. ↩
- Schnell, 2019, с. 130; Malhotra и Birks, 2007, с. 392; Schumann, 2019, с. 76. ↩
- DeMaio, 1983, цит. по Schnell, 2019, с. 138. ↩
- Jacob et al., 2019, с. 217. ↩
- Jacob et al., 2019, с. 215; Schnell, 2019, с. 142. ↩
- Möhring и Schlütz, 2019, с. 184. ↩
- Jacob et al., 2019, с. 217–218. ↩
- Schnell, 2019, с. 128, 138; Schumann, 2019, с. 76. ↩
- Möhring и Schlütz, 2019, с. 183, 185; Jacob et al., 2019, с. 218. ↩
- Schnell, 2019, с. 414, 433. ↩
- Möhring и Schlütz, 2019, с. 182. ↩
- Jacob et al., 2019, с. 214; Möhring и Schlütz, 2019, с. 184. ↩
- Schnell, 2019, с. 143; Möhring и Schlütz, 2019, с. 181. ↩
- Jacob et al., 2019, с. 213. ↩
- Schumann, 2019, с. 76; условия исключения приведены в немецкой статье. ↩
- Schumann, 2019, с. 76; Schnell, 2019, с. 123–124. ↩
- Malhotra и Birks, 2007, с. 313–314. ↩
