Угрозы внутренней валидности: при использовании платформ для сбора испытуемых (например Яндекс.Толоки) участники проходят эксперимент за деньги и могут быть недобросовестны (проходить эксперимент несколько раз или тыкать случайно) и нужно принимать меры для ограничения их повторного прохождения (или отсеивать пост фактум). По этой же причине нужно проверять вовлеченность участников на всех этапах: проверять как они поняли инструкцию, как поняли вопросы, как выполняли задание. Иногда форма вопроса может сильно влиять на ответы участников и требуется несколько экспериментов для выявления более менее понятной формы вопроса.

недобросовестное выполнение инструкций участниками

Инструктирование и коммуникация. В очном контакте всегда можно сориентироваться и уточнить инструкцию, убедиться, что испытуемый ее понял, в онлайне это не всегда можно сделать.

При проведении онлайн-экспериментов с детьми младше 8 лет необходимо задействовать взрослых на стороне участника исследования. Взрослый должен выполнять зачастую две роли - родителя и помощника экспериментатора. Одна из основных сложностей - правильно организовать задание (сделать его понятным для участников разного возраста) и предварительно подготовить взрослых, чтобы минимизировать их влияние на проведение эксперимента.

Не совсем ясно, насколько хорошо испытуемый понял инструкции.

Участники проходят эксперимент несколько раз

Повторное участие в эксперименте (как отлавливать)

Сбор, хранение и передача собранных данных в интернете несут повышенную угрозу безопасности данных: недостаточные знания в области безопасности (например, неправильные настройки файла конфигурации сервера .htaccess), передача данных через соц. сети (vk.com) или хранения их в гугл таблицах с открытой ссылкой могут стать причиной утечки данных наших испытуемых (даже неанонимизированных) в интернет.

Комплекс проблем этического характера - родителей смущает необходимость видеосъемки в домашних условиях; они переживают, что дети будут проводить дополнительное время за компьютером; они хотят, чтобы участвовали другие дети, которые при этом находятся дома, и др. Это все нужно учитывать и обсуждать с самого начала, перед проведением эксперимента.

Проблема мотивации испытуемых: если не платить, могут бросать, если платить - жульничать. Как это проконтролировать, не всегда понятно.

Низкая мотивация

Низкая мотивация участия (как сделать так, чтобы человек САМ хотел пройти весь эксперимент целиком и максимально точно, внимательно)

Участники неверно указывают личную информацию ( возраст и тд)

Испытуемый менее мотивирован и проходит эксперимент спустя рукава.

разница во временных зонах (а значит и состояниях) участников

Риск ошибки про проведении эксперимента очень велик - дети, даже при контроле со стороны взрослых, могут пропустить важный этап в начале эксперимента, что делает бесполезным его дальнейшее проведение. При проведении исследования онлайн это трудно заметить и вовремя исправить. Возрастает роль предварительной тренировки.

как фильтровать испытуемых, которые не выполняют задачу, где изображения предъявляются одна за одной, а ответы надо давать не на каждую картинку. например, если 80% targets были пропущены

Сложно (часто невозможно) контролировать строгое соблюдение инструкции участниками. При этом подрубать прокторинг/сидеть в зуме — сомнительное решение, потому что создаёт дополнительный фактор стресса

Трудность дистанционного контроля условий проведения исследования

Отсутствие контроля за ходом эксперимента.

Павловия иногда долго обновляет экран (frame?), что приводит к предъявлению текста на экране, который участник вводил до этого (на миллисекунды, но это фиксируется участником). Это может привести к ложным догадкам участника относительно того для чего его предыдущий ответ предъявляется вновь, причем на короткое время, хотя это всего лишь баг программы

перенос эксперимента с PsychoPy в Pavlovia

Длительность стимулов и задержка с сервера

Технические недостатки устройств, которые используют участники

С технической точки зрения не все экспериментальные переменные можно хорошо смоделировать в формате онлайн, например исследования в парах или в группах.

разница в оборудовании, на котором участники проходят исследование

Участники не доходят до конца эксперимента (отвлекаются на чай, кофе, покурить и не возвращаются)

Длинные эксперимент и участие в нескольких сессиях

Участники много отвлекаются

Качество выполнения испытуемым задачи (делает ли он задачу или сидит в контакте)

Отвлечения испытуемых во время эксперимента (переходы на другие вкладки, мобильные устройства, посторонние люди)

Угроза репрезентативности: при наборе испытуемых через соц. сети в одной группе могут состоять люди с похожими интересами или из одной категории (студенты психологии 2 курса). Нужно прикладывать дополнительные усилия чтобы выбраться из информационного пузыря.

Репрезентативна ли та часть населения, прошедшая онлайн исследование, генеральной совокупности?

Низкая компьютерная грамотность испиюытуемых. Особенно если это люди старшего возраста

слишком длинный эксперимент

как проконтролировать, что ответы даны не случайно

отвлечение испытуемого и гугление ответа

неоднократная попытка выполнить задание / начать и не закончить

отсутствие мотивации выполнять сложные задания

19:53:49 From Yuri Markov to Everyone : видел классную демку для рисования: https://pavlovia.org/run/rockNroll/demo_drawing/html

19:55:53 From Sergei Korovkin to Everyone : о, круто! спасибо!) еще бы какой-нибудь инструмент для анализа траектории по результатам)

20:08:01 From Alexandra Koyfman to Everyone : Не хватает совсем сторонних нарративных навыков: как писать зажигательные приглашения, чтобы люди приходили:) это не только про он-лайн, конечно

20:32:00 From Yuri Markov to Everyone : Про размер экранов https://twitter.com/psychopy/status/1347489772063903744

20:32:30 From Yuri Markov to Everyone : И прекрасная статья в натуре https://www.nature.com/articles/s41598-019-57204-1

20:40:34 From Andrey Chetverikov to Everyone : https://peerj.com/articles/9414/

20:41:12 From Andrey Chetverikov to Everyone : https://link.springer.com/article/10.3758%2Fs13428-015-0632-x

20:47:21 From Valeria Gershkovich to Everyone : мне встречались онлайн-эксперименты, особенно для детей, с видеозаписью инструкции от экспериментатора

20:48:00 From Alexandra Koyfman to Everyone : Как ролики о безопасности полёта:)

20:57:04 From Sergei Korovkin to Everyone : Jatos может делать одноразовые индивидуальные ссылки

20:57:54 From Andrey Chetverikov to Everyone : Про геймификацию и т.п. Еще хорошо работает рисовать графики с результатами по выборке и по конкретному испытуемому. Плюс вы можете добавлять интерактивные графики с параметрами, которые не сильно интересны вам, но могут быть интересны испытуемым (тот же возраст или время суток). Показывание графиков до (общих) и после (общих + этот испытуемый) хорошо мотивирует.