Улучшает ли тестирование новое обучение, потому что оно изолирует от упреждающего вмешательства?(2)
Jun 08, 2023
Эксперимент 3
Цель эксперимента 3 состояла в том, чтобы точно воспроизвести эксперимент 2 Нуньес и Вайнштейна (2012). С этой целью мы связались с основным автором этого исследования и подтвердили, что наши материалы и процедура представляют собой точную прямую репликацию их исследования (Нунес, личное общение, 2020 г.). Было четыре заметных различия между экспериментом 3 и экспериментами 1 и 2. Во-первых, участники изучали слова DRM вместо слов, разделенных по категориям. Во-вторых, участники изучали 12 слов в списке вместо 16 слов в списке. В-третьих, каждое слово показывалось в течение 2 с и только один раз (в наших экспериментах 1 и 2 участники изучали каждое слово дважды по 4 с). Наконец, участники контрольного условия решали математические задачи вместо повторного изучения списка.
Пустынный женьшень
Метод
Дизайн и участники
Отражая Nunes и Weinstein (2012), Эксперимент 3 использовал однофакторный двухуровневый дизайн (т. е. тест против отсутствия теста), при этом этот фактор манипулировался между субъектами. В общей сложности 71 студент бакалавриата из Университета штата Айова принял участие в зачете курса. Данные четырех участников не анализировались: двое из-за несоблюдения инструкций и двое из-за ошибки экспериментатора. Таким образом, окончательная выборка включала данные от 67 участников, 36 из которых находились в тестовом состоянии, а 31 — без теста. Анализ мощности чувствительности показал, что этот размер выборки имел мощность 0,80 для обнаружения размера эффекта d=0,70.
Цистанхе пустынная
Материалы и процедура
Материалы и процедуры были такими же, как у Nunes and Weinstein (2012), Experiment 2). Четыре списка DRM (горный, мягкий, речной и городской) из Stadler et al. (1999) были использованы нормы. Списки 1–4 содержали 12 слов из одной темы DRM. Слова на третьей, пятой и 13-й позициях каждой темы DRM в нормах Штадлера были представлены только в целевом Списке 5. Использовались четыре различных противовеса, так что одни участники изучали мягкий список как Список 1, а другие изучали его как свои собственные. Список 2, 3 или 4. Однако порядок слов в каждом списке был фиксированным и представлен в том же порядке, что и в списке Stadler et al. нормы (т. е. сначала всегда предъявлялась горка, потом долина, потом подача и т. д.). Обратите внимание, что схема уравновешивания затронула только слова в списках 1–4; слова, выбранные для списка 5, не были уравновешены, так что эти слова никогда не появлялись в списках 1–4 ни для кого из участников. В списке 5 представлены три ранее не изученных слова из каждой изучаемой темы DRM в разном случайном порядке для каждого участника, но все участники изучали одни и те же слова в списке 5.
Все слова предъявлялись в течение 2 с каждое с межстимульным интервалом 500- мс. После каждого списка участники решали десять математических задач по 6 секунд каждая. Затем участники в тестовом режиме имели 60 с, чтобы вспомнить слова из только что выученного списка, а участники без теста еще 60 с решали дополнительные математические задачи. После изучения списка 5 все участники решали математические задачи в течение 60 с, а затем проходили тест на припоминание. Затем они выполнили суммарный тест на запоминание 5-мин. Кумулятивный тест был проведен как часть репликации, но данные этого теста не представляли интереса и поэтому не учитывались.
Цистанхе пустынная эксперимент
Полученные результаты
Вторжения во время отзыва списка 5
В экспериментах 1 и 2 мы использовали частоту для сообщения данных о вторжении, которая является преобладающей метрикой в литературе (Chan, Manley, et al., 2018; Weinstein et al., 2014). Но здесь мы сообщаем о вторжениях, используя частоту, а также пропорции, потому что последний использовался для представления вторжений в Nunes and Weinstein (2012). В частности, они разделили частоту вторжений на 60, что соответствует количеству изучаемых слов во всех пяти списках. В соответствии с Nunes и Weinstein, мы не считали ложное воспоминание критических слов DRM вторжением. Вместо этого эти слова оценивались отдельно как критические ложные воспоминания.
Рис. 6 Частота вторжений во время припоминания списка 5 (слева) и доля правильных припоминаний из списка 5 (справа) в зависимости от промежуточной задачи и уровня PI в эксперименте 3. Столбики погрешностей отображают описательные доверительные интервалы 0,95. Джиттер был введен для распределения точек данных по горизонтали для повышения видимости.
Пороговое значение для вторжений составило 4,03 пункта (M=0,97, SD=1,53), что исключает данные четырех участников. На левой панели рис. 6 показана частота вторжений во время отзыва списка 5. Интересно, что в отличие от результатов экспериментов 1 и 2, не было существенной разницы во вторжениях между тестируемыми участниками (M=0.50, M=.01 в пропорциях) и непроверенными участниками (M { {15}}.89, M=.02 в пропорциях), t(61)=1.66, p=.102, d=0.42, B 01=1.22. Эти данные сопоставимы с выводами Nunes и Weinstein (2012), которые не обнаружили значительного влияния вмешательства на вторжения. Интересно, что когда мы изучили данные о вторжениях с включенными выбросами, интерполированное тестирование значительно уменьшило количество вторжений (d=0,72, подробности см. в OSM), тем самым воспроизводя схему, описанную в экспериментах 1 и 2.
В соответствии с Nunes and Weinstein (2012) частота критических ложных воспоминаний была представлена в виде пропорций (с частотой критических ложных воспоминаний, разделенной на 4, поскольку было четыре темы DRM). Подобно результатам Нуньеса и Вайнштейна (Mtest=0.04, Mno-test=0.06), скорость припоминания критических слов существенно не отличалась между условиями теста и без теста (Mtest {{ 8}}.08, M без теста=0.15, t(61)=0.70, p=.489, d=0.18 B{ {20}}.14.
Список 5 правильных отзывов
Наиболее важные результаты представлены на правой панели рис. 6. Подобно нашим экспериментам 1 и 2, но в отличие от Нуньеса и Вайнштейна (2012), мы наблюдали устойчивый эффект прямого тестирования в списке 5. отзыв, t(61)=2.93, p=.005, d=0.75, B10=8.39 (Mtest=.44, Мно-тест=.29). Этот вывод согласуется с тем, что мы сообщали в экспериментах 1 и 2, но отличается от Nunes и Weinstein (2012), которые не обнаружили эффекта прямого тестирования (d ≈ 0, Mtest=.46, Mno-test {{26 }} .46). Более того, повторяя результаты наших экспериментов 1 и 2, наблюдалась отрицательная корреляция между вторжениями и правильным отзывом (см. рис. 7), r(61)=-.35, p=.005, B 10=7.32. В отличие от экспериментов 1 и 2, вклад в корреляцию вносили участники как в условиях теста, r(34)=-,34, p=,042, B01=1,51, так и в условие без проверки, r(25)=-.27, p=.176, B01=1.75. Мы считаем, что незначительная корреляция в условиях отсутствия теста может быть связана с недостаточной мощностью.
Обсуждение
Результаты в эксперименте 3 во многом напоминали результаты наших экспериментов 1 и 2, то есть интерполированное тестирование способствовало обучению новому, даже когда участники изучали слова в среде, предназначенной для минимизации накопления PI. Этот вывод прямо контрастирует с тем, о котором сообщают Nunes and Weinstein (2012), и особенно интригует, если рассматривать его в контексте общих усилий по воспроизведению. В частности, хотя в нашем исследовании использовалась другая выборка участников, а данные были собраны почти на десять лет позже, чем в исходном исследовании, в некотором смысле наши данные исключительно хорошо воспроизводили данные исходного исследования. Действительно, большинство зависимых переменных, в том числе количество исследованных словесных вторжений (в пропорциях, Mtest=.01, Mno-test=.02 в нашем эксперименте, Mtested=.01 , Мно-тест=.04 у Нуньес и Вайнштейна), ложное припоминание критических слов (Мно-тест=.02, Мно-тест=.04 в нашем эксперименте, Мно-тест {{19 }} .04, Мно-тест=.06 у Нуньес и Вайнштейна), и правильное припоминание изучаемых слов в тестовом условии (М=.44 в нашем эксперименте, М {{26} } 0,46 у Нуньес и Вайнштейна) дали данные, которые были очень похожи на те, о которых сообщили Нуньес и Вайнштейн. Единственным исключением были правильные данные отзыва в условиях отсутствия теста. В то время как наши участники вспомнили 0,29 слов из списка 5, участники Нуньес и Вайнштейна вспомнили 0,46. Из-за большего размера выборки нашего эксперимента и его повторения экспериментов 1 и 2 мы считаем, что наш результат, вероятно, обеспечил более близкое приближение к среднему значению генеральной совокупности. Однако, учитывая теоретическую значимость этого результата, мы стремились снова воспроизвести эксперимент в эксперименте 4, но с полной схемой уравновешивания.
Рис. 7 Диаграмма рассеивания, показывающая взаимосвязь между частотой вторжений во время отзыва из списка 5 и долей правильных отзывов из списка 5 в эксперименте 3. Чтобы улучшить видимость плотности данных, мы ввели дрожание, чтобы рассредоточить точки данных по горизонтали.
Эксперимент 4
Метод
Дизайн, участники, материалы и процедура
В общей сложности 70 студентов бакалавриата из Университета штата Айова приняли участие в зачете курса. В отличие от экспериментов 1–3, в которых данные были собраны в нашей лаборатории, данные эксперимента 4 были собраны онлайн из-за закрытия личных исследований в связи с COVID-19-. Данные трех участников (т. е. одного в тестовом состоянии и двух в нетестовом состоянии) не анализировали, поскольку они не следовали инструкциям. Окончательная выборка включала данные 67 участников, 34 из которых находились в тестовом состоянии, а 33 — в нетестовом. Анализ мощности чувствительности показал, что этот размер выборки имел мощность 0,80 для обнаружения размера эффекта d=0,69.
Материалы и процедуры были идентичны тем, что использовались в эксперименте 3, со следующими исключениями. В эксперименте 3 список 5 всегда содержал одни и те же слова. В текущем эксперименте мы полностью уравновешивали назначения слов для всех пяти списков, так что слова, появившиеся в списке 5 для одного участника, появлялись в списках 1, 2, 3 или 4 для другого участника. Мы разделили каждый набор из 15 тематических слов DRM на пять групп, каждая из которых имела одинаковую обратную ассоциативную силу (BAS), которая указывает на силу ассоциации от элемента списка до критического слова (Roediger et al., 2001). Пять групп слов DRM чередовались в списках участников. Эта уравновешивающая схема исключила возможность того, что результаты будут применяться только к конкретным словам DRM, выбранным для отображения в списке 5 нашего эксперимента 3 и эксперимента 2 Нуньес и Вайнштейна (2012). Во-вторых, слова в каждом списке (а не только в списке 5) были представлены в случайном порядке. Мы выбрали эту процедуру, потому что хотели избежать представления только целевого списка в случайном порядке. Мы подозреваем, что Нуньес и Вайнштейн представили свои нецелевые списки в порядке убывания ассоциативной силы, потому что хотели вызвать больше ложных воспоминаний, что не имело значения для настоящих целей. Обратите внимание, что, несмотря на эти изменения, мы по-прежнему считаем эксперимент 4 прямой репликацией (Simons, 2014; Zwaan et al., 2017).
Порошок экстракта цистанхе
Нажмите здесь, чтобы просмотреть продукты Cistanche
【Запросите дополнительную информацию】 Электронная почта: cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692
Полученные результаты
Вторжения во время отзыва списка 5
Пороговое значение для этого эксперимента составило 8,43 вторжения (M=2.01, SD=3.21), из которых были исключены данные от четырех участников. Как видно на левой панели рис. 8, у протестированных участников было меньше вторжений (M=0,77, M=0,01 в пропорциях), чем у непротестированных участников (M {{12}). }.10, M=.04 в пропорциях), t(61)=3.56, p < .001, d=0.90, B10=40.74 . Этот вывод согласуется с нашими данными из экспериментов 1 и 2, но отличается от данных эксперимента 3 и Nunes and Weinstein (2012). Данные критических ложных воспоминаний также отличались от Эксперимента 3 и данных Нуньес и Вайнштейна. В частности, интерполированное тестирование уменьшило число критических ложных воспоминаний (Mтест=0.03, Mno-тест=0.10), t(61)=2.51, p=.015 , д=0.64, Б10=3.46. Возможно, что отсутствие уравновешивания в эксперименте 3 и у Нуньес и Вайнштейна способствовало нулевому эффекту тестирования на вторжения и критические ложные воспоминания.
Рис. 8 Частота вторжений во время припоминания списка 5 (слева) и доля правильных припоминаний из списка 5 (справа) в зависимости от промежуточной задачи и уровня PI в эксперименте 4. Столбики погрешностей отображают описательные доверительные интервалы 0,95. Джиттер был введен для рассредоточения точек данных по горизонтали, чтобы улучшить видимость точек данных.
Список 5 правильных отзывов
На правой панели рис. 8 показана средняя доля правильного припоминания списка 5. Отражая результаты эксперимента 3, участники в условиях тестирования (M=0,51) продемонстрировали значительно более высокие результаты по сравнению с участниками без тестирования (M=0,17), t(61)=5,60, p < 0,001, d=1,42, B10=23280,95. Действительно, это очень большой эффект, и он предоставляет исключительно убедительные доказательства в пользу альтернативной гипотезы.
И снова была отрицательная корреляция между вторжениями и правильным отзывом (см. рис. 9), r(61)=-,36, p=0,004, B10=8,36. Когда мы разделили данные по условию, корреляция не была значимой ни в одном из условий отсутствия теста, r(27)=-,27, p=,160, B01=1,69 , или условие проверки, r(27)=-.02, p=.905, B01=4.66. Но картина была аналогична экспериментам 1 и 2, с более высокой корреляцией, отображаемой в контрольных условиях, и недостаточная мощность, вероятно, является причиной этих незначительных результатов.
Комбинированные анализы
Далее мы сообщаем о метаанализе, в котором объединены данные наших четырех экспериментов и двух экспериментов Nunes and Weinstein (2012). Мы провели метаанализ с фиксированными эффектами, основанный на правильном воспроизведении списка целей. Мы закодировали каждое состояние High-PI и Low-PI как отдельный образец, и общий размер метааналитического эффекта для эффекта прямого теста для этих образцов составил d=0,89, Z=4,63. , р < 0,001. Модераторный анализ с уровнем PI в качестве интересующей переменной показал, что различия в PI не повлияли на величину эффекта форвардного тестирования, Z=0,41, p=0,680, с высокой Образцы -PI (d=0,95) и Low-PI (d =,83) дают сопоставимые размеры эффекта. Немного меньший размер эффекта для исследований с низким PI был обусловлен в первую очередь включением данных Nunes and Weinstein (2012) Experiment 2. Когда это исследование было удалено из выборки, средний эффект прямого тестирования для исследований с низким PI (d=1,01) был таким же большим, как и для исследований с высоким PI. Изучение графика леса на рис. 10 показывает, что точка данных из эксперимента 2 Нуньес и Вайнштейна лежит за пределами доверительного интервала размера метааналитического эффекта. Следовательно, отсутствие эффекта прямого тестирования в их Эксперименте 2 может быть связано с ошибкой выборки и/или отсутствием уравновешивания элементов целевого списка.
Рис. 9 Диаграмма рассеивания, показывающая взаимосвязь между частотой вторжений во время отзыва из списка 5 и долей правильных отзывов из списка 5 в эксперименте 4. Чтобы улучшить видимость плотности данных, мы ввели дрожание, чтобы рассредоточить точки данных по горизонтали.
Рис. 10 Лесная диаграмма для метаанализа. Каждая точка данных показывает размер эффекта прямого тестирования. Размер маркера данных представляет вес исследования, а планки погрешностей отображают доверительные интервалы 0,95.
Обсуждение
Цель настоящего исследования состояла в том, чтобы обеспечить критическую проверку освобождения от упреждающей интерференции с учетом эффекта прямого тестирования. В экспериментах 1 и 2 мы использовали метод изменения содержимого для манипулирования PI и исследовали, зависит ли величина эффекта прямого тестирования от уровня PI. В экспериментах 3 и 4 мы попытались воспроизвести исследование Нуньес и Вайнштейна (2012), которое в значительной степени соответствовало нашему условию низкого PI в экспериментах 1 и 2. Если интерполированное тестирование способствует новому обучению за счет снижения PI, эффект прямого тестирования должен быть снижается или устраняется при низком уровне PI, потому что PI практически не может быть дополнительно снижен путем тестирования. Наоборот, в четырех экспериментах мы обнаружили, что межпланшетное тестирование постоянно способствует новому обучению, независимо от уровня PI, с которым столкнулись участники.
Эти результаты показывают, что, хотя интерполированное тестирование может избавить участников от негативных последствий упреждающего вмешательства, маловероятно, что это преимущество будет причиной эффекта прямого тестирования. Инвариантность эффекта прямого тестирования по отношению к нашим манипуляциям с PI может показаться парадоксальной, учитывая, что мы постоянно наблюдали отрицательную корреляцию между правильным отзывом и вторжениями среди участников. На первый взгляд, этот последний вывод, кажется, поддерживает освобождение от учетной записи PI, потому что одна интерпретация состоит в том, что интерполированное тестирование снижает конкуренцию ответов во время припоминания, что облегчает тестируемым участникам извлечение изученных элементов. Наши данные выявили две проблемы с этой интерпретацией. Во-первых, отрицательная корреляция была в основном вызвана непроверенными участниками. Во-вторых, что более важно, тот факт, что уменьшение количества вторжений и увеличение количества правильных воспоминаний, как правило, происходят одновременно, не подразумевает причинно-следственной связи. В том же духе одним из самых сильных коррелятов эффекта (обратного) тестирования является эффективность припоминающей практики. В метаанализе литературы Rowland (2014) показал, что исследования, в которых сообщается о более высокой эффективности припоминающей практики, как правило, дают больший эффект тестирования. Вывод причинно-следственного аргумента, основанный на этой связи, может привести к предсказанию того, что практика припоминания принесет пользу обучению только тогда, когда она будет успешной, но теперь исследования показали, что неудачная практика припоминания может улучшить запоминание (Carneiro et al., 2018; Davis et al., 2017; Knight et al., 2012; Pyc & Rawson, 2010, 2012).
Цистанхе рядом со мной
Аналогичным образом, прямая польза от тестирования, по-видимому, связана, но не зависит от эффекта освобождения от PI. Мы считаем, что отрицательная корреляция между вторжениями и правильным припоминанием обусловлена третьей переменной, и одним из возможных кандидатов является то, что тестирование способствует семантической организации памяти (Chan, Manley et al., 2018; Zaromb & Roediger, 2010). Недавние исследования показали, что при последовательных тестах учащиеся с большей вероятностью группируют семантически связанные элементы во время припоминания, а уровень кластеризации положительно связан с правильным выполнением припоминания (Chan et al., 2020; Yang et al., 2021). Недавно мы приписали эту улучшенную организацию памяти участникам, оптимизировавшим свои стратегии кодирования и поиска по спискам (Chan et al., 2020; Chan, Manley, et al., 2018). Хотя исследования в литературе по прямому тестированию изучали только кластеризацию на основе семантических отношений, другие исследования показали, что тестирование также может увеличить временную кластеризацию и сегрегацию. В частности, интерполированное тестирование может повысить способность учащихся группировать элементы, которые были изучены в непосредственной близости во времени (т. е. элементы, изучаемые в одном списке), и одновременно разделять элементы, изученные до или после поиска (т. е. элементы, изученные в разных списках; Брюэр et al., 2010; Chan & McDermott, 2007; Jang & Huber, 2008; Kliegl & Bäuml, 2021; Wahlheim, 2015; Yang et al., 2021). Как предположили Дарли и Мердок (1971), переключение между задачами кодирования и поиска может дать учащимся возможность мысленно маркировать или маркировать элементы в зависимости от того, тестировались они ранее или нет (Дэвис и др., 2017), и этот механизм маркировки может уменьшить количество вторжений (Pierce et al., 2017) либо с помощью механизма раннего отбора, либо механизма поздней коррекции. С точки зрения раннего отбора участники могут ограничивать свое извлечение на переднем крае, пытаясь найти в памяти элементы, которые они ранее не извлекали (Rugg et al., 2000; Shimizu & Jacoby, 2005); в качестве альтернативы участники могут попытаться выполнить широкий поиск в памяти, а затем отказаться от вывода ранее вызванных элементов. Механизм раннего отбора, т. е. поиск с ограничениями, может служить как для увеличения количества правильных отзывов (за счет сокращения набора поисковых запросов), так и для уменьшения вторжений (поскольку ранее проверенные элементы не входят в набор поиска), тем самым создавая отрицательную корреляцию между этими зависимыми переменными. .
Недавно исследователи заявили, что эффект поиска, снижающий PI, способствует эффекту прямого тестирования (Dang et al., 2021; Yang et al., 2021). Поддержка этого аргумента была основана на посредническом анализе, в котором вторжения в предыдущий список служили важным посредником между независимой переменной интерполированной активности (т. е. тестирование против повторного исследования) и зависимой переменной правильного припоминания, и исследователи интерпретировали это косвенное Эффект поиска изолирует учащихся от PI, что, в свою очередь, способствует новому обучению. Однако мы предостерегаем от такой интерпретации в данном случае, потому что не было временного приоритета между посредником (т. е. вторжением) и зависимой переменной (т. е. правильным отзывом). Вместо этого вторжение и правильное припоминание происходят в течение одной и той же экспериментальной фазы, что делает невозможным вывод о причинно-следственной связи через временные порядки (т. е. то, что происходит позже, не может вызывать то, что происходит раньше; Aalen et al., 2012; Hayes, 2018; Preacher, 2015). ; Уолтерс, 2019). Действительно, можно поменять местами роли посредника и зависимой переменной в анализе, проведенном Dang et al. (2021) и Ян и др. (2021), так что правильный отзыв служит посредником, а вторжение — зависимой переменной. Чтобы изучить эту возможность, мы провели анализ посредничества, используя данные, которые Dang et al. и Ян и др. предоставляется на Open Science Framework.
Сначала мы попытались воспроизвести их первоначальный анализ посредничества, и результаты нашей модели согласовывались с их результатами, так что было значительное косвенное влияние вторжений на правильное запоминание. 2 Затем мы проверили жизнеспособность модели обратного посредничества. Как мы и подозревали, косвенный эффект этой обращенной модели также был значительным, -0,238 [-0,418, -0,112] в Dang et al. и {{7 }}.942 [-1.217, -0.666] в Yang et al., что указывает на то, что интерполированное тестирование влияет на вторжения в предыдущий список за счет правильного припоминания. Значение этой перевернутой модели подчеркивает сложность интерпретации результатов анализа посредничества, в котором посредник и зависимая переменная не имеют четкого временного приоритета.
Было бы упущением не упомянуть, что в недавнем отчете Чан, Мэнли и др. (2018) предположили, что интерполированное тестирование может улучшить новое обучение в парадигме обучения с категоризированными списками за счет увеличения вероятности того, что участники заметят категоризированный характер списков. Идея состоит в том, что как только участники осознают категоризированную природу списков, они попытаются закодировать семантические отношения между похожими элементами списка, что должно улучшить обучение. Чан и др. далее рассуждали о том, что, если эта гипотеза верна, создание категоризированного характера списка, легко обнаруживаемого (например, путем представления слов из одной категории в блоках), должно уменьшить преимущество передового тестирования, и они цитировали Nunes and Weinstein (2012) как обеспечение предварительная поддержка такой гипотезы. Нынешние результаты явно расходятся с этими предсказаниями.
Ограничения
Одним из ограничений этого исследования является то, что рассматривалась только поисковая форма PI, поскольку мы измеряли вторжения. Но на кодирование также может повлиять накопление PI, потому что ресурсы внимания учащихся могут ухудшаться по мере того, как они продолжают кодировать информацию. Например, в исследовании ЭЭГ Пастеттер и его коллеги (2011) сообщили, что интерполированное тестирование улучшило кодирование новой информации за счет снижения невнимательности, о чем свидетельствует увеличение мощности альфа-канала (электрофизиологический коррелят невнимательности) в списках для контрольных участников. но не для тестируемых участников. Кроме того, Шпунар и его коллеги (Szpunar et al., 2013; Jing et al., 2016; см. также Pan et al., 2020, аналогичное финансирование с предварительным тестированием, а не интерполированным тестированием) показали, что при просмотре видеозаписи лекции , участники, которые получали интерполированный тест каждые 5 минут, гораздо реже сообщали о блуждании мыслей, чем участники контрольной группы. Однако, как указывалось ранее, мы считаем, что такие механизмы, основанные на внимании, следует рассматривать отдельно от учетной записи выпуска из PI, поскольку включение в эту учетную запись механизмов, основанных на внимании/кодировании, сделало бы учетную запись слишком широкой и трудной для фальсификации.
Наши исследования, как и многие поведенческие исследования, также не позволили нам различить эффекты, основанные на кодировании и поиске, потому что наши манипуляции с кодированием (например, High-PI против LowPI) могли и, вероятно, имели каскадный эффект на поиск. Будущие исследования могут попытаться разделить эффекты кодирования и извлечения эффекта прямого тестирования с использованием методов визуализации мозга или электрофизиологических методов, которые предоставляют данные в реальном времени во время кодирования (Pastötter et al., 2011; см. также Beardsley et al., 2018).
Еще одна проблема, которую мы хотим решить, — это операционное определение PI. В настоящих экспериментах мы использовали частоту вторжений в качестве меры PI, как и большинство исследований, опубликованных в литературе по эффекту прямого тестирования. Но в эпоху вербального обучения правильное запоминание регулярно использовалось для демонстрации эффектов PI. Например, при сравнении производительности памяти между участниками, изучавшими один список AD (без предварительного исследования), и участниками, изучавшими список AB перед списком AD, снижение памяти AD из-за предварительного обучения считалось доказательством PI. Принимая это определение, можно утверждать, что наши манипуляции с PI не оказали никакого влияния, потому что контрольные участники постоянно демонстрировали более низкие показатели правильного припоминания в целевом списке по сравнению с показателями припоминания из списка 1 тестируемых участников (что эквивалентно группе участников, которые ранее не изучался, см. табл. 1). Однако принятие этого определения PI для эффекта форвардного тестирования сделало бы отчет об освобождении от PI чисто описательным (а не пояснительным), потому что всякий раз, когда обнаруживается эффект форвардного тестирования, по определению, участники в тестируемом состоянии должны превзойти участников в тестируемом состоянии. условие контроля. Заявление о таком различии, как освобождение от PI, просто повторяет, а не объясняет явление.
Наконец, мы признаем, что размер нашей выборки был слишком мал, чтобы обнаружить взаимодействие между промежуточной активностью и уровнем PI. Если бы предполагался умеренный размер эффекта (например, f=.2) для эффекта взаимодействия с уровнем альфа 0,05 и мощностью 0,80, потребовался бы общий размер выборки 199 участников. Можно заметить, что размер эффекта прямого тестирования был меньше в условиях низкого PI, чем в условиях высокого PI из эксперимента 1 (низкий PI =.14, высокий PI=.20). ) и эксперимент 2 (низкий PI=0,23, высокий PI=0,31), и одна из интерпретаций этих незначительных различий заключается в том, что эффект прямого тестирования был менее выражен, когда участники испытывали меньше PI. Однако мы предостерегаем от чрезмерной интерпретации различий, основанных на необработанных вероятностях, поскольку они не учитывают различия в изменчивости данных. Когда мы исследуем те же данные с d Коэна, становится ясно, что различия в процентах скорее кажущиеся, чем реальные. В частности, эффект прямого тестирования составляет 0,81 в условиях низкого PI и 0,82 в условиях высокого PI в эксперименте 1, 1,09 в условиях низкого PI и 1,20 в условиях высокого PI в эксперименте 2. Тем не менее, остается возможным, что взаимодействие между состоянием PI и промежуточной активностью не было значительным из-за низкой статистической мощности. Другими словами, освобождение от PI могло внести небольшой вклад в эффект прямого тестирования, но наши эксперименты не были достаточно мощными, чтобы обнаружить его. Таким образом, будущие исследования, изучающие взаимосвязь между уровнем PI и промежуточной активностью, выиграют от большей выборки.
Заключительные замечания
В настоящих экспериментах мы предоставили критическую проверку учетной записи выпуска из PI, которая широко считается одним из ключевых возможных объяснений эффекта форвардного тестирования. В четырех экспериментах мы последовательно наблюдали данные, которые противоречат его предсказаниям. Важно отметить, что нам не удалось воспроизвести финансирование Нунеса и Вайнштейна (2012), которое до сих пор предоставляло важнейшее свидетельство для отчета об освобождении от PI. По крайней мере, наши данные показывают, что если выпуск из PI будет способствовать эффекту форвардного тестирования, то он, вероятно, будет играть меньшую роль, чем ожидалось ранее.
Поскольку наше исследование было разработано для проверки гипотезы освобождения от PI, оно не могло ответить на вопрос: «Если освобождение от упреждающего вмешательства не является причинным фактором для эффекта прямого тестирования, то что?» К счастью, остается несколько потенциально жизнеспособных объяснений. Например, интерполированное тестирование может способствовать новому обучению, способствуя внимательному кодированию (Chan et al., 2020; Szpunar, 2017; Szpunar et al., 2013; Weinstein et al., 2014). Другая возможность заключается в том, что тестирование может позволить учащимся разработать более эффективные стратегии кодирования/восстановления, использующие преимущества лучшей организации памяти (Chan et al., 2020; Dang et al., 2021) или контекстуальной сегрегации (Yang et al., 2021). Будущие исследования, которые непосредственно касаются этих учетных записей, помогут нам лучше понять эффект форвардного тестирования.
Рекомендации
Аален, О.О., Ройсланд, К., Гран, Дж. М., и Ледергербер, Б. (2012). Причинность, посредничество и время: динамическая точка зрения. Журнал Королевского статистического общества. Серия A: Статистика в обществе, 175 (4), 831–861. https://doi.org/10.1111/j.1467-985X.2011. 01030.x
Боймль, КХТ, и Клигль, О. (2013). Критическая роль процессов поиска в освобождении от проактивного вмешательства. Журнал памяти и языка, 68 (1), 39–53. https://doi.org/10.1016/j. jml.2012.07.006
Бердсли, М., Эрнандес-Лео, Д., и Рамирес-Мелендес, Р. (2018). В поисках воспроизводимости: оценка мультимодального исследования эффекта тестирования. Журнал компьютерного обучения, 34(4), 378-386. https://doi.org/10.1111/jcal.12265
Боннер, С.М. (2009). Изучение использования учителем тренировочных тестов в формирующих целях. Журнал междисциплинарной оценки, 6(12), 125-136.
Брюэр, Г.А., Марш, Р.Л., Микс, Дж.Т., Кларк-Фус, А., и Хикс, Дж.Л. (2010). Влияние тестирования свободного припоминания на последующую исходную память. Память, 18 (4), 385–393. https://doi.org/10. 1080/09658211003702163
Браун, Дж. (1958). Некоторые проверки теории распада непосредственной памяти. Ежеквартальный журнал экспериментальной психологии, 10 (1), 12–21.https://doi.org/10.1080/17470215808416249
Карнейро, П., Лапа, А., и Финн, Б. (2018). Влияние неудачного поиска на последующее обучение детей. Журнал экспериментальной детской психологии, 166, 400–420. https://doi.org/10. 1016/j.jecp.2017.09.010
Чан, JCK, и Макдермотт, KB (2007). Эффект тестирования в памяти распознавания: учетная запись двойного процесса. Журнал экспериментальной психологии: обучение памяти и познанию, 33 (2), 431–437.https://doi.org/10.1037/0278-7393.33.2.431
Чан, JCK, Мэнли, К. Д., и Ланг, К. (2017). Восстановленная внушаемость: ретроспектива и новое исследование. Журнал прикладных исследований памяти и познания, 6 (3), 213–229. https://doi.org/10.1016/j.jarmac.2017.07.003
Чан, Дж.К.К., Мэнли, К.Д., Дэвис, С.Д., и Шпунар, К.К. (2018). Тестирование потенцирует новое обучение через интервал удержания и отставание: перспектива изменения стратегии. Журнал памяти и языка, 102 (май), 83–96. https://doi.org/10.1016/j.jml. 2018.05.007
Чан, JCK, Мейснер, Калифорния, и Дэвис, С.Д. (2018). Поиск усиливает новое обучение: теоретический и метааналитический обзор. Психологический бюллетень, 144 (11), 1111–1146. https://doi.org/10.1037/bul0000166
Чан, JCK, Мэнли, К.Д., и Ан, Д. (2020). Способствует ли припоминание новому обучению, когда припоминание прекращается, но новое обучение продолжается? Журнал памяти и языка, 115 (июль), 104150. https://doi.org/10.1016/j.jml.2020.104150
Конвей, АРА, Кейн, М.Дж., Бантинг, М.Ф., Хамбрик, Д.З., Вильхейм, О., и Энгл, Р.В. (2005). Задачи на объем рабочей памяти: методологический обзор и руководство пользователя. Psychonomic Bulletin and Review, 12(5), 769–786. https://doi.org/10.1021/can-v020n021.p1399
Данг, X., Ян, К., и Чен, Ю. (2021). Разница в возрасте в эффекте форвардного тестирования: изменение роли стратегии и освобождение от упреждающего вмешательства. Когнитивное развитие, 59 (июнь), 10 1079.https://doi.org/10.1016/j.cogdev.2021.101079
