Efekt modalności to termin używany w psychologii eksperymentalnej w celu wyjaśnienia wpływu sposobu prezentacji informacji na pamięć i uczenie się. Badania przeprowadzone przez Swellera i in. w 1988 roku oraz Moreno i Mayera w 1999 roku wykazały, że obciążenie pamięci jest zmniejszone, gdy informacje są prezentowane w sposób słuchowy, a nie wizualny. W szczególności stwierdzono, że poprawia się zapamiętywanie ostatnich pozycji na liście, gdy lista została wypowiedziana, a nie przeczytana.
Modalność prezentacji i jej wpływ na uczenie się od wielu lat interesuje psychologów. Wczesny przegląd odpowiedniej literatury przez McGeoch w 1942 r. wykazał, że nie ma efektu modalności. Późniejsze badania potwierdzają jednak ogólny pogląd, że przy pomiarze pamięci krótkotrwałej materiały prezentowane słuchowo są lepiej zapamiętywane niż materiały prezentowane wizualnie. Odnosi się to bardziej do ostatnich czterech lub pięciu pozycji na liście, w których środkowe pozycje wydają się mało dotknięte efektem modalności.
Jednym z wyjaśnień tego zjawiska jest istnienie pamięci echa, która jest słuchowym rejestrem czuciowym lub słuchowym magazynem utrzymującym sygnał dźwiękowy przez dwie lub pięć sekund po jego wypowiedzeniu lub usłyszeniu. Ta pamięć sensoryczna pozwala uczniowi przywołać kilka ostatnich pozycji z listy, ale ponieważ informacje nie zostały przetworzone lub zbadane, przywołanie długoterminowe często nie jest możliwe. Pamięć długotrwała wymaga fizycznych zmian w mózgu, które powstają w wyniku przetwarzania informacji.
W 1969 Crowder i Morton zaproponowali, aby ludzie mieli przedjęzykowy magazyn słuchowy PAS, który przechowuje dźwięki mowy przez maksymalnie dwie sekundy. Informacje te są łatwo dostępne do przywołania i łatwe do ponownego rozpowszechniania, ale są słabo przetworzone. Aby elementy z PAS mogły być później przywołane, muszą najpierw zostać zakodowane w mózgu za pomocą takich metod, jak powtarzanie i próby.
Zarówno Sweller i in., jak i Moreno i Mayer twierdzą, że kiedy instrukcja multimedialna składa się z tekstu i obrazu, istnieje duże zapotrzebowanie na pamięć roboczą, ponieważ uczeń musi zintegrować informacje wizualne i przestrzenne. Pamięć robocza to kolejne określenie pamięci krótkotrwałej. Stwierdzono zmniejszenie obciążenia pamięci, gdy uczeń musiał przetwarzać tylko informacje słuchowe. Zgodnie z modelem pamięci roboczej przedstawionym przez Baddeleya (1992), istnieją dwa systemy podrzędne specyficzne dla modalności zaangażowane w przetwarzanie informacji. Pierwszy służy do przetwarzania informacji wizualnej i przestrzennej, a drugi do przetwarzania informacji akustycznej. Gdy informacje są prezentowane w obu trybach jednocześnie, zwiększa się całkowita pojemność pamięci roboczej.