Francuski artysta Jean Dubuffet wymyślił termin „art brut” w latach 1940. XX wieku. Termin ten, oznaczający sztukę surową, wskazuje na sztukę wykonaną przez nieprzeszkolonych artystów pracujących całkowicie poza konwencjami tradycyjnej sztuki i społeczeństwa. Będąc pod silnym wpływem książek opisujących dzieła sztuki tworzone przez pacjentów w zakładach dla obłąkanych, Dubuffet zaczął kolekcjonować dzieła sztuki od zinstytucjonalizowanych pacjentów psychiatrycznych, więźniów i innych, których sztuka była oderwana od ograniczeń społeczeństwa. Dubuffet wierzył, że w tej surowej sztuce istnieje czysta forma sztuki, wyrastająca prosto z głębi psychiki artysty. Pod koniec lat 1940. współpracował z innymi artystami, aby stworzyć kompilację przykładów, które stały się „Collection de l’Art Brut”, obecnie znajdującą się w Lozannie w Szwajcarii.
Dzieła art brut studiowane i gromadzone przez Dubuffeta wyrażały najgłębsze lęki i marzenia pacjentów przebywających w zakładach psychiatrycznych i więźniów. Prymitywne rysunki fałszywych pieniędzy tworzone na papierze toaletowym i używane przez hospitalizowaną artystkę, by zapłacić swojemu psychiatrze, budzą dociekliwe pytania dotyczące symboliki i ironii. Ten przykład art brut charakteryzuje indywidualny charakter i osobista konieczność stojąca za tworzeniem tych dzieł. Koncepcje zbywalności i akceptacji w świecie sztuki, codzienne troski artystów głównego nurtu, po prostu nie istnieją dla twórców art brut.
Chociaż nie jest to dokładnie odpowiednik art brut, termin „sztuka zewnętrzna” jest powszechnie używany w świecie anglojęzycznym na oznaczenie podobnej sztuki. Podczas gdy Dubuffet koncentrował się głównie na kolekcjonowaniu sztuki szaleńców azylowych i pracy więźniów, sztuka outsiderów ma szerszy zakres. Mówiąc ściśle, twórcy art brut żyli na marginesie społeczeństwa, nie mając interakcji z instytucjami akademickimi czy galeriami. Z drugiej strony artyści z zewnątrz mogą nie mieć technicznego wykształcenia w sztuce, ale często żyją w społeczeństwie. Podobnie jak twórcy sztuki surowej, artyści z zewnątrz kierują się raczej wewnętrznymi wizjami i własnym poczuciem kreatywności niż konwencjami sztuki akademickiej czy zawodowej.
Dubuffet wierzył, że wszystkie nowe formy sztuki są ostatecznie asymilowane w sztuce głównego nurtu. Ta transformacja powoduje, że sztuka traci moc oryginalnej kreatywności. Niektórzy w świecie sztuki widzą, że dzieje się to w przypadku sztuki z zewnątrz. Zamiast być wyłącznie domeną wizjonerów lub artystów pracujących całkowicie poza tradycyjnymi ideałami sztuki, termin ten jest obecnie używany do sprzedaży dzieł każdego nieprzeszkolonego lub niekonwencjonalnego artysty. Wielu uważa, że rosnące uznanie i akceptacja sztuki art brut i outsider przekształciło ją ze sztuki surowej w sztukę popularną.