Wieża z kości słoniowej jest używana do reprezentowania osoby zdystansowanej lub oderwanej od walki i konfliktów tego świata. Często stosuje się go do intelektualistów i profesorów uniwersyteckich lub po prostu do skrajnie naiwnych, w negatywnym sensie. Podstawową koncepcją jest to, że człowiek może teoretyzować o świecie wszystko, czego chce od ochronnych murów uczelni, ale życie w nim, bez korzyści z wieży z kości słoniowej, daje bardziej realistyczne poczucie tego, jak filozofia lub obowiązuje sztuka.
Termin ten został po raz pierwszy użyty w Starym Testamencie w Pieśni nad Pieśniami. Salomon pochwalił szyję swojej ukochanej, porównując ją do „wieży z kości słoniowej” w 7:4. Homer używa podobnego terminu w swojej Odysei, omawiając głupawą naturę tych, którzy wychodzą z bramy z kości słoniowej. Ivory może sugerować Homerowi kogoś, kto jest naiwny. Z drugiej strony użycie Salomona łączy się z czystością i pięknem.
W XIX wieku francuski poeta Charles-Augustin Saint Beuve użył tego wyrażenia, by krytykować i porównywać Alfreda de Vigny do Victora Hugo. Saint Beuve uważał, że de Vigny miał pewną naiwność i odsunięcie od świata, bez którego Hugo na szczęście był. Hugo brnął w błocie, podczas gdy de Vigny „wyszedł na emeryturę przed południem” w swoim tour d’ivoire.
Oczywiste jest, że kość słoniowa jest mocna, rzadka i czysta. Chociaż obecnie kość słoniowa często kojarzy się z kłusownictwem słoni, nie byłoby to wielkim zmartwieniem dla Saint Beuve. Kość słoniowa kojarzyła się z wartością, a nie z nielegalnym handlem kością słoniową. Czystość kości słoniowej, a tym samym wieża z kości słoniowej, również wyraża pewną młodość lub dziewictwo i znowu określenie naiwność. Ktoś, kto ukrywa się w wieży z kości słoniowej, jest wyraźnie pozbawiony doświadczenia.
W dzisiejszym użyciu wieża z kości słoniowej reprezentuje stan usunięcia ze świata. Rzeczywistość życia nie dotyka człowieka w wieży z kości słoniowej, przez co ma on wypaczoną lub niewinną perspektywę. Orzeczenia z wieży z kości słoniowej mają niewielką wartość, ponieważ nie są realistyczne.
Patrzy się na przykład na wiele celebrytów, którzy wydają się bez wysiłku wyglądać młodo i szczuplej. Jeśli zastanawiają się, dlaczego innym nie jest łatwo pozostać szczupłym lub pięknym, przeciętny człowiek, który nie ma dostępu do takich rzeczy, jak wyszkoleni dietetycy, trenerzy personalni i chirurdzy plastyczni, często przyjmuje to z wielką irytacją. Stosunek celebryty do osobistego wyglądu pochodzi z wieży z kości słoniowej, bogactwa i przywilejów ograniczonych do nielicznych.