Wiele osób kojarzy czarną flagę z czaszką i skrzyżowanymi kośćmi z piratami, a wielu używa terminu „Jolly Roger” w odniesieniu do takiej flagi. Biorąc pod uwagę, że piracka flaga nie jest zbyt wesoła i wydaje się, że nie dotyczy nikogo o imieniu Roger, wiele osób zastanawia się, skąd pochodzi ta nazwa. Jak to często bywa z popularnymi terminami ludowymi, znaczenie Jolly Rogera jest nieco niejasne i niepewne, chociaż wysunięto kilka hipotez dotyczących nazwy.
Piraci od wieków pływają po morzach, zazwyczaj próbując schwytać statki z nienaruszoną załogą i ładunkiem. Wielu wczesnych piratów faktycznie kierowało dość demokratycznymi statkami, zachęcając załogi schwytanych statków do połączenia sił i po prostu więżąc tych, którzy stawiali opór, aż do następnego portu zawinięcia. Piraci używali flag do komunikowania swoich zamiarów innym statkom, zazwyczaj mieniąc się fałszywymi kolorami, dopóki nie zbliżyli się na tyle, by zdobyć statek. Jolly Roger poleciał, by zachęcić statek do poddania się.
Piraci zwykle wywieszali czarne flagi, z czerwoną flagą wskazującą, że piraci nie oddadzą oporu przeciwnikom. Użycie kości na pirackich flagach datuje się co najmniej na 1600 rok, a być może nawet wcześniej. Wiele kultur kojarzy potężną symbolikę z kośćmi, które mają przypominać ludziom o ich własnej śmiertelności i słabościach. Piraci wykorzystywali liczne wariacje na temat czaszek i skrzyżowanych piszczeli, a do lat 1720. XVIII wieku kilka relacji określało pirackie flagi jako „Jolly Rogers”.
Jedna z teorii kryjących się za nazwą mówi, że może to być zepsucie francuskiego jolie rouge, dla „ładnie czerwonego”, w odniesieniu do czerwonych flag noszonych przez niektórych piratów. Jednak historycy nie widzą zbyt wielu dowodów na użycie jolie rouge w odniesieniu do pirackiej flagi. Niektórzy teoretycy sugerowali również, że może to być anglicyzacja „Ali Raja”, niesławnego tamilskiego pirata, który terroryzował morza i prawdopodobnie również wywieszał czarną flagę. Obie te ludowe etymologie wywodzą znaczenie „Jolly Roger” wstecz, próbując wymyślić stare terminy, które można by przekształcić we współczesną frazę.
Chociaż oba te wyjaśnienia są kolorowe, prawdziwe pochodzenie jest prawdopodobnie bardziej przyziemne. W Anglii „Roger” jest blisko spokrewniony z „łobuzem”, a wielu ludzi nazywa diabła Starym Rogerem lub mówi, że „łapie” kogoś, gdy sprawia mu kłopoty. Ponieważ piraci są kojarzeni z łobuzerskimi zachowaniami, nazwanie ich flagi Jolly Roger miałoby sens, ponieważ łotrzykowie mają tendencję do bycia szczególnie wesołymi, gdy robią psoty, jak to często robią piraci.