Mały system operacyjny to taki, który składa się ze stosunkowo niewielkiej ilości bazowego kodu. W rezultacie zwykle wymaga mniej zasobów od maszyny, na której działa.
Zgodnie z bardzo ogólną zasadą, większość systemów określanych jako mały system operacyjny opiera się na jądrze Linux. Jądro jest w rzeczywistości mózgiem komputera i decyduje dokładnie, co powinien zrobić w danym momencie. Linux jest zwykle używany w systemach open source, które są bardzo zróżnicowane, a niektóre są mniejsze od innych. Microsoft Windows i Apple OSX są zwykle uważane za bardzo duże systemy operacyjne.
Ponieważ idea małego systemu operacyjnego jest raczej porównawcza niż absolutna, istnieją edycje systemu Windows, które można określić jako małe. Najbardziej znanym z nich jest Windows CE, który jest przeznaczony dla komputerów o bardzo niskich parametrach i dla urządzeń samodzielnych. W przypadku tych ostatnich system jest zwykle wbudowany bezpośrednio w urządzenie. Niektóre urządzenia z systemem Windows CE zawierają interaktywne ekrany informacyjne i systemy rozrywki w oparciu w niektórych liniach lotniczych.
Główną zaletą małego systemu operacyjnego jest to, że może działać na komputerze o niskiej specyfikacji i zwykle nie wymaga tak szybkiego komputera ani tak dużej ilości pamięci, jak większe systemy. Pozostawia to więcej zasobów do uruchamiania aplikacji. Umożliwia również dłuższe korzystanie ze starszych komputerów, zanim zostaną uznane za przestarzałe.
Kolejną korzyścią jest to, że mały system operacyjny z definicji ma mniejszy potencjał do zawierania błędów. Ma to jednak zastosowanie tylko w wartościach bezwzględnych. Źle napisany mały system operacyjny prawdopodobnie spowoduje tyle samo lub więcej problemów niż dobrze napisany duży system.
Niektóre systemy operacyjne są tak małe, że można je przechowywać na urządzeniu przenośnym, a nawet uruchamiać z niego. Może to obejmować pamięć USB. Oznacza to, że system operacyjny można natychmiast uruchomić na komputerze bez konieczności jego instalowania. Może to być szczególnie przydatne, gdy mamy do czynienia z komputerem, na którym zainstalowany system został uszkodzony.
Wady małego systemu operacyjnego zależą od tego, dlaczego jest mały. Na przykład może działać tylko w wierszu poleceń, co oznacza, że informacje są wprowadzane i wyświetlane wyłącznie w formie tekstowej, a nie graficznej, co może być zniechęcające dla wielu użytkowników. Mały system może również zaoszczędzić miejsce dzięki bardziej ograniczonej obsłudze urządzeń sprzętowych, takich jak drukarki lub modemy.