Ένας υπαρξιακός κίνδυνος είναι μια καταστροφή τόσο μεγάλη που είτε αφανίζει όλη την ανθρωπότητα είτε μας ακρωτηριάζει οριστικά. Αυτές μπορεί να είναι φυσικές καταστροφές ή ανθρωπογενείς καταστροφές σκόπιμου ή τυχαίου χαρακτήρα. Ένας υπαρξιακός κίνδυνος μπορεί να υπάρχει εδώ και πολύ καιρό, ή μόνο μερικές δεκαετίες, ή ίσως βρίσκεται στο μέλλον μας. Παραδείγματα υπαρξιακού κινδύνου περιλαμβάνουν μεγάλα χτυπήματα αστεροειδών, πυρηνικός πόλεμος και απατεώνων Τεχνητή Νοημοσύνη.
Η έννοια του υπαρξιακού κινδύνου διατυπώθηκε για πρώτη φορά στη σημερινή της μορφή από τον Δρ. Nick Bostrom, έναν φιλόσοφο της Οξφόρδης. Χρησιμοποιεί ένα διάγραμμα κινδύνου παρόμοιο με το ακόλουθο για να εξηγήσει τους υπαρξιακούς κινδύνους:
Πεδίο κινδύνου ΠαγκόσμιαΕλ Νινιοδάση υπαρξιακός κίνδυνοςΤοπική καταιγίδα,οικονομική ύφεση τυφώναςΠροσωπικά χαρτιά σπασμένα στον αστράγαλο σας πυροβολούν Ένταση κινδύνου ΑμελητέαΔιαχειρίσιμοΤερματικό
Οι υπαρκτικοί κίνδυνοι είναι παγκόσμιοι και τερματικοί, ή ίσως σχεδόν τερματικοί. Ένας εξαιρετικά μεταδοτικός ιός με ποσοστό θνησιμότητας 99.9% στον οποίο κανείς δεν έχει ανοσία αποτελεί παράδειγμα υπαρξιακού κινδύνου.
Ο Bostrom επισημαίνει ότι το μυαλό και τα θεσμικά μας όργανα δεν είναι καλά εξοπλισμένα για να αντιμετωπίσουν τον υπαρξιακό κίνδυνο, γιατί δεν είχαμε ξαναζήσει κάτι τέτοιο – αν το είχαμε, δεν θα ήμασταν εδώ για να τους σκεφτούμε. Όπως ένα παιδί που δεν ξέρει ότι μια σόμπα είναι ζεστή μέχρι να την αγγίξει, έχουμε μικρή εμπειρία με καταστροφές σε αυτό το επίπεδο. Η βουβωνική πανώλη της μεσαιωνικής Ευρώπης και η ισπανική γρίπη του Α’ Παγκοσμίου Πολέμου μας προσφέρουν μια γεύση του πώς θα ήταν μια υπαρξιακή καταστροφή. Δεκάδες εκατομμύρια υγιείς άνθρωποι πέθαναν μέσα σε λίγες ώρες και από τις δύο ασθένειες.
Στην κανονική του εργασία για το θέμα, ο Bostrom απαριθμεί περίπου δώδεκα υπαρξιακούς κινδύνους και τους κατηγοριοποιεί με βάση τη σοβαρότητά τους και τη δυνατότητα ανάκτησής τους. Μερικές από τις πιο εύλογες παρατίθενται εδώ:
γενετικά τροποποιημένους ιούς
Νανοτεχνολογικοί αγώνες εξοπλισμών
καταστροφικός πυρηνικός πόλεμος
αυτοαναπαραγόμενη ρομποτική εκτός ελέγχου
υπερέξυπνο AI αδιάφορο για τον άνθρωπο
φυσική καταστροφή σε επιταχυντή σωματιδίων
έκρηξη υπερηφαιστείου μπλοκάρει τον ήλιο
Λόγω της εξαιρετικής σοβαρότητας και του μη αναστρέψιμου υπαρξιακού κινδύνου, αξίζει να ληφθούν υπόψη και να εφαρμοστούν πιθανά αντίμετρα. Ακόμα κι αν η πιθανότητα μιας δεδομένης υπαρξιακής απειλής να γίνει πραγματικότητα είναι μικρή, τα τεράστια διακυβεύματα απαιτούν ένα σοβαρό πρόγραμμα αποφυγής. Για απειλές ανθρώπινης προέλευσης, τα αντίμετρα περιλαμβάνουν εξελιγμένα συστήματα παρατήρησης και συναγερμού και ρύθμιση ορισμένων τεχνολογιών για να διασφαλιστεί ότι δεν χρησιμοποιούνται για μαζική καταστροφή. Χώρες που είναι ύποπτες για κατοχή όπλων μαζικής καταστροφής υφίστανται μερικές φορές εισβολή από άλλες χώρες που ανησυχούν για τις μακροπρόθεσμες συνέπειες, όπως καταδεικνύει έντονα ο πόλεμος στο Ιράκ.