Αρχαιότητα
Στην αρχαιότητα οι σημαντικότερες πόλεις της βόρειας Καρπάθου ήταν η Βρυκούς (Βρουκούντα) και η Νίσυρος που ήταν χτισμένες στην ακτή γύρω από το στενό μεταξύ Καρπάθου και Σαρίας. Τον 7ο αιώνα μ.Χ. λόγω των πειρατικών επιδρομών, κυρίως Σαρακηνών πειρατών , οι κάτοικοι των αρχαίων πόλεων εγκατέλειψαν τις αρχικές τους εστίες και αναζήτησαν καταφύγιο σε ορεινότερα και πιο δυσπρόσιτα σημεία του νησιού με αποτέλεσμα να ιδρύσουν τον σημερινό οικισμό.
Ο οικισμός χτίστηκε ακολουθώντας την αρχιτεκτονική των μεσαιωνικών νησιωτικών οικισμών και την εικόνα αυτή διατηρεί σχεδόν αναλλοίωτη μέχρι σήμερα. Την ονομασία Όλυμπος την οφείλει στο παλαιότερο όνομα του βουνού στο οποίο χτίστηκε, το οποίο σήμερα ονομάζεται προφήτης Ηλίας. Η Όλυμπος παρέμεινε απομονωμένη από τις υπόλοιπες περιοχές της Ελλάδας, ακόμα και από την υπόλοιπη Κάρπαθο με αποτέλεσμα να αναπτύξει ξεχωριστή παράδοση, πολλά στοιχεία της οποίας διατηρεί ακόμα.
Χαρακτηριστική είναι η παραδοσιακή φορεσιά της περιοχής που φοριέται ακόμα και σήμερα από τις γυναίκες της Ολύμπου καθώς και η παραδοσιακή μουσική και τα τραγούδια του τόπου. Μέχρι την δεκαετία του 1980 ο δρόμος που συνέδεε τον οικισμό με το υπόλοιπο νησί ήταν ιδιαίτερα δύσβατος με αποτέλεσμα η επικοινωνία του οικισμού με την υπόλοιπη Κάρπαθο να γίνεται κυρίως μέσω θαλάσσης από το λιμάνι του Διαφανίου. Η βελτίωση του οδικού δικτύου βοήθησε πολύ την τουριστική ανάπτυξη της περιοχής η οποία ήταν ραγδαία μετά το 1990. Η Όλυμπος λόγω του αρχιτεκτονικού της κάλλους ορίστηκε ιστορική έδρα του νέου δήμου Καρπάθου.