Η ευρύτερη περιοχή της Πράγας κατοικείται από την Παλαιολιθική Εποχή. Γύρω στο 200 π.Χ., Κέλτες εγκαταστάθηκαν σε μια περιοχή προς τα νότια ονόματι Ζάβιστ, αλλά αργότερα εκδιώχθηκαν ή αφομοιώθηκαν από γερμανικά φύλα. Από τον 4ο αιώνα κι έπειτα, η περιοχή βρισκόταν υπό την εξουσία των Σλάβων, αν και για μια περίοδο υποτάχτηκαν στους Αβάρους.
Σύμφωνα με το θρύλο, η Πράγα ιδρύθηκε από την Πριγκίπισσα Λιμπούσε και το σύζυγό της, Πρέμυσλ, ιδρυτή της ομώνυμης δυναστείας. Τον αρχικό πυρήνα της πόλης αποτελούσε ένα κάστρο σε ένα λόφο στη δεξιά όχθη του Μολδάβα, γνωστό ως Βίσεχραντ, που σημαίνει «υψηλό, ανώτερο κάστρο». Σύντομα, η πόλη έγινε η έδρα των Βασιλέων της Βοημίας, κάποιοι εκ των οποίων κυβέρνησαν αργότερα ως αυτοκράτορες της Αγίας Ρωμαϊκής Αυτοκρατορίας, καθώς και σημαντικότατο εμπορικό κέντρο, το οποίο προσέλκυε εμπόρους από όλη την Ευρώπη. H πόλη έγινε επισκοπάτο το 973.

Ο βασιλιάς Βλαδισλάβος Β’ έχτισε το 1170 την πρώτη γέφυρα πάνω από το Μολδάβα, τη Γέφυρα της Ιουδήθ, αν και κατέρρευσε το 1342. Στα θεμέλιά της χτίστηκε αργότερα η Γέφυρα του Καρόλου. Το 1257, υπό τη βασιλεία του Ότακαρ Β’, δημιουργήθηκε η Μάλα Στράνα, συνοικία των Γερμανών, που είχαν το δικαίωμα απονομής δικαιοσύνης, σύμφωνα με τη νομοθεσία του Μαγδεβούργου. Η νέα συνοικία ήταν στην απέναντι όχθη από το Στάρε Μιέστο, την Παλαιά Πόλη.

Η πόλη άνθισε το 14ο αιώνα, κατά τη βασιλεία του Καρόλου του 4ου, ο οποίος διέταξε την κατασκευή του Νόβε Μιέστο, της Νέας Πόλης, δίπλα στην Παλαιά. Επίσης ανεγέρθηκε η Γέφυρα του Καρόλου, η οποία και συνέδεε τη νέα περιοχή με τη Μάλα Στράνα. Μνημεία της εποχής αυτής είναι και ο Καθεδρικός του Αγίου Βίτου μέσα στο κάστρο Χράντσανι, ο παλαιότερος γοτθικός καθεδρικός ναός στην κεντρική Ευρώπη, καθώς και το Πανεπιστήμιο Καρόλου, το παλαιότερο πανεπιστήμιο στην κεντρική Ευρώπη. Κατά τη βασιλεία του Βεντσεσλάβου Δ΄, ο Γιαν Χους, θεολόγος και λέκτορας Πανεπιστημίου, διεξήγαγε τις ομιλίες του στην Πράγα, κηρύσσοντας τις ιδέες του για τη μεταρρύθμιση της εκκλησίας. Έχοντας γίνει επικίνδυνος για πολιτικούς και θρησκευτικούς λόγους, ο Χους κάηκε στην πυρά το 1415.

Στους επόμενους δύο αιώνες, η Πράγα καθιερώθηκε ως εμπορικό κέντρο στην καρδιά της Ευρώπης. Το 1526, το Βασίλειο της Βοημίας παραχωρήθηκε στους Αψβούργους. Ευημερία γνώρισε η πόλη όσο ήταν στο θρόνο ο Αυτοκράτορας Ροδόλφος Β΄, εκλεγμένος βασιλιάς της Βοημίας το 1576. Ζούσε στο Κάστρο, όπου συγκέντρωνε στην αυλή του πλήθος από αστρολόγους, μάγους και άλλες παράξενες φυσιογνωμίες.