Prema nekim istorijskim izvorima, na mestu biblioteke Klementinum u XI veku se nalazila kapela podignuta u čast Svetom Klementu (papi Klimentu I). Ovo velelepno zdanje je vekovima služilo kao dominikanski manastir, a 1556. godine na tom mestu je osnovan Jezuitski univerzitet.
Biblioteka Klementinum je tipičan primer barokne arhitekture i nije se promenila od kada je otvorena. Zidovi i plafoni su ukrašeni freskama koje opisuju alegorijske motive obrazovanja, a naslikao ih je Jan Hiebl. Slike na kupoli predstavljaju Hram Mudrosti, a na zidovima iznad prozora su portreti važnih ljudi isusovačkog kolegijuma. U središtu dvorane dominiraju geografski i astronomski globusi koji su većinom dela Jezuita. Tu su još i astronomski satovi koje je uglavnom konstruisao Jan Klein.
Danas se u biblioteci Klementinum nalazi oko 20 000 knjiga, koje su većinom vezane za teologiju, a neke datiraju čak i iz XVI veka. U njoj se čuvaju neka od najvažnijih dela češke književnosti, materijali koji su pripadali danskom astronomu Tihu Braheu i moravskom filozofu Janu Amosu Komenskom, kao i zabeleške lokalnih meteoroloških prilika još od 1775. godine.
Biblioteka Klementinum se smatra za jednu od najlepših biblioteka na svetu. Ona je predstavljena i u romanu Tajno čudo čuvenog argentinskog pisca Horhea Luisa Borhesa, gde je glavni junak koji je raj zamišljao kao ogromnu biblioteku sanjao Klementinum i njegove bibliotekare koji su uporno tragali za Bogom. Mnogi evropski astronomi, naučnici, muzičari i filozofi su studirali i radili ovde. Dok je živeo u Pragu Nikola Tesla je proveo ovde mnogo vremena.
