Palata Vestminster je uništena u požaru 1834. godine, a već sledeće godine je odlučeno da nove zgrade Doma Parlamenta treba da sadrže toranj i sat. Istorija Big Bena počela je sa problemom. Njegova izgradnja je obeležila kašnjenja u isporuci, pitanja budžeta i birokratije.

Toranj u neogotičkom stilu i satove dizajnirao je arhitekta Augustus Pugin. Visok je 96,3 metara, a prvih 61 metar izgrađeno je od opeke obložene kamenom. Na sve četiri strane tornja su satovi čija lica su postavljena u gvozdeni okvir prečnika 7 metra, podržavan sa 312 komada opal stakla. Na osnovi svakog sata pozlaćenim slovima piše na latinskom jeziku: "DOMINE SALVAM FAC REGINAM NOSTRAM VICTORIAM PRIMAM", što znači: "Bože, čuvaj našu kraljicu Viktoriju." Kazaljka koja pokazuje časove duga je 2,7 metra, a kazaljka koja pokazuje minute 4,3 metra. Mehanizam satova je završen 1854. godine, a toranj 1858. godine. Međutim, toranj je bio premali za mehanički sat. Veliko zvono od 16,25 tona postavljeno 1858. godine se razbilo samo dan posle postavljanja, pa je moralo da bude zamenjeno. Satovi na tornju su ušli u upotrebu 7. septembra 1859. godine.

O poreklu imena Big Ben postoji više pretpostavki. Neki veruju da je Big Ben dobio ime po političaru i građevinskom inženjeru koji je bio zadužen za izgradnju, Bendžaminu Holu, a koji je zbog svog stasa i visine dobio nadimak Big Ben. Drugi veruju da je dobio ime u čast veoma popularnog boksera teške kategorije, Engleza Bendžamina Kanta, koji je osvojio turnir u godini kada je toranj bio u centru velike debate u Londonu i kada je zvono liveno.

Čuveni toranj sa satom britanskog Parlamenta od septembra 2012. godine preimenovan je u Elizabetin toranj, u čast 60. godišnjice vladavine kraljice Elizabete druge.