На развалинах деревянных англосаксонских поселений нормандцы возводили каменные башни, обнесенные высокими стенами, называвшиеся castle. Эти военизированные замки, по замыслу Вильгельма, должны были защищать новых хозяев страны от враждебно настроенного местного населения, а еще служить средством устрашения непокорной англосаксонской знати. Образцом таких castle’s и стал лондонский Тауэр, построенный у стен Сити. Творцом этой «дворцовой крепости» хроники называют Гэндальфа, епископа Рочестерского.
Собственно, Гэндальф только положил начало Тауэру, соорудив его «сердцевину» — Белую Башню, или, иначе говоря, Белый Тауэр. Это сооружение, строительство которого завершилось в 1097 году, было самым высоким во всем Лондоне и представляло собой каменный четырехугольник, уходящий ввысь почти на 30 м, состоящий из четырех ярусов: подземелье, нижний, банкетный и парадный этажи. Большая Белая башня. Она была заложена в 1078 году, исегодня дает полное представление о строительных приемах, использовавшихсяпри возведении норманнских укреплений. Большая башня или, как ее называют, Белый Тауэр — самая древняя и важнаябашня, она надежно защищена внутренней стеной, имеющей тринадцать башен, инаружной стеной с шестью башнями со стороны реки. В нижнем этаже Белойбашни находится 12-ти метровый колодец - запасы воды для гарнизона.
. Она должна была служить королевским замком: местом жительства королевской семьи и одновременно опорным пунктом. Толстые стены, узкий вход, находящийся очень высоко (попасть в башню можно только по пристроенной деревянной лестнице)- все это предполагало, что башня и без крепостных стен способна быть надежным укрытием и действительно: во время восстаний англичанам ни разу не удалось штурмом захватить ни ее, ни аналогичные башни, выстроенные нормандцами по всей Англии. Башня состоит из 4-х ярусов: подземелья, нижнего этажа, банкетного этажа и парадного этажа. Каждый этаж делился на три комнаты. Одна из комнат банкетного зала со временем была превращена в капеллу Святого Иоанна Богослова, занимающую два этажа- самую древнюю церковь Лондона (1080 год). В подвале башни на случай осады был вырыт колодец глубиной 12 метров, в котором и сегодня имеется питьевая вода.
Со временем Тауэр из жилища королевской семьи постепенно стал превращаться в королевские канцелярию, арсенал, зверинец и тюрьму.
После гибели Вильгельма Рыжего лондонцы арестовали епископа, и новый король Генрих I, прозванный Ученым, вынужден был заточить прелата в Тауэр. Впрочем, последний был там скорее гостем, чем узником: Фламбард жил в кабинете банкетного этажа, окруженный многочисленной прислугой. Дело кончилось тем, что в один из зимних вечеров Ральф напоил стражу и сбежал по веревке, привязав ее к решетке окна.
В 1135 году король Генрих умер, подавившись рыбной костью, и на престол взошел Стефан, внук Завоевателя. После долгой междоусобной войны Стефан объявил своим наследником Генриха Плантагенета из Анжуйского французского дома, который стал английским королем Генрихом II. В царствование его сына — Иоанна, прозванного Безземельным, в Тауэр попала первая женщина - — Матильда Фицуолтер, которую трубадуры называли не иначе, как Прекрасной Мод. Иоанн в свое время решил ее соблазнить, но получил отказ. И тогда заточил Мод в одну из башен Белого Тауэра, надеясь, что она «образумится». Но и это не вразумило юную леди, и тогда король коварно послал ей отравленное яйцо, а та его с голоду сьела. 
Сын Иоанна Безземельного вошел в историю как Генрих III Строитель. При нем Тауэр обрел свой практически современный вид. Главным каменщиком короля был Адам де Ламбурн, однако зачастую распорядителем работ выступал сам король. Водяные ворота, впоследствии названные воротами Предателей, Колыбельная башня и Фонарная башня, в которой он оборудовал себе спальню и кабинет, обязаны своим возникновением именно этому королю. К тому же по приказу Генриха III внутренние покои были украшены фресками и лепниной, а часовни — витражами, скульптурами и резьбой.