С годами замок рос и укреплялся. Он служил отправной точкой походов на Великое княжество Литовское, резиденцией Великого магистра ордена и герцога Пруссии. Здесь принимали Великое посольство Петра I и короновали первого прусского короля Фридриха I и первого императора Германии Вильгельма I.
Замок простоял 700 лет, но тут случилась война и превращение Кёнигсберга в Калининград. Замку не посчастливилось стать идеологическим врагом руководства области и лично первого секретаря областного комитета КПСС тов.Коновалова.
Здание сильно пострадало во время штурма города, хотя при желании его можно было восстановить. Но, к сожалению, желания не было. 20 лет замок разрушался, пока в 1967г., несмотря на попытки протестов журналистов, историков и архитекторов, его не взорвали.
Официально - для того чтобы на лучшем месте в городе построить новое здание взамен якобы разваливающегося старого для разросшегося аппарата облкомитета.