Gdy strażnica spłonęła na skutek najazdu Litwinów w końcu XIV wieku, Zakon Krzyżacki przystąpił do budowy murowanego zamku na kamiennym cokole. Zamek powstał na planie kwadratu o boku około 40 metrów, z dziedzińcem i czworoboczną wieżą. Wybudowano także ogromne podzamcze, które w razie zagrożenia najazdem wroga miało chronić mieszkańców osady. Mieściły się tam też budynki gospodarcze. Zamek wraz z podzamczem otaczał mur obronny i głęboka fosa.

Siedziba prokuratora
Swoją siedzibę mieli tu komtur elbląski i prokurator krzyżacki. Na skutek wojen polsko-krzyżackich w XV w. i na początku XVI wieku zamek został częściowo zniszczony. Przebudowano go w latach 1579–1581 na zlecenie margrabiego Jerzego Fryderyka z Ansbach. Od tej pory zrezygnowano z dawnej, obronnej funkcji zamku, który stał się budowlą reprezentacyjną.

W połowie XVII wieku obiekt zaczął podupadać i niszczeć. Rozebrano wtedy wieżę, jedno ze skrzydeł, górne kondygnacje pozostałych skrzydeł oraz mury obronne.

W 1928 roku w ruinach zamku powstało muzeum regionalne. W 1969 roku archeolodzy trafili na fundamenty skrzydła południowo-wschodniego z przejazdem na dziedziniec wewnętrzny.

Dziś w odrestaurowanych budynkach zamku znajdują się urzędy oraz oddział Muzeum Warmii i Mazur, działa tu też Bractwo Miecza i Kuszy.