В начале XX века в Тильзите было построено несколько зданий в популярном в то время в Восточной Пруссии неоготическом стиле. В том числе, административное здание управления округом Тильзит-Рагнит. Оно было воздвигнуто в 1907 году в районе Баллгарден (улица Суворова). Сам Крайсхаус своим обликом напоминал старинный готический замок, органично вписываясь в ландшафт восточного берега Мельничного пруда. Во время Второй мировой войны здание администрации округами сильно пострадало от бомбежек, была сильно повреждена башня. В уцелевшем крыле, примыкавшем к башне, какое-то время размещалась казарма. Окончательно разрушен Крайсхаус был в конце 1970-х.
