Voor het eerst komen we in 1260 een ridder met de naam Van Puiflijk tegen. Willem van Puffelick  is Heer van de Heerlijkheid op de Hucht. Later komen we nog de adellijke families Van Mekeren, Van Erp en Van Scharrenburg tegen. Of de heren nou echt kastelen hadden? Eerder zullen het versterkte hoeves zijn geweest met namen als Darup, vlakbij de kerk, het Holt, nu aan de Noord-Zuid richting Leeuwen en de Scharenburg, die later de Smitshof heette.