In der Stiftungsurkunde des Klosters Grafschaft aus dem Jahre 1072 fand Kallenhardt als Haupthof Ostervelde gemeinsam mit weiteren Höfen der Umgebung eine erste Erwähnung. Gegen Ende des 13. Jhdts. erfolgte die planmäßige Stadtgründung auf der südlich davon gelegenen Bergkuppe zur Absicherung des kölnischen Besitzes gegen die Grafschaft Arnsberg. In diese Zeit hinein fiel auch die Befestigung von Warstein, Belecke und Rüthen.
Der Kallenhardter Ortsheimatpfleger Rainer Geesmann hat sich über viele Jahre mit der Entwicklung des Ortes befasst und sich erfreulicherweise zu einem Vortrag über seine Erkenntnisse bereit erklärt.