Der Arrestturm ist das letzte von ursprünglich 7 vorhandenen Wildberger Stadttoren. Bis nach dem 2. Weltkrieg wurde er als Ortsarrest-Gefängnis genutzt.
Durch 7 Stadttore konnte man bis zu Beginn des 19. Jahrhunderts das Amtsstädtchen Wildberg betreten. Ein Kupferstich von Merian von 1643 zeigt die gut befestigte Unter- und Oberstadt mit Ringmauer und Tortürmen.
Die Stadtmauern waren damals nicht nur als militärische Verteidigungsanlagen gedacht, sie dienten vor allem der Kontrolle des Waren- und Personenverkehrs. Stadtluft machte nicht nur frei, sondern schützte auch vor vielen Gaunern, Vaganten, Dieben und Räubern, die bis ins 18. Jahrhundert weit verbreitet waren. Die vielen bewaldeten Hügel und Berge ringsum boten allerlei Schlupfwinkel. Wer dennoch gefasst wurde, landete bis zum Prozess in den Gefängnistürmen der Städte.
1806 war es mit den Kleinstaaten zu Ende: Sie gingen im Königreich Württemberg und dem Großherzogtum Baden auf. Mauern und Tortürme wurden überflüssig und nicht mehr gebraucht. Außerdem waren viele − nicht nur in Wildberg − schon längst baufällig geworden und standen dem weiteren Wachstum der Stadt im Wege. Zwischen 1820 und 1840 fiel nahezu die gesamte Stadtbefestigung Abrißarbeiten zum Opfer. Ausser wenigen erhaltenen Abschnitten der Stadtmauer blieben nur der Hexenturm sowie der Arrestturm erhalten. In dessen Fachwerkobergeschoss wurden noch bis in die 1950er Jahre zwei Arrestzellen genutzt.