Au XIIIème siècle, le "Chastel de Saint-Victor sur Loire" est l'ensemble du bourg fortifié avec son château et ses remparts, dominant les vallées de la Loire et du Lizeron. La fortification flanquée de deux tours, l'une côté vent, l'autre côté bise, demeure seigneuriale au XVIème et XVIIème siècle avec la famille De Nérestang et autres propriétaires, puis prison en des temps difficiles. Le château fût acquis au XIXème siècle par les Religieuses Saint Joseph qui en firent une institution pour jeunes filles. [ suite ] Les armes de Saint-Victor Histoire chronologique du château