Fort Wysoka Skała w Srebrnej Górze został zbudowany w latach 1768-1771 z celem obrony podejścia do Donjonu, a także kontroli nad miasteczkiem i otaczającymi wzgórzami. Centralnym elementem fortecy był Bastion Dolny i Donjon, połączone płaszczyzną esplanady, na której znajdowały się magazyny przechowujące narzędzia, sprzęt artyleryjski, żywność i inne zapasy.


     Ważne były zwłaszcza cztery magazyny, w których przechowywano duże ilości zboża i mąki dla załogi twierdzy. Fort Wysoka Skała miał 10 kazamat i 14 pomieszczeń strzeleckich, obsadzonych przez 6 oficerów i 115 żołnierzy. Posiadał również studnię o głębokości 69 metrów.


     W okresie II wojny światowej Fort pełnił funkcję więzienia dla niesubordynowanych oficerów z Oflagu (Fort Ostróg). Pomimo trudnych warunków, w 1940 roku doszło do częściowo udanej ucieczki polskich oficerów, w tym Jędrzeja Giertycha.