Utvrđenje, i ako je palo u osmanlijske ruke, pokazalo je svoju snagu kada je odolevalo osmanlijskim napadima tokom dvogodišnje opsade kada je 1441. godine opljačkano i spaljeno. U osmanlijske ruke Novo Brdo konačno pada 1455. godine. Utvrđenje je bilo poprište novih sikoba tek 1689. godine tokom austrijskih prodora na Balkansko poluostrvu kada ga austrijski general Pikolomini zajedno sa lokalnim srpskim ustanicima zauzima. Nakon austrijskog povlačenja sa Balkana i seobe Srba u Južnu Ugarsku prestala je eksploatacija rudnika a tvrđava je sa okolnim naseljima zapustela.