Der erworbene Reichtum im Handel mit den überseeischen Kolonien bescheerte Cádiz nicht nur Freunde, sondern auch Neider und Nutzniesser.
Die Stadt wurde bald zum Ziel von Barbareskenpiraten aus Algerien, die hier im 16. Jahrhundert mehrmals auf Beutezüge ausgingen, aber abgewehrt werden konnten.
Auch wurde die Stadt zum Ziel feindlicher Attacken der Engländer. Letztere zerstörten im April 1587 unter Francis Drake die im Hafen befindliche spanische Armada. Im Juli 1596 plünderten und verbrannten die Engländer auch die Stadt selbst, äscherten die spanische Flotte erneut ein und zogen mit großer Beute ab. Im Rahmen des Englisch-Spanischen Krieges von 1625 scheiterten die Engländer beim Versuch, die Stadt zu erobern. Während des nächsten Englisch-Spanischen Krieges wurde Cádiz vom englischen Admiral Robert Blake von 1655 bis 1657 blockiert.
Castillo San Sebastián
In der Zeit des Bündnisses zwischen Spanien und Frankreich wurde Cádiz 1797–1798 von den Engländern blockiert und 1800 von Admiral Nelson bombardiert. Während der Besetzung Spaniens durch französische Truppen im Spanischen Unabhängigkeitskrieg (1808–1814) blieb Cádiz als einzige Region Spaniens unbesetzt.
Um den Angriffen entgegenzuwirken wurden ab dem 17. Jahrhundert Schutzwälle, Mauern, Festungen und andere Verteidigungseinrichtungen erbaut mit dem Ziel Cádiz vor Feinden sowohl von Meeresseite und später auch vom Festland zu schützen.
Diese Bauten sorgten dafür, dass der Stadt in den darauffolgenden Jahrhunderten der Name "Festung erster Güte" anhaftete.