Bac je prema nekim letopisima bio i Avarska tvrdjava (873. godine.). Ugarski kralj Stjepan i osnovao je u Bacu zupaniju, a na prelazu prvog milenijuma u drugi, Bac je vec bio izgradjen i utvrdjen grad, povezan Mostongom sa Dunavom. Za vreme Arpadovica Bac postaje ne samo crkveno sedište nadbiskupije vec i kraljevski grad u koji dolaze plemici i vladari na dogovore, zborove i skupštine. U XII veku Bac belezi veliki uspon. Od XII veka ustanovljen je obicaj da se jednom godišnje ugosti kralj. U gradu su se nalazili osim zupana i podzupani, sudije, vojno osoblje i dr. Kada je prosla mongolska najezda sredinom XIII veka Bela IV obnavlja ovaj grad. Ostaci sadasnjih zidina tvrdave Bac poticu iz vremena Karla Roberta Anzujskog, kada su podignuti u periodu od 1338. do 1342. godine. Tada je, prema uzorima francuske gotike, izgraden deo sadašnjih odbrambenih objekata.

U XIV veku su zabelezeni sve cesci upadi Turaka. Mnogi pohodi na Turke su kretali iz Baca. Bac je, kažu zapisi imao više stanovništva, zanatlija i raznih zanimanja nego zajedno Sombor, Subotica, Apatin i Becej. Nakon pozara u XIV veku, tvrdava je obnovljena i ojacana i tada je postala vazno vojno, politicko, kulturno i crkveno sediste. Kako su zabelezili istoricari, zajedno s tvrdjavom nastalo je i podgradje, u koje se ulazilo kroz kapiju Siljak, koja i danas postoji. U vreme Mohacke bitke (1526. godine), Bac je dao svoju konjicu. Medutim prodor Turaka nije zaustavljen pa Bac. Nakon Mohacke bitke, Bac pada u ruke Turaka. Tvrdavu Bac je tada dosta dugo i uspesno branio srpski despot Stefan Berisavljevic. Od 1592. do 1682. godine grad i tvrdava su bili pod turskom vlascu, a od Rakocijeve bune (1703 -1711) napustena je i razvaljena.