U drugoj polovici toga stoljeća život katolika postaje sve nesigurniji. Daljnjem pogoršanju prilika pridonio je početak rata između Habsburškoga i Osmanskoga Carstva 1683. (Bečki rat). Iz tih razloga franjevci 1687. godine idu u izbjeglištvo i nastanjuju se u Iloku na Dunavu, a s njima mahom i olovski katolici. Tijekom sljedećih petnaestak godina u samostanu je tek jedan franjevac, čuvar svetišta. Samostan je preživio katastrofu Bečkoga rata, ali ne zadugo. Izgorio je u podmetnutom požaru zajedno s crkvom u noći 1. na 2. kolovoza 1704. godine, piše Marko Karamatić za portal Svjetlo riječi.

Crkva je bila veličine 12,60 x 9,50 m, s apsidom i dvojim ulaznim vratima. Unutra na lijevoj strani nalazila se pokrajnja kapelica 4 x 3,35 m. Pod je bio prekriven sa šest kamenih ploča ispod kojih su bile grobnice. Oslikani fragment žbuke kazuje da je bila urešena zidnim slikama na uokvirenim poljima. U njoj su se nalazile i dvije Bogorodičine slike: jedna na glavnom oltaru koja je predstavljala Uznesenje Marijino, istog autora koji je naslikao našu sliku sv. Andrije u samostanu u Rovinju, kako to bilježi vizitator fra Pavao Rovinjanin 1640., i druga, čudotvorna, u kapelici na kojoj je prikazana Gospa s djetetom u krilu, a izradio ju je na dasci sveti Luka. Čudotvornoj slici hodočastilo se iz svih krajeva Bosne i susjednih zemalja, među kojima su bili „Bugari, Srbi, Rašani, Albanci, pogani…” Čini se da je svetište bilo na glasu već u 15. st., na što ukazuje vijest da su kraljica Katarina Kotromanić i njezina sestra Marija 1454. godine poslale „darove Gospinoj crkvi u Olovo”. Ono je s vremenom postalo „najglasovitije svetište Marijino” na Balkanu.

Čudotvornoj slici hodočastilo se iz svih krajeva Bosne i susjednih zemalja, među kojima su bili „Bugari, Srbi, Rašani, Albanci, pogani…”

O slici Gospe Olovske u svom putopisu Splićanin Atanazije Jurjević (Grgičević), pisac, skladatelj i diplomat, koji je u ime cara Ferdinanda posjetio Bosnu i Olovo 1626. god., zabilježio je predaju koju je čuo od olovskih franjevaca. Njegov se opis dijelom preklapa s onim o Gospi Gradovrškoj, tj. o neobičnom dolasku slike iz Zvornika i podizanju crkve u Bakićima (oko 4 km udaljenima od Olova). Olovski fratri nisu Jurjeviću mogli konkretno kazati kada je slika dospjela u olovski kraj. No, on spominje kako je od nekih trgovaca čuo da se jedan stariji čovjek, koji je umro godinu dana ranije, sjećao kada je ta slika stigla, pa je odatle zaključio da nema stotinu godina od njezina dolaska.

Obje Gospine slike, čudotvorna u pokrajnjoj kapeli, kao i ona druga na glavnom oltaru, nestale su u požaru u noći 1. na 2. kolovoza 1704. godine. U izvješću bosanskoga provincijala fra Gabrijela Gabrića, pisanoga iz Osijeka 30. kolovoza 1704., stoji da je sve izgorjelo osim raspela na oltaru i dvaju pozlaćenih stupića između kojih je bila čudotvorna slika, koja nije pronađena. S vremenom se zaboravilo kako je izgledala.

Slika je postala predmetom zanimanja koncem 19. i u 20. stoljeću. Fra Euzebije Fermendžin, hrvatski franjevac, početkom 90-ih godina 19. st. u Rimu je ustvrdio da je otkrio kopiju čudotvorne slike Gospe Olovske, što bi, po njegovu mišljenju, bila jedina kopija. Vijest o tome je objelodanjena u Glasniku jugoslavenskih franjevaca 1893. godine. Međutim, fra Mladen Barbarić, Iločanin, objavio je u Franjevačkom vjesniku 1935. da se u crkvi u Iloku nalazi slika s natpisom „S. Maria Plumbensis” (Sv. Marija Olovska /200 x 130 cm/). Natpis je dugo vremena bio prekriven bijelim čipkastim zastorom, a mogli su ga vidjeti samo oni koji su zastor skidali radi pranja. K tome, s vremenom je u Iločana nestalo sjećanja o dolasku njihovih predaka iz Bosne, pa tako i spomen na Majku Božju Olovsku.

Slika je, prema Barbariću, kopija slike čudotvorne Gospe Olovske. Nastala je u prvoj polovici 18. st. i to po narudžbi Ivana Brnjakovića, člana u Ilok izbjegle ugledne olovske obitelji barunā Brnjakovićā.

Na njoj su predstavljena dva anđela koja nose ili uzdižu sliku u okruglom okviru na kojoj Marija u lijevoj ruci drži dijete Isusa. Kraj Marijine glave, lijevo i desno, nalazi se spomenuti natpis „S. Maria Plumbensis”. Slika je, prema Barbariću, kopija slike čudotvorne Gospe Olovske. Nastala je u prvoj polovici 18. st. i to po narudžbi Ivana Brnjakovića, člana u Ilok izbjegle ugledne olovske obitelji barunā Brnjakovićā. On je, prema Barbariću, htijući sačuvati uspomenu na Bosnu, dao jednom slikaru da mu prema njegovu opisu iz sjećanja izradi kopiju.

Ipak, uskoro je korigirana Barbarićeva tvrdnja o kopiji čudotvorne slike. Naime, dalmatinski franjevac fra Petar Čapkun je u izvješću fra Jeronima Lučića iz 1638. otkrio detaljan opis čudotvorne Gospine slike iz Olova i pokazao da iločka slika nije kopija te slike, nego one druge koja je stajala na glavnom oltaru. Objavio je to u Franjevačkom vjesniku 1938. godine. Prema Lučićevu opisu Marija sjedi, prekriženih ruku ispod prsa, dok joj je u krilu položen Isus, koji u lijevoj ruci drži kuglu licem okrenut prema narodu, a desnom rukom ga blagoslivlja. Sa strane je prikazano Isusovo rođenje, a povrh se nalaze dva anđela koja pridržavaju krunu nad Marijinom glavom, ispod su stabla, cvijeće i neke životinje. Marijino lice je otamne boje, ljupkoga pogleda, a u podnožju je natpis „Ave Maria”. Slika dužine lakat i pol, širine lakat i tri prsta (= oko 67 x 50 cm) načinjena je na dasci omorike.

Gospina slika predstavlja Uznesenje Marijino, doduše ikonografski neuobičajeno, s djetetom Isusom u rukama, sa strana su dva anđela, a ispod Marijina lika Mjesec mlađak.

U knjizi Okolišenje i uzetje grada Budima od oružja svitloga cesara Leopolda, koje je autor „vojvoda Jure Radojević Gizdelin, knez od Bosne”, tiskane 1686. u Padovi, nalazi se slika Gospe Olovske. Knjiga sadrži šest pjesama, a peta je posvećena Gospi Olovskoj kojoj zahvaljuje za kršćansku pobjedu nad Turcima kod Beča i Budima. Gospina slika predstavlja Uznesenje Marijino, doduše ikonografski neuobičajeno, s djetetom Isusom u rukama, sa strana su dva anđela, a ispod Marijina lika Mjesec mlađak. Prema tom opisu, mogla bi to biti, jednako kao i iločka, po sjećanju naslikana kopija slike s glavnoga oltara, a ne one čudotvorne.

Slika Gospe Olovske nalazi se i u genealogiji obitelji Ohmućević u djelu don Lorenza Miniata Le glorie cadute… iz 1663. godine. Ikonografski i vremenski bliska je s onom u Radojevićevoj knjizi.

Gospinu sliku iz Iloka jedva stoljeća kasnije, na molbu bosanskih franjevaca, uprava hrvatske franjevačke provincije darovala crkvi u Olovu: ona je 1920. prenesena na Petrićevac u Banju Luku, 1931. na Bistrik u Sarajevu, a 1964. konačno je postavljena na glavni oltar u novoj crkvi u Olovu. Godine 1954. slikar Gabrijel Jurkić izradio je Gospinu sliku na temelju opisa čudotvorne Gospine slike fra Jeronima Lučića iz 1638. koja je danas također u olovskoj crkvi.