Na vrhuncu svoje moći, Huntovo bogatstvo procijenjeno je na 16 milijardi dolara. Posjedovao je osam miliona hektara naftnih polja u Libiji, farme pune stoke i punokrvnih konja za utrke te nekretnine diljem svijeta.
Libijski diktator Moamer Gadafi, koji je došao na vlast 1969. godine, do 1973. oduzeo je Huntu nafta polja nacionaliziravši ih. Nakon gubitaka u Libiji, Bunker Hunt želio je sigurnu investiciju – počeo je ulagati u srebro i u jednom trenutku kupio je više od polovice svjetske ponude srebra.
A onda je došao takozvani “srebrni četvrtak” – dan 1980. godine kada se cijena tog plemenitog metala na burzi srozala na petinu od prethodne vrijednosti. Bunker je, zajedno sa svojom braćom, Williamom Herbertom i Lamarom, u tom trenutno posjedovao toliko srebra da bi njegovom rasprodajom još više srozao cijenu.
Ubrzo je pala i cijena nafte, a i njegov posao s nekretninama i šećerom je patio. Parnice, stečajni postupci, veliki krediti, porezi i regulatorne kazne pojele su do 1988. godine Huntovo bogatstvo.
Dok se njegovo carstvo urušavalo, citiran je kako je uzdišući rekao: Milijarda dolara nije ono što je nekad bila.
Njegov brat pristao je platiti 90 miliona dolara poreza tokom 15 godina i još 10 miliona kazni.
Godine 1989. Hunt je iz ličnog bankrota izašao sa samo 5 miliona dolara i golemim dugovima.
Uprkos tome, njegovi su advokati uspjeli zaštititi njegovu zakladu koju je osnovao s porodicom pa je nekadašnji milijarder bio daleko od siromaštva kad je kročio u duboku starost, ali i daleko od raskoša i izobilja u kojem je živio do velikog sunovrata. 2001. godine kupio je konje za utrku vrijedne 2,5 miliona dolara.
Hunt je sa svojom suprugom Caroline i četvero djece proživio posljednje godine života u relativno skromnoj kući u Dallasu. Kad je obolio od Alzheimerove bolesti smješten je u dom, gdje je i umro.
