Exploding White Mice rozpoczął działalność w 1983 roku w Adelajdzie, kiedy Paul Gilchrist (wokal) grał jednorazowy koncert z cover bandem z Andy MacQueenem (bas), Gerry Barrettem (gitara) i Craigiem Rodda (perkusja) na imprezie.To był pierwszy zespół Paula; Andy wcześniej wystepował z The Deviants and the Crunch Pets, a Craig bębnił dla Screaming Believers. Występ udał się na tyle dobrze, że grupa zdecydowała się grać razem regularnie. Jeden z występów zwrócił uwagę Gilesa Barrowa, który był gitarzystą Zippy & The Coneheads and Kaos. Dołączył on do grupy jako gitarzysta rytmiczny.
W 1984 roku zaczęli grać regularnie w Adelaide w Cathedral Hotel; Gerry opuszcza zespół pod koniec roku i został zastąpiony przez byłego członka Spitfire i Tombstone Shadow , Jeffa Stephensa.W tym momencie grupa była nadal głównie cover bandem, lecz wkrótce potem rozpoczęła pracę nad oryginalnym materiałem. Po dojściu innego byłego członka Zippy & the Coneheads, Davida Bunney'a, zespół wydał EP-kę, w 1985 roku A Nest of Vipers, dla australijskiej Greasy Pop Records. Płyta została wydana w USA przez Bigtime Records pod nazwą Nest of Vipers, ale pomimo sprzedaży kilka tysięcy egzemplarzy grupa nie otrzymała tantiem, ponieważ Bigtime wkrótce potem zakończył działalność
.
W latach 1986 i 1987 grupa koncertowała regularnie w największych australijskich miastach wydając single, a w 1988 roku przygotowali swój debiutancki album, Brute Force and Ignorance, który został zarejestrowany i wyprodukowany przez Crana Wiltona w Soundworks Studios w Kent Town Adelaide.Krótko przed wydaniem płyty, Giles Barrow opuścił grupę i został zastąpiony przez Dave Masona, dawniej Primevils, a w 1989 roku Jack Jacomos zastąpił z kolei Dave'a.
W 1990 roku grupa koncertowała w Europie i wydał pół-studyjny, w połowie live LP na dla Normal Records. Wkrótce po tym, Gilchrist opuścił grupę i Jeff Stephens przejął główny wokal, Dawid, brat Andrew Bunney'a zastąpił Stephena na gitarze. Latem 1991 roku zaczął nagrywać ponownie w Soundworks Studios. Jednak, gdy wytwórnia Greasy Pop zakończyła działalność w tym roku, nie mogli znaleźć dystrybutora albumu, i skończyło się na wydaniu płyty przez Normal Records w Niemczech i NKWD Records w Stanach Zjednoczonych. Ostatnim wydawnictwem grupy został w roku 1994 album We Walk Alone, dla Au Go-Go.
Albumy
| Tytuł | Wykonawca | Data wydania | Aus | N.Zel | Wytwórnia [Aus/N.Zel] | Komentarz |
| Brute Force and Ignorance | Exploding White Mice | 08.1988 | 60[5] | - | Greasy L 38 912/- | - |
| Exploding White Mice | Exploding White Mice | 06.1990 | 90[4] | - | Greasy L 30 288/- | - |
