Bunyoni tvingades i september i fjol bort från sin post efter att president Evariste Ndayishimiye rensat ut i det politiska styret när kupplaner mot honom uppdagades.
I veckan som gick gjorde polis och säkerhetstjänst husrannsakan i tre hus som Bunyoni äger, utan att hitta honom. Polisen uppgav då att han troligen gömde sig "i vildmarken".
Exakt vad Bunyoni är anklagad för är oklart, i onsdags sade inrikesminister Martin Niteretse att han inte visste varför polisen ville gripa den förre ministern.
Bunyoni ansågs vara del av en mer hårdför falang inom militären, som i realiteten styr landet. Människorättssituationen i Burundi beskrevs av FN 2021 som "katastrofal".