Gümüşhane İl Jandarma Komutanlığı; 1925 yılında 4 İlçe Jandarma Komutanlığının bağlanması suretiyle teşkil edilmiştir.
İl Jandarma Komutanlığı 1925-1973 yılları arasında eski vilâyet binasında, 1973-1998 yılları arasında halen Jandarma Sosyal tesisler Müdürlüğü olarak kullanılan binada iskan edilmiştir.
1987 yılında Köse, 1990 yılında Kürtün’ün ilçe olması ile ilçe sayısı (6)’ ya çıkmıştır.
Gümüşhane İl Jandarma Komutanlığı 1998 yılından itibaren bulunduğumuz kışlada hizmete devam etmektedir.