Göle, 1551 de Erzurum’a, 1579 da Kars eyaletine bağlanmıştır. 1830 da merkezi Dedeşen köyü olarak Çıldır Sancağı’na, 1866 da bucak merkezi statüsüyle Ardahan kazasına bağlanmıştır. 1878 de Rus işgalinden sonra ise, kaza merkezi Merdinik köyü (şimdiki ilçe merkezi) olmuştur.
İlçe; Kazım Karabekir Paşa kuvvetleri ve milislerce 30 Eylül 1920 de Rus işgalinden kurtarılmış ve kırk yıl süren esaret altından çıkmıştır. Bu tarihten 1992 yılına kadar Kars iline bağlı bir ilçe olan Göle, 1992 yılında Ardahan iline bağlanmıştır. Göle ilçe merkezinde belediye teşkilatı 1926 da kurulmuştur. Son olarak, 27 Mayıs 1992 tarihinde 3806 sayılı kanun ile Ardahan iline bağlanmıştır.
İl merkezine olan uzaklığı 45 km dir. İlçe merkezi ortalama rakımı 2038 metre olan düz bir alana kurulmuştur. Köyler ise kısmen düz ve kısmen de engebeli arazi üzerine yerleşmiştir. İlçenin toplam yüzölçümü 1420 Km2’dir. Arazinin bir kısmı orman örtüsü ile diğer kısımları ise çayır ve mera ile kaplıdır. Ardahan ormanlarının yaklaşık %65 i Göle ilçesinde bulunmaktadır. İlçenin her tarafı yeşil olduğu için Yeşil Göle adını almıştır. İlçemizde tarımsal ürün olarak arpa, buğday ve patates yetiştirilmektedir
Kışları uzun, çok sert ve soğuk, yazları ise ılık ve yağışlı geçen karasal iklime sahiptir. Kış aylarında soğukluk -30 ya da 35 dereceye kadar düşer. Çok sert geçen kış aylarında yağan karın kalınlığı en az bir metreye ulaşır. Göle ovası, çukurluğu nedeniyle kış boyunca kimi zaman sisli günler geçirir. Yaz aylarında ise sıcaklık 25-30 dereceye kadar yükselir.