С 5 мая 1785 по 30 апреля 1790 года Кавказская губерния состояла из следующих территориальных единиц:
Александровский уезд – город Александровск, позже переименованный в одноименную станицу;
Екатериноградский уезд – город Екатериноград, бывший одновременно и центром Кавказской губернии. Позднее переименован в одноименную станицу. Образован в составе Кавказского наместничества 5 мая 1785 года. Уезд упразднен в 1790 году, территория распределена между Александровским, Георгиевским и Моздокским уездами;
Георгиевский уезд – город Георгиевск. Образован в составе Кавказского наместничества 5 мая 1785 года. В 1827 году уезд преобразован в одноименный округ. Указом Сената от 14 (21) мая 1830 года переименован в Пятигорский в связи с перенесением центра в город Пятигорск;
Кизлярский уезд – город Кизляр. В 1827 году уезд преобразован в округ. Со 2 мая 1847 года – вновь уезд. 9 декабря 1867 года часть уезда вместе с городом Кизляром передана из Ставропольской губернии в Терскую область. Оставшаяся в губернии часть территории вошла в состав Новогригорьевского уезда с центром в селе Прасковея;
Моздокский уезд – город Моздок;
Ставропольский уезд – город Ставрополь.
30 апреля 1790 года Кавказская губерния была упразднена и административные учреждения были переведены в Астрахань. Губерния вновь получила статус области в составе Астраханской губернии.
В мае 1793 года Императорская Академия наук и художеств (с января 1803 года Императорская Академия наук) командировала на Кавказ известного натуралиста-путешественника, профессора и ученого-энциклопедиста Петера Симона Далласа, который подробно описал источники горы Машук, а также и сделал впервые качественный химический анализ минеральных вод данного региона (все анализы минеральных вод проводились за пределами Кавминвод – в Петербурге, Москве и Харькове). Солдаты из крепости, жившие близ горячеводских источников, были уже знакомы с их целебными свойствами, и от них в том числе российский ученый узнал, что серные ванны помогают от кожных заболеваний, ревматизма, подагры и т. п. Важнейшим результатом поездки П. С. Палласа было обследование Долины нарзанов (в настоящее время бальнеоклиматическая курортная местность в Кабардино-Балкарии, в 87 километрах к северо-западу от Нальчика), которой он придавал большое значение и предсказал блестящее будущее при становлении санаторно-курортной сферы на КМВ. Подробный отчет о поездке на Кавказские Минеральные Воды, представленный П. С. Палласом в Императорской Академии наук и художеств, Медицинской канцелярии, а также в Провиантской экспедиции Военной коллегии, произвел большое впечатление на их руководство, однако финансировать развитие источников на том этапе решили отложить из-за резкой позиции управляющего Экспедицией для ревизии государственных счетов, тайного советника А. И. Васильева (с сентября 1802 года министр
