Васильевны, Михаил Сергеевич Потемкин утонул в 1791 году, оставив ее с двумя детьми, дочерью Екатериной (1787–1872) и сыном Александром (1788–1872). Кроме того, Екатерина II, являясь в роли родственницы и свахи, подарила новобрачным еще «немного». Молодые сочетались браком в церкви Зимнего дворца, после чего они уехали на Фонтанку, в новый дворец князя, где и суждено было пройти первым годам их не слишком счастливого брака.
Князь Юсупов был и сам богат, ну а после женитьбы на несметно богатой племяннице Потемкина, он стал еще богаче. Современник князя отмечал. Что когда у него спрашивали: «Что, князь, имеете ли Вы имение в такой-то губернии или уезде?» – он отвечал: «Не знаю, надо справиться в памятной книжке». Тотчас управляющий приносил ему памятную книжку, в которой по губерниям и уездам были расписаны все его имения, и почти всегда оказывалось, что у него там было имение. Богат ли был князь Григорий Александрович Потемкин-Таврический? Об этом можно судить по тому, что по его смерти все его имущество перешло к племяннику и пяти племянницам: на долю каждой пришлось по 18 миллионов рублей, кроме недвижимых имений и движимости, стоившей еще много миллионов. Графиня Браницкая не знала в точности своего капитала, но говаривала: «Мой капитал увеличился, и я думаю, что у меня должно быть миллионов двадцать восемь или немного более…»
Супружеская жизнь и странное, постоянное всегда «в разъездах» времяпровождение княжеской четы Юсуповых провоцировало различные пересуды в свое время в светском обществе. У супругов было двое общих детей, один из них – Николай-умер еще во младенчестве, а в 1794 году родился еще один сын, Борис, крестник Великого князя Павла Петровича. Этот брак еще более укрепил положение князя среди высшей знати Российской Империи, но любви во взаимоотношениях с женой не добавил. Потом после смерти Екатерины Второй они вообще разъехались, не стал князь жить с нелюбимой и навязанной женой, хотя оставался с ней в теплых и дружественных отношениях, когда приезжал из Москвы в Петербург, то всегда останавливался у нее в доме. Татьяна Васильевна Потемкина (Юсупова) в свою очередь, обладая недюжинной деловой хваткой. участвовала во многих хозяйственных делах и начинаниях супруга. Юсупов, обладая пылким нравом до последнего оставался самым преданным поклонником прекрасного пола, и так уж сложилось, что жить он привык свободно и вольготно, вероятно, он просто помнил совет Бомарше.
Долгое время Николай Борисович сожительствовал с певицей своего хора Анной Боруновой, портрет которой украшал один из залов дворца. Любовницей князя была юная крепостная балерина Екатерина Петровна Колосова, заслужившей право быть похороненной в родовой усыпальнице Юсуповых в Спасово-Котово. Екатерина Колосова умерла в 22 года во время очередных родов. Она родила князю двух сыновей, Сергея и Петра Николаевичей. Отец дал им фамилию Гирейские, очевидно в память о своих предках – крымских ханах Гиреях. Петр умер в семилетнем возрасте, а Сергей Николаевич прожил долгую безбедную жизнь за границей. Уже в престарелом возрасте князь взял к себе в наложницы 18-летнюю крепостную
