Но со временем их гостеприимный дом превратился в один из центров светской и политической жизни Петербурга, а Елизавета Карловна Чичагова была принята при дворе и наконец перестала тосковать по родине. Доктор Иоганн Джон Самуил Роджерсон, лейб-медик Екатерины II, названный с ее легкой руки Иваном Самуиловичем, один из близких друзей Чичаговых, осенью 1805 года писал в Лондон: «…он смягчился, стал более гибким и хорош во всех отношениях, хорошо исполняет свои должностные обязанности, она, наконец, здесь натурализовалась и настолько в согласии со страной, что случись ей неожиданно вернуться жить в Англию, она будет отирать слезы… ее здоровье в порядке и останется хорошим, если у нее не будет больше детей». Роджерсон был очень хорошим врачом, и прогноз его, к сожалению, оказался точен. Элизабет умрет после следующих родов, оставив детей и обезумевшего от горя мужа. Но до этого еще далеко.
А пока в том самом 1805 году, когда ничто не омрачало счастья семьи (о пророчестве доктора супруги не знали), знаменитый архитектор Чарльз Камерон (его жена была ближайшей подругой Элизабет) представил Чичагову профессора архитектуры Императорской Академии художеств Андреяна Дмитриевича Захарова. Адмирал безусловно доверял Камерону, Александр I с таким же доверием отнесся к рекомендации адмирала. В результате Захаров без обычных в таких случаях сомнений и проволочек был утвержден в должности Главных Адмиралтейств Архитектора. Случилось это 25 мая 1805 года. А ровно через год, день в день, император утвердил проект, и строительные работы начались. Они будут продолжаться 13 лет. До их завершения автор проекта не доживет…
Что же до Чичагова, то его крайне беспокоила плохая подготовленность русского флота на Балтике. Он принимал все возможные меры, чтобы модернизировать флот, но реформы продвигались с трудом – слишком много было у военно-морского министра недоброжелателей. «Его боятся, потому что он настаивает на порядке, и ненавидят за то, что он не позволяет, чтобы крали в его ведомстве», – писал хорошо знакомый с российскими реалиями граф Ксавье де Местр. Придворные интриги стоили адмиралу здоровья, а смерть горячо любимого отца привела к тяжелой депрессии. В апреле 1809 года адмирала Василия Яковлевича Чичагова отпели в Александро-Невской лавре в присутствии императора и похоронили со всеми воинскими почестями. А в сентябре его сын подал в отставку, распродал имущество и отправился со всей семьей во Францию. Близко знавшая и любившая Чичаговых фрейлина императрицы Елизаветы Алексеевны Роксандра Скарлатовна Струдза записала в дневнике (он до сих пор остается одним из самых достоверных источников сведений об Александровской эпохе): «Адмирал Чичагов, все еще очарованный славой Наполеона, пожелал увидеть поближе предмет своего обожания. Вопреки… желанию императора, он настоял на отставке и приготовился ехать в Париж. Его жена, более здравомыслящая, была не в состоянии отговорить его от этой замечательной глупости. Моя грусть при их отъезде еще усиливалась
