шести лет своего членства в парламенте от партии консерваторов Фитцрой ни разу не выступал на заседаниях. Однако в частных беседах всегда ратовал за соблюдение прав и интересов армии, осуждая тех, кто, как позднее заметила Флоренс Найтингейл, тайно или явно стремился к сокращению численности армии и ее влияния. Однако, следуя заветам Веллингтона, он никогда не касался военных вопросов в кругу политиков, которые, как считал герцог, только и мечтают сократить ее численно и урезать в правах. Фитцрой стремился всегда быть в курсе всего происходящего в военной области. Продолжительное время прослужив в генеральном штабе, он очень хорошо знал свое дело. Выступал против любых изменений в армейской жизни и не стеснялся этого. Сам он не был генератором новых идей, но делал все, что мог, для того, чтобы защитить интересы армии. В то же время он ясно представлял себе, что никто во всей Англии, которая так стремилась к миру и где привыкли беречь государственные средства, где общество, с одной стороны, несколько ревниво относилось к армии из-за прав и привилегий военных, а с другой стороны, боялось ее мощи, не сможет преодолеть тенденции к ее повсеместному ослаблению. Даже лорду Веллингтону это не удалось. А если не смог Веллингтон, значит, не сможет и никто другой.
Однажды в штаб кавалерии прибыл сэр Френсис Хед. Он показал лорду Фитцрою меморандум, в котором расхваливалась прусская система военной подготовки, а затем поинтересовался, почему бы не перенять эту методику в Великобритании. В своих воспоминаниях он пишет, что «на несколько секунд лорд Фитцрой, казалось, потерял дар речи. Затем пожал плечами и спокойно произнес всего два слова: «Джозеф Хьюм».
Как он впоследствии признался старшей дочери, иногда его настолько раздражала и унижала система жесткой экономии, которую навязывали военным, что он уже начал подумывать об отставке. Но позже понял, что не сможет жить без армии, не сможет бросить Веллингтона. В 1845 году лорду Фитцрою предложили пост генерал-губернатора Канады. Веллингтон, конечно, знал об этом предложении, однако отказался дать совет, стоит принимать этот пост или нет. Когда родственница Фитцроя графиня Уэстморлендская на следующий день посетила Веллингтона в его доме в Эсли, генерал сразу же воскликнул: «Он отказался!» При этом его лицо сияло от удовольствия. «Я была уверена, что он не оставит вас», – ответила леди Уэстморленд. И герцог снова произнес, что просто не знает, что стал бы делать без лорда Фитцроя.
Когда графиня Уэстморлендская передала Фитцрою слова Веллингтона, она заметила у него на глазах слезы.
Герцог с возрастом стал слабеть и становился рассеянным. Большую часть его работы приходилось выполнять Фитцрою. Старый воин мог заснуть посреди беседы. Тогда посетители на цыпочках выходили из его кабинета и шли за решением к военному секретарю. В 1852 году старый герцог умер, сидя в кресле у окна в своем кабинете. Лорд Фитцрой прослужил с ним вместе более сорока лет. В течение всей жизни он с гордостью вспоминал об этом.
