Петрович был женат на меньшой дочери графа Головина, первого андреевского кавалера. Он умер весьма молод, в припадке сумасшествия зарезав свою жену, находившуюся в родах. Единственный сын его, Лев Александрович, служил в артиллерии и в 1762 году, во время возмущения, остался верен Петру III. Он был посажен в крепость и выпущен через два года. С тех пор он уже в службу не вступал и жил в Москве и в своих деревнях.
Дед мой был человек пылкий и жестокий. Первая жена его, урожденная Воейкова, умерла на соломе, заключенная им в домашнюю тюрьму за мнимую или настоящую ее связь с французом, бывшим учителем его сыновей, и которого он весьма феодально повесил на черном дворе. Вторая жена его, урожденная Чичерина, довольно от него натерпелась. Однажды велел он ей одеться и ехать с ним куда-то в гости. Бабушка была на сносях и чувствовала себя нездоровой, но не смела отказаться. Дорогой она почувствовала муки. Дед мой велел кучеру остановиться, и она в карете разрешилась – чуть ли не моим отцом. Родильницу привезли домой полумертвую и положили на постелю всю разряженную и в бриллиантах. Все это знаю я довольно темно. Отец мой никогда не говорит о странностях деда, а старые слуги давно перемерли.
Родословная матери моей еще любопытнее. Дед ее был негр, сын владетельного князька. Русский посланник в Константинополе как-то достал его из сераля, где содержался он аманатом, и отослал его Петру Первому вместе с двумя другими арапчатами. Государь крестил маленького Ибрагима в Вильне, в 1707 году, с польской королевою, супругою Августа, и дал ему фамилию Ганибал. В крещении наименован он был Петром; но как он плакал и не хотел носить нового имени, то до самой смерти назывался Абрамом. Старший брат его приезжал в Петербург, предлагая за него выкуп. Но Петр оставил при себе своего крестника. До 1716 году Ганибал находился неотлучно при особе государя, спал в его токарне, сопровождал его во всех походах; потом послан был в Париж, где несколько времени обучался в военном училище, вступил во французскую службу, во время испанской войны был в голову ранен в одном подземном сражении (сказано в рукописной его биографии) и возвратился в Париж, где долгое время жил в рассеянии большого света. Петр I неоднократно призывал его к себе, но Ганибал не торопился, отговариваясь под разными предлогами. Наконец государь написал ему, что он неволить его не намерен, что предоставляет его доброй воле возвратиться в Россию или остаться во Франции, но что во всяком случае он никогда не оставит прежнего своего питомца. Тронутый Ганибал немедленно отправился в Петербург. Государь выехал к нему навстречу и благословил образом Петра и Павла, который хранился у его сыновей, но которого я не мог уж отыскать. Государь пожаловал Ганибала в бомбардирскую роту Преображенского полка капитан-лейтенантом. Известно, что сам Петр был ее капитаном. Это было в 1722 году.
После смерти Петра Великого судьба его переменилась. Меншиков, опасаясь его влияния на императора Петра II, нашел способ удалить его от двора. Ганибал был переименован в майоры
