Ему же поручили стать одним из главных распорядителей при строительстве укреплений. Серьёзное отношение к делу обернулось нешутейными разговорами между собой яицких казаков, ожидавших подхода основных сил Пугачёва: «…а Крылову уже неотменно быть убитым потому, что де он на работе наших казаков изнуряет…»
Осада крепости была снята лишь с приходом в Яицкий городок правительственного корпуса генерала П. Д. Мансурова. Только тогда у семьи Крылова, перенёсшей тяжкое бремя осады в Оренбурге, появилась возможность переехать к нему в Яицкий городок.
Если вдуматься, голод был не самый драматичный осколок военного детства. Когда обстановка позволила обосноваться в Яицком городке, дети, перенёсшие «прелести осады», завели между собой игру в пугачёвщину. Они делились на два лагеря: городовой и бунтовской. Крылов, как сын капитанский, был предводителем городовой стороны. Драки были нешуточные. Участники игры, а между ними были и довольно взрослые, выдумали, разменивая пленных, лишних сечь, отчего в ребятах произошло такое остервенение, что однажды игра чуть было не завершилась трагедией. Одного из участников, поймав, повесили на кушаке на дереве. Жертву снял прохожий солдат. Парень выжил. Принуждены были игру запретить. Сегодня такое поведение детей вполне могли бы счесть каким-нибудь оренбургским синдромом.
А дальше, как это часто в жизни случается, судьба поворачивается к капитану Крылову сначала одной, вроде бы доброй, стороной, а потом другой – не самой благоприятной. Летом 1774 года начальник секретной комиссии гвардии капитан-поручик С. И. Маврин, которому поручено начать следствие по делу схваченного предводителя крестьянской войны, привлекает Крылова себе в помощь. О чём даже сообщает П. С. Потёмкину:
«Сей достойный офицер, долгое время здесь жительствующий и сведущий о многих порядках, мне надобен».
Известно, что капитан Крылов участвовал в допросах пленных пугачёвцев, в том числе атаманов Чумакова, Творогова и Федулёва, тех, что выдали Пугачёва правительству, и даже в допросе самого Пугачёва. Работа Андрея Прохоровича в следственной комиссии продлилась до глубокой осени 1774 года, пока Маврин не отбыл в Казань.
А уже в марте 1775 года капитан Крылов, который до того на здоровье не жаловался, подаёт рапорт об отставке с военной службы «по слабости здоровья». И в апреле он был уволен от службы. Спросите: что произошло, чем вызван рапорт?
После победы над мятежниками пришла пора награждать спасителей отечества. Отмечен был и гарнизон Яицкой крепости. Награду получил подполковник И. Д. Симонов, в руках которого формально находилось общее управление в Яицком городке. В отличие от Симонова, награждённого императрицей имением c тремястами душ крестьян, Крылов по части наград остался обойдённым.
Явная несправедливость толкнула капитана подать рапорт об отставке. Симонов удерживать его не стал, и в том же году Крылов перебрался с семьёй из Уральска
