Павел несколько лет жил на родине, работал на скотном дворе государственной селекционной станции. Родная деревня попала в зону затопления Рыбинского водохранилища. В 1938 году с отцом они разобрали избу, сплавили ее по Волге до Тутаева и там, на левом берегу, собрали. Здесь и жил отец Павел с родными, работал на базе «Заготскот», ходил в церковь, пел на клиросе, пономарил.
В 1938 году его арестовали. Обвинение гласило: «Обвиняемый Груздев, будучи участником антисоветской группы с 1938 по 1940 год размножал для группы антисоветские стихотворения, хранил у себя частицы мощей, несколько сот печатных изображений святых и при помощи этого проводил антисоветскую агитацию против существующего строя в нашей стране».
Выпущен за недостатком вины, снова арестован в 1941 году как социально опасный элемент. Отец Павел вспоминал, как в ярославской тюрьме, в ночном кабинете следователя, пятна крови от бесчисленных издевательств и побоев въелись в пол. Пятнадцати заключенным, среди которых был он сам, не хватало воздуха в тесной одноместной камере, поэтому они, чтобы подышать, по очереди припадали к дверной щели у пола.
На допросах отца Павла избивали, слепили глаза. Здесь он начал терять зрение. Следователь кричал на него: «Ты, Груздев, если не подохнешь здесь в тюрьме, то потом мою фамилию со страхом вспоминать будешь! Хорошо ее запомнишь – Спасский моя фамилия, следователь Спасский!» Отец Павел вспоминал о следователе без злобы, с шуткой: «Прозорливый был, зараза. Страха, правда, не имею, но фамилию его не забыл, до смерти помнить буду. Ведь все зубы мне повыбил, вот только один на развод оставил».
Следователь добивался, чтобы он сказал, что Бога нет. «Есть, дяденька». Ему зуб выбили. Опять – скажи «нет». – «Есть, дяденька, есть!» Опять выбили. «Ну где на вас зубов напасешься?» – «Я тебя сгною». – «Не сгноил, – вспоминал отец Павел. – Я-то до сих пор жив, а он, бедный… Через два года и его, и товарищей расстреляли… Ему надо было, чтоб я сказал, что Бога нет, а Он есть».
Отец Павел вспоминал, как везли его с другими заключенными в декабре 1941 года в лагерь. Заключенные ехали в вагонах стоя – так тесно было, им ничего не давали ни есть, ни пить. Привезли и отправили в баню: «Дали по ковшичку воды – горячей и холодной, так все ковшик горячей сразу же и выпили». Такая вот банька…
Шесть долгих лет лагерей под Вяткой: голод, холод, непосильный труд. В лагере отец Павел обслуживал железнодорожную ветку, по которой из тайги вывозился лес с лесоповала. Многих людей спас он от голодной смерти, имея пропуск на свободный выход и вход в зону: «Хочу в лес иду, а хочу и вдоль леса… Но чаще в лес – плетеный из веточек пестерь в руки беру и – за ягодами. Сперва землянику брал, потом морошку и бруснику, а грибов-то! Ладно. Ребята, лес-то рядом! Господи Милостивый, слава Тебе!» Охранники концлагеря называли отца Павла «святоша».
В первую суровую лагерную зиму 1941/1942 года уголовники как-то оставили отца Павла без обеда: «Только баланды получил, несу – подножку подставили, упал. А под веничком был у меня спрятан кусочек
