служил в армии, Сенате, Государственной соляной экспедиции и в Экспедиции по начётам и недоимкам и др. Последняя должность была получена по протекции родного дяди Голубцова графа А. И. Васильева. За службу в Экспедиции по начётам и недоимкам Павел I наградил Голубцова орденами.
В период правления Александра I, когда А. И. Васильев занял должность министра финансов, Голубцов был назначен государственным казначеем (1802–1807), а также вошёл в состав комитета министров. По словам Г. Р. Державина, Голубцов был искусным интриганом: явился к нему как к генерал-прокурору с обвинением на министра финансов А. И. Васильева в связи с «расстройством казны». Однако потом Голубцов отказался от своих слов и утверждал, что это сам Державин заставлял его доносить на дядю. Г. Р. Державин позже предполагал, что это была общая интрига дяди и племянника против него самого.
После смерти дяди Фёдор Александрович был назначен управляющим Министерством финансов. На назначение повлияли деловые и родственные связи с А. И. Васильевым, протекция со стороны влиятельного в те годы А. А. Аракчеева, а также тесная связь казначейства с Министерством финансов.
Занимая должность министра финансов недолгий срок (1807–1809, официально только в 1809 году), Голубцов не внёс серьёзных изменений в работу министерства. В период его руководства финансовым ведомством возрастал выпуск ассигнаций, была реформирована Экспедиция о государственных доходах, приняты правила о ревизии государственных счетов, привлекались займы, а также проведены другие меры. Однако в связи с войнами, шедшими в это время, экономическая ситуация в стране ухудшалась.
В период министерства Голубцова большую роль в управлении министерством играл комитет финансов, в полномочия которого входило рассмотрение государственной росписи доходов и расходов, ряд общих вопросов финансовой политики, и именно его действия чаще определяли политику министерства, а не решения министра.
Увольнение Голубцова (не готового к «сильным мерам», «важным пожертвованиям» и чрезвычайным займам) произошло по инициативе влиятельного в то время М. М. Сперанского. Он выступил с проектом финансовых реформ, которые осторожный министр не поддержал. Немалую роль в смещении чиновника сыграли и интриги его товарища (заместителя) Д. А. Гурьева, который впоследствии и занял должность министра. Насколько известно, Голубцов не сопротивлялся попыткам сместить его. Ф. Ф. Вигель указывал, что к отставке привели «добродушие и слабохарактерность» Голубцова. Современная исследовательница Л. П. Марней полагает, что «подлинной причиной его отставки, вероятнее всего, послужила не мягкость характера, а борьба придворных группировок, обострение которой было связано с проектами Сперанского». После ухода со своего поста Фёдор Александрович не играл большой роли в системе управления Российской империи, занимал почётную, но не значимую должность члена Государственного совета. Князь А. И. Барятинский хотел взять бывшего министра управляющим своего огромного имения, однако отказался от этой
