По рекомендации Председателя Верховного Совета Карело-Финской республики Отто Вильгельмовича Куусинена ему поручают наблюдение за партийной работой в Прибалтике. Работал активно, с полной отдачей, за что заслужил похвалу высшего руководства и был избран депутатом Верховного Совета от Карело-Финской республики. Вскоре при содействии О. Куусинена он был переведен (21 июня 1951 года) на работу в Москву. Через два года (15 мая 1953 года) Юрия Владимировича по рекомендации Вячеслава Михайловича Молотова определяют на работу в Министерство иностранных дел. Ему поручили руководство европейским отделом, в который входили Польша, Чехословакия и Румыния. 18 июля 1953 года его как партийного работника направляют в Венгрию в качестве советника посланника, а 6 июля 1954 года назначают чрезвычайным и полномочным послом в эту страну. Через 4 месяца (в ноябре 1954 года) на него было совершено покушение: во время его работы в посольском кабинете с чердака соседнего дома было сделано два выстрела, ни один не достиг цели.
С первых же дней работы в Венгрии Юрий Владимирович начал изучать венгерский язык – самый трудный и сложный в Европе. В 1956 году ему пришлось участвовать в подавлении Венгерского восстания. Во время антисоветских выступлений в Венгрии пострадали сотрудники советских спецслужб. Захваченных советских людей повстанцы расстреливали или вешали возле советского посольства головой вниз. В октябре 1956 года автомобиль Андропова, в котором он находился вместе с военным атташе и водителем, подвергся обстрелу, и они окольными путями с трудом добрались до советского посольства. Вскоре прошел слух, что его 15-летний сын захвачен повстанцами, но освобожден советскими спецслужбами.
Венгерское восстание было подавлено, но эти события повлияли на здоровье Юрия Владимировича и его семьи. Юрий Владимирович стал вспыльчивым, раздражительным, плохо спал. Наблюдался врачами посольства, принимал успокаивающие лекарства. Сын Юрий будто бы (по неофициальным сведениям) стал прибегать к употреблению спиртных напитков, а жена − наркотиков. Позже они, по слухам, «освободились от этих порочных привычек». В народе также ходили слухи о том, что во время волнений в Будапеште Хрущев хотел ввести туда советские войска, но Юрий Владимирович воспротивился и не допустил полномасштабной войны. Вскоре после венгерских событий начался карьерный рост Юрия Владимировича. В 1957 году в Центральном Комитете Коммунистической партии он возглавил отдел по обеспечению связи с коммунистическими и рабочими партиями в соцстранах. В этой должности находился больше четырех лет: с 6 апреля 1957 года по 22 июня 1961 год. В 1961 году на ХХII съезде Коммунистической партии был избран в члены Центрального Комитета. Карьерный рост его продолжался. 18 мая 1967 года его переводят на работу в Комитет Государственной Безопасности (КГБ), и он возглавляет его 15 лет (до 26 мая 1982 года) в звании генерала армии. 21 июня 1967 года Юрий Владимирович был принят кандидатом в члены Политбюро, а вскоре стал его полноправным членом. Во время работы в КГБ у
