Роберт возвратился с чемоданом образцов горных пород и приступом окопной дизентерии, чуть не ставшей для него смертельной. Юношу отправили домой на носилках, он болел и не поднимался с постели так долго, что осенью опоздал с поступлением в Гарвард. Родители уговорили сына остаться дома и дождаться полного выздоровления от дизентерии и сопутствующего колита. Колит будет мучить Роберта до конца жизни с периодическими обострениями из-за упрямой любви к острой пище. Он был несносным пациентом. Всю долгую зиму провел, не вылезая из нью-йоркской квартиры, подчас ведя себя по-хамски, запираясь в своей комнате и отмахиваясь от материнских предложений помощи.
Весной 1922 года Юлиус решил, что мальчик достаточно окреп, и выпустил его из дома. С этой целью он попросил Герберта Смита съездить с Робертом летом на юго-запад. Предыдущим летом учитель Общества этической культуры проделал такой же вояж с другим учеником, и Юлиус надеялся, что приключения в стиле вестерн закалят сына. Смит согласился. Однако перед отъездом Роберт встретился с учителем с глазу на глаз и задал странный вопрос – не позволит ли он Оппенгеймеру путешествовать под фамилией Смит и выдавать себя за его младшего брата. Смит наотрез отказался и невольно подумал, что Роберт стыдится своего еврейского происхождения. Одноклассник Роберта Фрэнсис Фергюссон впоследствии строил такие же догадки, полагая, что его друг стеснялся «своего еврейства, богатства и связей на востоке и ехал в Нью-Мексико, отчасти спасаясь от всего этого бегством». Другая одноклассница, Джанетт Мирски, тоже считала, что Роберт ощущал неловкость из-за своего еврейского происхождения. «Мы все его ощущали», – добавляла Мирски. Однако несколькими годами позже, в Гарварде, Роберт, судя по всему, относился к своему происхождению уже спокойнее; одному другу из смешанной шотландско-ирландской семьи он сказал: «Ну, никто из нас не приплыл в Америку на “Мейфлауэр”».
Прибыв на юг, Роберт и Смит постепенно добрались до плоскогорья Нью-Мексико. В Альбукерке они остановились у Фергюссона и его семьи. Роберту визит понравился – он закрепил дружбу с Фрэнсисом, продолжавшуюся всю жизнь. Фрэнсис представил Роберта парню из Альбукерке их возраста, Полу Хоргану, еще одному не по годам развитому юноше, который станет успешным писателем. Хорган, как и Фергюссон, собирался поступать в Гарвард. Хорган понравился Роберту, к тому же последний был очарован красотой Розмари, черноволосой голубоглазой сестры Хоргана. Фрэнк Оппенгеймер говорил, что его брат потом признался в сильном влечении к Розмари.
Когда юноши отправились в Кембридж и стали проводить время вместе, Хорган в шутку назвал их «великой троицей эрудитов». Поездка в Нью-Мексико пробудила в Роберте новые манеры и интересы. Первое впечатление Хоргана от встречи с Робертом в Альбукерке было особенно ярким: «…он сочетал в себе невероятное остроумие, веселость и бодрый дух… обладал приятной манерой общения, позволявшей ему быть в моменте – где бы то
