де Голль сильно охладел к Израилю. К тому времени Западная Германия уже активно поставляла Израилю танки, вертолеты, корабли и другое вооружение.
Бен-Гурион был в ярости. Харел продолжал свою операцию. Бен-Гурион такого неповиновения стерпеть не мог и потребовал от Харела немедленного прекращения его действий. Харел отказался и попытался заручиться поддержкой некоторых влиятельных членов партии Бен-Гуриона МАПАЙ. В глазах Бен-Гуриона это выглядело предательством. Ту огромную власть, которой он наделил Харела, последний теперь пытался употребить против него. Вспомнились и история с Исраилем Бером, и погоня за эффектными операциями, не имеющими отношения к прямым задачам внешней разведки – контролю за враждебными Израилю странами. 25 марта 1963 г., через 9 дней после ареста двух упомянутых выше агентов в Швейцарии Харел подал в отставку. Вопреки надеждам Харела Бен-Гурион отставку принял. Дамоклов меч упал на того, кто его поднял. Новым руководителем Мосада был мазначен генерал Меир Амит, бывший в то время начальником военной разведки Аман.
Однако это не был окончательный уход Харела из разведки. Вскоре ушел со своего поста Бен-Гурион. Новый премьер-министр Леви Эшкол всегда благоволил к Харелу. С Амитом же у него теплые отношения не сложились. Поэтому, внемля постоянной критике действий нового руководителя Мосада Харелом, Эшкол назначил его на пост советника премьер-министра по разведке, поставив, таким образом, Харела выше Амита и обязав последнего снабжать Харела всей имеющейся информацией о деятельности Мосада. Амит, естественно, был против этого назначения, с самого начала между ними разгорелась, мягко говоря, «неджентльменская война». Не лучше к Харелу относился и новый начальник Амана Аарон Ярив, которому Амит уступил свое место, сосредоточившись только на руководстве Мосадом. Харел – практик разведки, создатель великоленых планов операций и блестящий их исполнитель, не был готов к обязанностям консультанта, которому необходимо было давать объективную оценку полученным материалам и деятельности разведывательных организаций и выносить справедливые решения в обстановке возможных конфликтов. Кроме постоянных мелких стычек с руководителями разведывательных учреждений, были и крупные «сражения». Так, Харел торпедировал поездку Амита в Каир для встречи с вице-президентом маршалом Хакимом Амером. Харелу удалось убедить Эшкола, что это была западня. Амит до сих пор считает, что его поездка могла бы предотвратить войну 1967 г.
В создавшейся обстановке Эшколу все-таки пришлось сделать окончательный выбор. В июне 1966 г. Исер Харел подал в отставку. Пробыв в должности советника по разведке 9 месяцев, он так ничего полезного для нее не «родил» и ушел из разведки навсегда.
Ему было 54 года. Полный сил и ставший обсолютно «легальным» (т. е. его имя перестало быть секретным), Харел обратился к политике. Он несколько раз избирался депутатом израильского парламента – Кнессета – от партий,
