Елене Василий писал:
«…А ты бы, сестра, и теперь помнила Бога и свою душу, отца нашего и матери наказ, от Бога душою не отпала бы, от отца и матери в неблагословеньи не была бы и нашему православному закону укоризны не принесла».
Но время шло, и отношения России с Литвой вновь ухудшились.
В 1507 – 1508 годах опять вспыхнула война, причины которой были непонятны, а результаты – мизерными.
Около 1511 года 35-летняя Елена решила вернуться в Москву. Рудзкий отмечает, что в Вильне овдовевшая королева чувствовала себя одиноко, тогда как в Москве проживала её родня. Жигимонт поначалу попытался воспользоваться влиянием вдовствующей королевы на брата Василия, чтобы нейтрализовать мятежного Глинского и примкнувших к нему феодалов, но после того, как Василий принял и обласкал мятежника, новый польский монарх полностью охладел к Елене.
В 1512 году началось очередное сражение за Смоленск. В этом же году Елену схватили в Вильно и отвезли в Троки, а затем в Биршаны (местечко под Ковно). Предварительно у королевы отобрали казну в подведомственных ей городах и волостях.
Василий III написал гневное письмо Жигимонту и получил вот такой ответ:
«…У сестры твоей, нашей невестки, казны, людей, городов и волостей не отнимали… В Троки и Биршаны не увозили и бесчестья никакого не наносили …только сказали ей, с нашего ведома, чтоб ее милость в Браславль не ездила, а жила бы по другим своим городам. Мы к невестке нашей относимся с большим почетом, к римской вере ее не принуждаем и не будем принуждать, городов и волостей не только не отнимали, которые дал ей брат наш Александр, но еще несколько городов подарили».
Действительно, после этого какое-то время Елена вновь распоряжалась в своих землях. Но ее уже ждали новые гонения, поводом для которых послужил неудачный поход брата на Смоленск. Королеву вновь отослали в Биршаны.
В 1513 году, после того как Елена вновь потребовала возвращения своего имущества, ей передали 40 золотых кубков. Буквально через несколько дней 37-летняя королева неожиданно скончалась. В своей хронике Ян Комаровский записал, что Елена была отравлена ключником по приказу посягавшего на её богатства Николая Радзивилла. Рудзкий указывает на то, что другие источники не подтверждают эту информацию. Впоследствии богатства Елены достались королеве Барбаре Запольи. Сигизмунд встретил известие о смерти Елены с облегчением, заметив в письме к краковскому епископу, что её кончина избавила государство от многих забот.
Похоронили Елену Ивановну в Пречистенском монастыре в Вильно холодным январским днем 1513 года.
Одни боготворили ее за стойкость в православной вере, другие ненавидели за то же и считали шпионкой Москвы.
С именами Елены и ее мужа Александра связывают икону Николая Гостунского, некогда очень почитаемую православными. По одной из легенд, образ
