Петра I, полк Сухарева – один из немногих стрелецких полков – поддержал будущего великого императора.
Руководил строительством, начавшимся в 1692 году, зодчий Михаил Иванович Чоглоков. В нижнем этаже башни были устроены проездные ворота, там же располагались и караулы. Второй этаж занимали палаты, вокруг которых шла галерея. В 1698–1701 годах появился и третий этаж, а над ним – четырехъярусная башня с часами. В палатах второго этажа разместилась первая в России школа математических и навигацких наук, созданная Петром I. А в верхнем ярусе башни была оборудована астрономическая обсерватория, где наблюдал звездное небо один из сподвижников царя – блестящий ученый-самоучка Яков Брюс (до сих пор на современном проспекте Мира под № 12 сохранился дом, где он жил).
В народе башню полюбили: стали в шутку величать Сухаревой барышней и просить выдать ее замуж за Ивана Великого – центральную колокольню Кремля.
В 1780-х годах у ворот башни разросся уже давно существовавший торг. Приобрести здесь можно было не только съестные припасы: торговали на рынке и старыми вещами, и – иногда – ценными художественными изделиями, и даже древними книгами и рукописями. Позднее Сухаревку и ее обитателей мастерски изобразил в своих заметках непревзойденный бытописатель Москвы Владимир Алексеевич Гиляровский.
В 1649 году на «огородной земле» построили церковь Преподобной Ксении. Этим именем звалась сестра первого владельца «огородов», а также мать основателя династии Романовых, царя Михаила Федоровича. Храм был домовой: служили в нем от случая к случаю, по желанию князя. Прихожанами стали княжеские крепостные и жители Спасской слободы, в которой в те времена не было собственного храма. При Ксенинской церкви была и богадельня, где жили около полусотни состарившихся барских слуг. В 1654 году после моровой язвы в живых осталось 110 из 423 жителей «огорода». В Патриаршем приказе отмечалось: «За сретенскими воротами за земельным огородом церковь преподобной Ксении пуста, церковников нет и дворы их пусты». В 1689 году патриарх Иоаким дал князю Михаилу Яковлевичу разрешение построить новый деревянный храм с богадельней.
В 1722 году умер князь Алексей Михайлович Черкасский, дед основателя Странноприимного дома Николая Петровича Шереметева. Вдова его, княгиня Мария Юрьевна Черкасская (урожденная Трубецкая), в память о муже возвела новую церковь, освященную во имя Живоначальной Троицы, с тремя приделами – Святой Троицы, Святого Архистратига Михаила и Преподобной Ксении (при отстроенном храме также была устроена богадельня). Работы начались в 1743 году. В тот год же год дочь князя и княгини Черкасских Варвара Алексеевна вышла замуж за графа Петра Борисовича Шереметева, «огороды» составили часть ее приданого. Храм Живоначальной Троицы в народе стали именовать на прежний лад Ксенинским. Богадельня продолжала существовать: в 1790-х годах в ней получило приют пятьдесят человек (в основном челядь графа Шереметева). В 1796 году скончался Иосиф Иванов – последний
