VI века построил там деревянный замок.
В 1513 г. княжна Анна Кишки вышла замуж за Яна Радзивилла Бородатого, к которому Несвиж и перешел. В 1547 г. по инициативе Николая Радзивилла Черного началась масштабная перестройка деревянного замка по проектам голландских военных инженеров.
Во время осады Полоцка в 1580 г. Николай Радзивилл Сиротка был «ис пищали в главу сый постреленъ» и вынужденно покинул лагерь короля Речи Посполитой Стефана Батория для лечения в Италии. С лета 1580 г. по зиму 1581 г. князь провел на Апеннинах, где «лекарствы и парами покрѣпився». За это время он ознакомился с достижениями итальянского военного зодчества в строительстве фортификаций. Очевидно, что в поездке Радзивилл встретился с талантливым итальянским мастером, монахом ордена иезуитов Джованни Бернардони, который участвовал в реконструкции собора Святого Петра в Риме.
По возвращении домой Николай Радзивилл 7 мая 1583 г. начал строительство каменного замка на месте старого деревянного. Для этого князь выписал из Италии именно Джованни Бернардони. В 1583 г. по приказу ордена иезуитов монах отправился в Несвиж, однако по дороге был остановлен ректором иезуитского коллегиума в польском Люблине, где провел три года, выполняя несколько проектов.
После настойчивых напоминаний князя Николая Радзивилла ордену иезуитов об архитекторе в 1586 г. Бернардони приехал в Несвиж и остался на 13 лет. Мастер вел несколько проектов одновременно. Осуществлял надзор за строительством несвижского коллегиума по чертежам римского архитектора Джованни де Росси. Возводил иезуитский костел Тела Господня, прототипом которого послужил главный орденский храм иезуитов в Риме. Контролировал строительство множества монастырей и городских строений.
По плану Несвижский замок представляет собой прямоугольник примерно 170 х 120 метров. Он соединяется с окрестностями с помощью единственного разборного деревянного моста и системы тайных подземных ходов. Одновременно с юга и востока от замка началось создание сети гидротехнических сооружений. Русло реки Уши расширили, возвели плотины и создали шесть водоемов, которые существуют по настоящее время. Они составили единую каскадную систему с перепадами уровней примерно в один метр, что позволило подавать воду в замковый ров шириной до восьми метров и глубиной около четырех метров. Несвижский комплекс водоемов остается самым масштабным и древним подобным сооружением на территории Беларуси, дошедшим до наших дней.
Для возведения основы замка и круговой оборонительной насыпи использовались земля и глина, полученные при рытье прудов и подземелий. По окончании строительства замковый вал представлял собой искусственно созданную насыпь высотой и шириной от 20 до 25 метров, изначально укрепленную кирпичными стенами толщиной до двух и высотой до четырех метров.
С годами Несвижский замок перестраивался много раз и в результате приобрел вид сказочного дворца, сочетающего в себе черты многих архитектурных стилей. Но внешние контуры здания и несущие стены остались неизменными со времен Бернардони.
В Средние века родовое гнездо Радзивиллов превратилось в великосветский замок и культурный центр. В архитектурном ансамбле имелось 365 комнат – по количеству дней в году. Двенадцать больших залов получили имена: Золотой, Бриллиантовый, Серебряный, Королевский, Гетманский, Большой и Малый рыцарский, Охотничий, Мраморный, Портретный, Голубой, поскольку в декоре использовались одноименные металлы, камни и тематические предметы. В стенах замка размещались библиотека на 20 тыс. томов и архив Великого княжества Литовского, портретная и картинная галереи, которые насчитывали более тысячи полотен, принадлежавших кисти различных художников. В кладовых хранилась богатая коллекция европейского, арабского, японского и китайского оружия, знаменитые слуцкие пояса, кореличские и несвижские шпалеры, огромное количество хрусталя, монет и медалей, королевская мебель и другие раритеты.
Замок считался одним из самых мощных и совершенных оборонных укреплений и имел собственную мастерскую по отливу пушек и мортир. На боевом дежурстве находился вооруженный гарнизон с 36 пушками и ручным огнестрельным оружием.
В XVIII веке замком владел князь Кароль Станислав Радзивилл по прозвищу Пане Коханку. Этот человек вошел в историю как самый богатый, любвеобильный и непредсказуемый представитель семейства. В 1780 г. на одном из летних балов Пани Каханку обмолвился, что утром гости поедут на службу в костел на санях по снегу. За ночь замковый сад и дорогу усыпали солью. Такой широкий размах празднествований был непозволительным для многих королей Европы, поскольку в то время стоимость соли приравнивалась к цене золота.
Богатства Радзивиллов превосходили сокровища российской императрицы Екатерины II, о чем свидетельствует письмо посла России в Речи Посполитой М. Репнина, посетившего в 1784 г. замок вместе со свитой последнего польского короля Станислава Августа Понятовского. «После блестящего обеда на 300 особ король спустился в подземелье замка и увидел золотые слитки, уложенные до самого потолка. Золота было на сотни пудов, множество
