После смерти Миколая Черного в 1565 г. имение принял его сын Миколай Криштоф Радзивилл Сиротка. Этот был женат на Эльжбете Евфимии из рода Вишневецких и имел трех дочерей, сыновей Миколая, Яна Юрия, Альбрехта Владислава, Криштофа Миколая, Сигизмунта Кароля, Александра Людвига.
После смерти Миколая Сиротки хозяином уже значительно расширенных княжеских владений стал его сын Ян Юрий Радзивилл. Известно, что в сентябре 1617 г. Ян Юрий встречал в Несвиже королевича Владислава IV и подарил ему 2 большие пушки.
Ян Юрий Радзивилл не имел наследников, поэтому после его смерти в 1625 г. Несвижем завладел его младший брат Альберт Владислав, который хозяйничал до 1636 г. Во время его управления, а именно в октябре 1625 г. в Несвиже случился мор, который унес жизни 50-ти горожан. Беда отступила только в конце ноября. По этому случаю мещане возвели в 1626 г. в предместье Новый город часовню.
С 1636 по 1654 гг. владельцем города был Александр Людвиг Радзивилл, ещё один сын Миколая Сиротки. В 1640 г. в городе проходило пышное представление, посвященное 100-летию со дня основания ордена иезуитов. По улицам прошли процессии, школьная молодежь исполняла под музыку триумфальные гимны. В память про этот день Александр Людвиг передал в костел отлитое из золота сердце в натуральную величину.
Михаилу Казимиру Радзивиллу выпало стать хозяином города в год начала тяжелейшей войны. В 1654 и 1659 гг. Несвиж был основательно разграблен. Михаил Казимир добился в сейме Речи Посполитой, чтобы город на 4 года освободили от выплат податей, а впоследствии и сам начал «немалым коштам фортификовать Несвиж». В 1670 г., тоже благодаря его стараниям, Варшавский сейм на 20 лет освободил местных мещан от выплаты таможенных сборов и мыта старого и нового. В дальнейшем владельцу Несвижа стало значительно проще добиваться всевозможных привилеев в пользу своего города, потому что он сделался мужем родной сестры Яна Собеского Катерины. Ян III (Собеский), вступив в 1674 г. на трон, не только подтвердил Несвижу все предыдущие привилеи, по и специальным привилеем, как награду за мужество, установил в 1681 г. четырехнедельный кирмаш, который начинался 25 августа.
После смерти Михаила Казимира в 1680 г. Несвижским имением на протяжении 12-ти лет владела его жена Катерина из рода Собеских. Пользуясь поддержкой своего брата-короля, она продолжала опекать город.
С 1692 г. в Несвиже стал хозяйничать Кароль Станислав Радзивилл. На его долю выпал еще более тяжелый период — Северная война. В мае 1706 г. город был сожжен, а замок разрушен.
Возрождение Несвижа началось только в 1720-е г., когда хозяином его стал старший сын Кароля Станислава Михаил Казимир Радзивилл Рыбонька. Были восстановлены укрепления замка и города. Своим постановлением от 26 июля 1724 г. Михаил Казимир Рыбонька позволил пользоваться городскими правами всем, кто хотел тут поселиться. В его постановлении от 1731 г. есть специальный параграф про военные учения: согласно ему каждый год на третий день Семухи все взрослые мужчины обязаны были принимать участие в соревнованиях стрелков на приз «короля курка». Кроме того, Радзивилл Рыбонька активно занимался вопросами развития экономики и культуры в Несвиже: заложил мануфактуру шелковых поясов, открыл рыцарскую школу, основал суконную фабрику, спиртзавод. В протяжении 40 лет этот магнат вел диариуш, дневник, который составил, в общей сложности, несколько тысяч страниц. Первая жена Радзивилла Рыбоньки Франтишка Уршула Радзивилл из рода Вишневецких явилась основательницей придворного театра с капеллой и балетной школой.
В 1762 г. Михаил Радзивилл Рыбонька умер и Несвиж перешел к его сыну Каролю Станиславу Радзивиллу Пане Коханку. Этот начал с того, что устроил отцу грандиозные похороны, обошедшиеся ему миллион злотых. Потом спесивый самодур рассорился с российскими властями из-за позиции, которую занял на выборах нового короля и своем участии в Радомской и Барской конфедерациях.
Далее обращаюсь к сведениям В.И. Князевой, опубликованным в районной книге «Памяць». Радзивилл Пане Коханку скончался в 1790 г. в Польше, не оставив после себя наследников. Согласно закону, установленному еще Сироткой, ординация перешла к ближайшему родственнику — малолетнему Доминику Иерониму Радзивиллу, сыну ордината клецкого Иеронима Винцента Радзивилла (родного брата Радзивилла Пане Коханку). Доминик Радзивилл, кажется, жил в Несвиже наездами. Известно, что прибыв в город в 1805 г., он создал здесь масонскую ложу. В 1809 г., посетив Несвиж, он закрыл театр и распустил оркестр. Гораздо больше его интересовали лошади. В книге «Несвиж — живая легенда» (2005) находим, что не смотря на то, что Доминик Радзивилл давал присягу на верность Российскому императору, он, прельщенный известными обещаниями величайшего из авантюристов, переметнулся на сторону французов и во главе сформированного им же самим пятитысячного кавалерийского полка пошел на Москву. Умер Доминик Радзивилл во Франции от ран в 1813 г., оставив после себя лишь дочку Стефанию. С его смертью было прервано ответвление Радзивиллов, начатое еще со времен Миколая Криштофа Сиротки.
По Указу Александра I от 24 февраля 1814 г. Несвижская ординация была передана Антонию Радзивиллу, бывшему наместнику прусского короля в княжестве Познаньском.
В 1828 г. Лев Петрович Витгенштейн, сын главнокомандующего Западной Армией в 1812 г. П.Х. Витгенштейна, женился на Стефании Радзивилл и сделался очередным владельцем Несвижской ординации.
В 1832 г. Стефания умерла, оставив сына Петра (умер бездетным в 1887 г.) и дочь Марию, которая вышла замуж за князя Хлодвига Карла Виктора Гогенлоэ. Последнему поздней и достались владения Витгенштейнов.
У Михаила Александровича Ткачева, белорусского замковеда, находим, что первоначально город Несвиж не имел собственной линии фортификации. Поэтому в случае военной опасности жители прятались в деревянном княжеском замке. При этом Ткачев добавляет, что замком этим пользовались и Немировичи, и Матигирды, и Кишки, а с 1515 г. и Радзивиллы.
Далее М.А. Ткачев сообщает, что в 1583 г. Миколай Радзивилл Сиротка организовал перестройку деревянного замка в каменный. В ней участвовал итальянский архитектор Джованни Мария Бернардони. Он перестроил замок в традициях новоитальянской фортификации. Укрепление имело форму четырехугольника и было окружено высоким земляным валом с каменными бастионами по углам. Кроме того, его окружал ров, заполненный водой. Вода в ров поступала из двух водохранилищ, устроенных на реке Уше. На особый случай были прорыты четыре подземных хода. Перед рвом, по его краю, вела земляная насыпь с ячейками для стрелков. Подъемный мост перед въездной башней был оснащен дополнительной системой укреплений.
Самая совершенная по тем временам новоитальянская оборонительная система предусматривала наличие двух главных факторов: водных сооружений и подземных коммуникаций. И то и другое в Несвижском замке получило реализацию. Путем возведения каскада плотин вокруг города было создано аж шесть прудов. Что касается подземных сооружений, то к ним относились, в частности, две галереи, до сих пор сохранившиеся в юго-западной части замкового вала.
На бастионах располагались пушки, которых, по инвентарям XVII в., в замке было около сотни.
И еще: от города к замку на всю протяженность этого перехода (450 метров) тянулся разборный деревянный мост, который, в случае необходимости, мог быть демонтирован.
Что касается построек на Замковой горе, то сначала их было лишь несколько. Появившийся при Сиротке дворец имел три этажа. Фасад его был декорирован лепниной и оснащен двумя башнями с запада. В северной части замкового двора располагалось двухэтажное здание арсенала. Центральный двор был выложен булыжником и представлял собой плац. В центре этого плаца располагался так называемый осадный колодец.
По сведениям М.А. Ткачева, в 1586 г. князь Миколай Радзивилл Сиротка обязал жителей Несвижа построить вокруг города сплошную линию укреплений, в том числе 2 каменные въездные башни, «абы место замкнено было». Через одни башенные ворота можно было выйти на Мир, а через другие — на Слуцк. На эти работы город, получив «право Саское магдебургское», выделял деньги со своего бюджета. Для этой цели мещан освободили «от жнивных толок», но обязали «с каждого пляца оседлого насыпать по пруту (4,87 м) земляной насыпи вала». Кроме этого, в соответствии с артикулами магдебургского права, в городе была организована служба спасения и служба борьбы с пожарами. Существовало также городское ополчение.