В.Л. Носевич в книге «Дзесяць стагоддзяў Барысава», изданной в 2002 г., сообщает, что Борисовская волость, размещавшаяся между Минским и Свислочским княжествами в середине XIV в., подчинялась власти Гедимина и его сына Ольгерда. Вероятно, в тот период и случился перенос Борисова с первоначального места на новое, на 4 км ниже по течению Березины. Был построен деревянный замок на острове в пойме реки. Посад прилегал к замку с севера и северо-востока. Противоположный, правый берег Березины в то время оставался незаселенным.

В конце XIV в. Борисов с окрестной волостью подчинялся непосредственно великому князю Витовту. В 1396 г. последний дал «борисовцам» привилей, который должен был послужить упорядоченью приема и учета медовой дани. Деревенские сами привозили мед в замок.

После смерти Витовта хозяином Борисова стал великий князь Свидригайло. Об этом говорит один из документов Тевтонского ордена за 1432 г. Именно в Борисове Свидригайлой в 1433 г. был пленен при переправе через Березину один из полководцев Сигизмунта Кейстутовича — князь Михайло Гольшанский, которого затем убили по указанию все того же Свидригайлы.

Междоусобица завершилась победой Сигизмунта. Последний владел Борисовым до самой своей смерти, а именно до 1440 г.

Во времена правления великого князя Александра Борисов упоминается в 1499 г., когда через город прошло на восток войско гетмана Константина Острожского, направлявшееся на войну с Московской державой. Александр, даже, на некоторое время перебрался в Борисовский замок и осуществлял оттуда руководство военными действиями. Но та война оказалась неуспешной для него. В 1500 г. войско Острожского было разбито, а сам гетман попал в плен.

С этого периода началось затяжное военное противостояние между Великим княжеством и Россией. Борисов сделался важным стратегическим пунктом на этом направлении. Вероятно поэтому, предполагает В.Л. Носевич, Борисовское наместничество стало как бы дополнением к высшей государственной должности Великого княжества — виленского воеводы. В 1522 г. виленским воеводой, канцлером и одновременно борисовским наместником был Альбрехт Гаштольд. Но, так как виленский воевода по обязанности своей должности большую часть времени проводил в столице, делами наместничества занимался кто-то из его доверенных. При Альбрыхте Гаштольде местными замком и волостью руководил Каспар Кунцевич.

В 1567 г. после смерти Миколая Радзивилла Черного виленским воеводой и, соответственно, борисовским наместником стал его двоюродный брат Миколай Юрьевич Радзивилл Рыжий.

В 1579 г., оставаясь виленским воеводой, Радзивилл Рыжий передал Борисовское наместничество своему сыну Криштофу, который, после смерти отца в 1584 г., сделался еще и виленским воеводой.

Криштоф Радзивилл умер в 1603 г., после чего Борисовское наместничество (примерно с этого времени оно прочно начинает называться староством) перешло его сыну — Янушу Радзивиллу, который владел им до своей смерти в 1620 г. Долго владея Борисовом, представители рода Радзивиллов обновили и укрепили хозяйский двор на месте первоначального городища (в современной деревне Старый Борисов). Это поселение даже название заимело соответствующее — Радзивиллов.

В 1621 г. ввиду того, что сын Януша Радзивилла Богуслав был совсем маленьким, король Речи Посполитой Сигизмунт III передал Борисов представителю другого магнатского рода — трокскому воеводе Александру Хадкевичу. Тот правил городом до своей смерти в 1626 г.

В 1629 г. староство было передано канцлеру Альбрехту Станиславу Радзивиллу (одному из потомков Радзивилла Черного).

С 1635 г. на должности борисовского старосты находился поляк Адам Казановский, который владел староством на условиях заклада: дав в долг казне Великого княжества большую сумму денег и получив взамен право пользоваться доходами староства до тех пор, пока не вернет одолженное. После смерти Казановского закладное право на староство перешло к его вдове.

После войны 1654-67 гг. Борисовское староство было передано надворному подскарбию Казимиру Яну Сапеге. Хотя староство по-прежнему считалось государственным имением, фактически Сапега пользовался им, как собственным. В апреле 1670 г. он даже отдал его в аренду Даниэлю Кастровицкому, мечнику Лидского повета. В городе тогда насчитывалось 256 мещанских дворов.

В 1672 г. Сапега отдал староство в трехгодовую аренду скарбнику Андрею Казимиру Скоробогатому за 34 тысячи злотых.

В 1685 г., уже будучи виленским воеводой, Казимир Ян Сапега обменялся с Домиником Михаилом Слушкой государственным имением на частное — Борисов на Новый Быхов. Этот обмен был совершен с согласия короля. Но фактически он был неправомерен и осуществился только потому, что власть уже утратила способность контролировать перемещение своих имений. Доминик Слушка оставался хозяином Борисова до своей смерти в 1713 г.

После Доминика Слушки Борисовское староство отошло к его вдове Констанции (из рода Подберезских). В 1718 г. она уступила его витебскому каштеляну Мартину Михаилу Огинскому (с 1730 г. — витебский воевода).

В 1744 г. Борисов перешел к Игнатию Огинскому (с 1750 г. — маршалок Великого княжества, а с 1768 г. — виленский каштелян). Этот отдал униатам действующий православный монастырь и построил униатскую церковь в честь Воскресения Господня. В это же время (1744) в городе появился деревянный костел в честь Восшествия Девы Марии.

После смерти бездетного Игнатия Огинского в 1775 г. король оставил право на пожизненное пользование Борисовским староством за его вдовой Еленой, которая известна тем, что дружила с Екатериной Дашковой и имела связи с двором императрицы Екатерины II.

Михаил Александрович Ткачев в районной книге «Памяць» за 1997 г. сообщает, что замок в Борисове возник еще в начале XIV в. после переноса города с первоначального места. Он размещался на левом берегу Березины около слияния с ней реки Пралли и занимал площадку около 2 га.

Итальянец Александр Гваньини в своей книге «Описание Европейской Сармантии», опубликованной на латинском языке в Польше в 1678 г., писал: «Борисов — место деревянное. Замок сделан из дубовых деревьев и самым лучшим образом укреплен башнями и деревянными четырехрядными стенами, которые внутри заполнены землей и камнями. Выгодно окружен рекой Березиной. От Вильни находится за 40 миль. Не имеет поветовой хоругви. Но в нем всегда содержится гарнизон солдат, на случай нападения московцев, чтобы задержать их, если они перейдут границу».

В 1-й половине XVII в., предположительно при Хадкевиче, замок был перестроен в пятибастионную фортификацию, укрепленную уже не прудами, а большим рвом, заполненным водой. С востока (со стороны города) к нему примыкало «подзамчище». Рядом с укреплениями проходил деревянный мост на сваях через Березину.

19 июня 1655 г. русские воевода Ю. Баратинский и окольничий воевода Б.М. Хитрово сожгли замок и мост. Но в сентябре царь приказал восстановить их. В результате «острог на Березе реки» и мост через реку появились вновь. Около въездных ворот устроили тайник к воде, который оградили бревенчатой стеной. А на детинце выкопали колодец и построили жилые хозяйственные помещения. Всего в Борисовском замке и подзамке стояло в тот период 145 домов.

Во время войны 1654-1667 гг. Борисовский замок служил перевалочной базой для трофейного оружия, продуктов, захваченных и запасенных русским войском в городах Великого княжества. Известно, что отсюда в сторону Смоленска отправляли пушки («пищали полковые и затинные»), оружейный и пушечный порох, свинец, пули. Отсюда же вывозили фуры с боевыми доспехами, холодным оружием, трофейными барабанами, литаврами и флагами.

В 1661 г. замок осаждали отряды Великого княжества. Благодаря запасам оружия и хлеба небольшой русский гарнизон целый год выдерживал осаду С. Чарнецкого, В. Воловича, А. Русецкого и П. Сапеги. 9 июля 1662 г. гарнизон все-таки оставил замок и отступил на восток.