Смиловичи в различные исторические периоды находились во владении разных знатных семей, включая Огинских, Монюшко, Ваньковичей.
Замок, возведенный в Смиловичах в XVII веке при участии Огинских, стал фундаментом для дворцового ансамбля, элементы которого сохранились до нашего времени. В первой половине XIX века старинный замок был реконструирован в новый дворцовый комплекс по инициативе военного судьи войск ВКЛ Станислава Монюшко, который также заложил прилегающий парк.
К концу XIX века ансамбль получил дальнейшее развитие, после чего его разделили на старую и новую части. В начале XX века, когда усадьбой владели Ваньковичи, в неоготическом дворце нашли место зимний сад, архив с документами нескольких владельцев Смиловичей, обширная библиотека и галерея картин, среди которых выделялось полотно Валентия Ваньковича «Адам Мицкевич на горе Аюдаг».
Во времена Второй мировой войны дворцовый комплекс подвергся частичному разрушению.