Постройка Костела Святого Андрея была завершена в период с 1770 по 1775 год, исполнена в заключительной фазе белорусского ("виленского") барокко.

Уникальность данного церковного сооружения заключается в том, что его башни расположены под углом в 45 градусов, что обеспечивает ему выразительный вид. Впервые двери костела были закрыты по следствию восстания 1830–1831 годов и здание серьезно пострадало в период Первой мировой войны. Однако в 1925 году, когда территория Слонима принадлежала Польше, была проведена его реставрация по инициативе местного священника.

Во времена Великой Отечественной войны в помещении изысканного Андреевского костела хранились соленые огурцы, а здание было приспособлено под склад солений. Сооружение вернули католической общине только в 1990 году, и через несколько лет после этого начались работы по его реставрации.

В настоящее время в нишах у входа в костел установлены деревянные изваяния апостолов Петра и Павла. С алтаря на посетителей смотрит скульптурная группа «Распятие» и икона Божьей Матери Жировицкой.