С 1420 года начинается история Ольшева, когда оно принадлежало княжескому роду Гаштольдов.
Оставляет вопросы, по каким причинам владельцы многочисленных владений решили продать эти земли. В 17 веке их приобрели известные шляхта Хоминские.
В 1881 году началось строительство усадьбы, вероятно, Александром Станиславом Лавреном Хоминским, публичной фигурой и писателем, который через пять лет перебрался на свое поместье, но строительство продолжалось до 1893 года. К началу нового века здание было расширено двумя кирпичными крыльями.
Усадьба превратилась в семейный дом при сыне Александра, Людвиге Станиславе, талантливом предпринимателе и будущем писаре ВКЛ, который выбрал Ольшево местом для создания семейного очага и центра творческой интеллигенции в 30-х годах с участием жены Стефании.
Хоминские известны своими хозяйственными навыками. Здесь успешно развивали скотоводство, земледелие и рыбоводство. Александр Станислав Лаврен, ставший депутатом Второй Думы, построил кирпичный и известняковый заводы, пекарню, лесопилку, обновил мельницу и построил электростанцию.
При Людвиге, президенте общества библиофилов, его дом с библиотекой в 12 тысяч томов привлек многих знаменитостей, включая художника Фердинанда Рушица и научного писателя Владислава Уминского.
С приходом советской власти усадьбу планировали превратить в профилакторий, начали реставрацию, но затем работы остановили и дом пришел в упадок, а ворота перенесли в усадьбу Сулистровских в Комарово.
Парк Хоминских сохранился хорошо и имеет статус ботанического памятника. Липовые и кленовые аллеи, переплетенные и запущенные, привлекают внимание, как и сохранившаяся часть паркового лабиринта в барочном стиле.