В октябре 1914 года на перекрестке Захарьевской и Ново-Московской улиц (сегодня известных как Советская и Мясникова), недалеко от Виленского вокзала, был открыт и освящен новый храм в честь Казанской иконы Божией Матери, которая почитается как покровитель путешествующих.
Строительство Свято-Казанской церкви, которую иногда называют Привокзальной, длилось 15 лет, и даже начало Первой мировой войны не помешало его завершению. Храм, возведенный из красного кирпича в византийском стиле, финансировался за счет пожертвований работников Московско-Брестской и Либаво-Роменской железных дорог. К сожалению, его купола не долго приветствовали приезжающих в город. После Октябрьской революции в храме продолжались богослужения, но затем с него сняли кресты, и здание превратилось в клуб железнодорожников. К разрушению Свято-Казанской церкви приступили в мае 1936 года.
Тогда была разработана специализированная наука, занимающаяся подрывом культовых зданий таким образом, чтобы обломки падали внутрь, что называлось "художественным взрывом". На этот зрелищный процесс собрались высшие руководители республики - Гикало, Червяков, Голодед, которые наблюдали за происходящим, как за театральным представлением, с балкона Дома правительства. Однако вскоре и они стали жертвами сталинских репрессий. Место, где в течение 22 лет стоял храм, уже более пятидесяти лет занимает камень с обещанием построить памятник Мясникову на фундаментах разрушенной церкви.