За садом более ста лет ходит репутация «нехорошего места»: в позапрошлом веке здесь находилась усадьба Ворожцова, которого молва считала садистом. Своих крепостных он бил до смерти и закапывал в саду без отпевания. Его старший сын попытался донести в полицию о злодеяниях родителя, тогда озлобленный отец забил сына до смерти. Одна из дочерей Ворожцова умерла в молодости, а другая сбежала из дома. После смерти дворянина его жена ушла в монастырь, а дом сгорел дотла в 1848 году. После пожара усадьба долго стояла запущенной, пока городские власти наконец не решили привести место в надлежащий вид и устроить здесь место отдыха. Постепенно на месте бывшей усадьбы высадили более 500 деревьев (среди них клен остролистный, вяз шершавый, береза, тополь, дикая яблоня, дуб, сосна, рябина и калина). Из экзотических растений в саду произрастают лиственница сибирская, сирень венгерская, чубушник венечный и спирея калинолистная. В 1906 году здесь размещались увеселительные заведения, летний театр, открытая эстрада и даже библиотека. До 30-х годов сад являлся центральным парком культуры и отдыха, который пришел в запустение за годы Великой Отечественной войны. В 50-х тут был построен летний кинотеатр и детская площадка. «Нечистое» место бывшей усадьбы вновь расцвело, его перестали обходить стороной. В 1961 году был разработан проект реконструкции сада, который так и остался не реализованным. В конце 90-х годов зеленый островок стал чахнуть, фонари и скамейки растащили по частям, стоящую в центре сада скульптуру слоненка разломали, а деревья просто спилили. Сегодня сад вновь принял ухоженный вид, появились дорожки, лавочки и фонари, и несмотря на мрачные городские легенды здесь любят проводить время и молодые люди, и мамы с детьми, и пенсионеры.