В одной из своих кратких автобиографий Короленко, касаясь рассказа «В дурном обществе», говорит: «Многие черты взяты с натуры, и, между прочим, самое место действия описано совершенно точно с города, где мне пришлось оканчивать курс». Здесь имеется в виду город Ровно (названный в рассказе «Княжье-Вено»), где Короленко учился, начиная с третьего класса реальной гимназии. В образе судьи автор воспроизвел некоторые черты своего отца.
Прообразом старого замка, где проживали городские нищие, послужил дворец князей Любомирских в Ровно. Деревянный замок, построенный Марий Несвицкой в XV веке, был значительно перестроен князьями Любомирскими, владевшими Ровно с 1723 года. Во времена детства Короленко замок уже был заброшен и служил пристанищем для бездомных и бродяг. В начале XX века дворец был разобран, в настоящее время на этом месте располагается гидропарк и стадион.