Он не имел постоянного пристанища и лишь изредка отдыхал в доме своего духовника, священника Всехсвятской церкви, или у одной престарелой вдовицы. Живя в смирении, терпении и непрестанной молитве, он духовно окормлял многих людей, в том числе и преподобного Иринарха, затворника Ростовского (память 13 января). После долгих подвигов он скончался 3 сентября 1580 года и погребен, по завещанию, подле церкви святого Власия, за алтарем.
Он имел «власы на главе велики», почему и назывался «Власатым». Наименование «Милостивый» блаженный Иоанн получил за многие исцеления, совершившиеся при его гробнице, а также в память святого Патриарха Александрийского Иоанна Милостивого (VII в., память 12 ноября), имя которого он носил.