Преподобный Иосиф (в миру Иван Литовкин) родился 2 ноября 1837 года в семье сельского головы Ефима Литовкина и его жены Марии. Четырех лет от роду Ваня потерял отца, а в одиннадцать лишился матери. Недетская, тяжелая началась у него жизнь. Пришлось работать и в трактире, и в бакалейной лавке, таскать пятипудовые мешки и прочие тяжести, сопровождать обозы с товаром. Голодал, скитался, бывал бит жестоким хозяином. Но грубая, страшная жизнь не развратила и не озлобила его.
Юноша стремился к духовной жизни, однако до поры о монастыре он и не думал. Но когда наконец появилось хорошее место у таганрогского купца Рафаилова, желавшего даже выдать за него свою дочь, неожиданно пришло письмо сестры Александры, принявшей к тому времени постриг с именем Леониды в Борисовском монастыре. Она советовала идти в Оптину пустынь, к старцам.
Преподобного старца Макария к тому времени уже не было в живых, но уже воссиял в Оптиной пустыни новый светильник – преподобный старец Амвросий. «Батюшка, благословите в Киев», – на эти слова юного Ивана Литовкина последовал неожиданный ответ великого старца: «Зачем тебе в Киев, оставайся здесь». Так 1 марта 1861 года начался иноческий путь длиной в полвека…
По оптинскому обычаю каждый новоначальный должен был потрудиться в трапезной. На этом нелегком послушании обнаружились и окрепли добрые качества души будущего старца: беспрекословное послушание, трудолюбие, молчаливость и беззлобие. Навидавшись и натерпевшись всего в миру, он понимал, какой бесценный дар Божий – покой и тишина святой обители. И вскоре посетил его Господь великим утешением. Брат Иван был определен в келейники к преподобному Амвросию.
Возможность быть рядом с дорогим батюшкой радовала юного инока. Но бесконечные толпы посетителей тяготили и расстраивали душевный покой. Не смея высказать старцу свою скорбь, он решил потихоньку уйти к святыням Киева, безмолвию Афона. Но прозорливый старец Амвросий остановил его.