Второго ноября 1837 г. в семье сельского головы Ефима Литовкина и его жены Марии родился сын. При святом крещении мальчика нарекли Иваном.
    Когда Ване было 8 лет, он, играя однажды с товарищами, вдруг изменился в лице, поднял голову и руки вверх и тут же упал без чувств. Его принесли домой и уложили. Когда он пришел в себя, то его стали спрашивать, что с ним случилось? Мальчик сказал, что он увидел на воздухе Царицу Небесную. «Да почему же ты думаешь, что видел Царицу?» - спросили его. «Потому что на Ней была корона с крестиком», - отвечал он. «Ну а почему же ты упал?» - снова спросили его. На это он тихо сказал: «Около Нее было такое солнце, я не знаю, не знаю, как сказать!» - добавил он и заплакал. Дивное видение это оставило глубокий след в душе восьмилетнего ребенка. Он с тех пор изменился, сделался тих, задумчив и стал уклоняться от детских игр, находясь неотлучно при матери. Взгляд его кротких глаз сделался еще глубже, и в его детском сердечке загорелась живая вера и любовь к Царице Небесной. Вскоре после этого в их селе случился большой пожар, а они незадолго до него перешли в новый, только что отстроенный дом. Ребенок видел испуг домашних и сам понимал опасность. Не зная к кому обратиться за помощью, он стал протягивать руки к находящейся вблизи их дома церкви во имя Покрова Пресвятой Богородицы и просить: «Царица Небесная! Оставь нам наш домик, ведь он совсем новенький!» Детская молитва была услышана. Все кругом сгорело, а дом Литовкиных остался цел. (Оптинский патерик).
    Иван рано лишился отца и матери. Одиннадцатилетний сирота вынужден был сам зарабатывать на хлеб насущный, работал в трактире, в бакалейной лавке, сопровождал обозы с товаром. Тяжелая жизнь не ожесточила Ивана, его чистая душа всегда стремилась к духовной жизни, утешение он находил в молитве.
    В тяжёлые минуты он вспоминал свое детское чудесное видение Царицы Небесной.
    В 1861 г. Иван получил письмо от сестры Александры, принявшей к тому времени постриг с именем Леониды в Борисовском монастыре. Она советовала брату идти в Оптину Пустынь, к старцам.
    В марте того же года по благословению старца Амвросия Иван был принят в святую обитель.
    По оптинскому обычаю каждый новоначальный должен был потрудиться в трапезной. Позже послушник был определен в келейники к старцу Амвросию. Возможность быть рядом с прозорливым старцем радовала инока, но безконечный поток посетителей утомлял. Лишившись душевного покоя, он решил потихоньку уйти на Святую Афонскую Гору. Прозорливому старцу Амвросию стало известно о смущении келейника, и однажды он сказал: «Брат Иван, у нас лучше, чем на Афоне, оставайся с нами». Прозорливость старца настолько поразила молодого послушника, что он больше не помышлял об уходе.
    Многие скорби и тяготы перенес он в монастыре. Годами у него не было даже своего места, где можно было уединиться, отдохнуть. Спать часто приходилось в приемной, в которой до поздней ночи было много посетителей, а в час ночи уже необходимо было спешить к утрени... Испытания закалили душу подвижника. В 1872 г. он был пострижен в мантию с именем Иосиф, в 1877 г. - рукоположен в иеродиакона, а 1 октября 1884 г. за Литургией в честь торжественного открытия Шамординской женской обители отец Иосиф был рукоположен в иеромонаха. К этому времени он уже был старшим келейником старца Амвросия. Тихий, серьезный, чрезвычайно скромный отец Иосиф выходил к посетителям, внимательно выслушивал, передавал ответ старца, ничего не добавляя от себя. Старец Амвросий со временем стал посылать посетителей за советом к своему келейнику, готовя, таким образом, достойного продолжателя традиций оптинских старцев.
    В 1888 г. иеромонах Иосиф сильно простудился и заболел. Его отвезли в больницу и 14 февраля, по благословению старца Амвросия, постригли в схиму. По молитвам Старца смертельная болезнь отступила. В 1890 г. старец Амвросий, уезжая в Шамординскую женскую общину, впервые не взял с собой верного помощника.
    «Тебе нужно здесь оставаться, ты здесь нужен», - сказал ему Старец. 1891 год был последним в жизни старца Амвросия.
    На старца Иосифа легли обязанности скитоначальника, духовника оптинской братии и шамординских сестер.
    Старец Иосиф был строгим постником, крайне мало спал, носил старую и бедную одежду. Он стяжал от Господа полноту духовных даров, и многие испытали на себе его дар прозорливости и исцелений. Многих верующих, обращавшихся к нему за советом, поражало его умение в нескольких словах выразить самое главное, наставить и утешить. Рассказы о силе его благодатной молитвы приводили в скит страждущих, ищущих исцеления и утешения.
    Однажды к Старцу привели тяжелобольную женщину, он принял её, выслушал и, дав ей в руки свои четки, пошел в спальню, сказав: «Подожди». А когда он вышел, она совершенно забыла про свою болезнь.
    А когда другая больная женщина обратилась к нему за помощью (опухоль околошейных желез не позволяла даже повернуть шею), Старец посоветовал отслужить молебен перед чудотворной иконой Божией Матери. По молитвам старца Иосифа больная полностью исцелилась.
    Старец Иосиф в течение двенадцати лет был духовником братии. С годами, слабея физически, Старец возрастал духовно, во время молитвы он преображался. Протоиерей Павел Левашов, посетивший старца Иосифа в 1907 г., был свидетелем дивного чуда: «Когда я пришёл, там был только один посетитель - чиновник из Петербурга.
    В скором времени пришёл келейник и пригласил чиновника к Батюшке...
    Чиновник пробыл минуты три и возвратился, а я увидел: от его головы отлетали клочки необыкновенного света, а он взволнованный, со слезами на глазах рассказал мне, что в этот день утром из Скита выносили чудотворный образ «Калужской» Божией Матери, Батюшка выходил из хибарки и молился. Тогда он и другие видели лучи света, которые расходились во все стороны от него молящегося. Через несколько минут и меня позвали к Старцу...
    Я увидел Старца, измождённого безпрерывным подвигом и постом, едва поднимающегося со своей печки... Мы поздоровались, через мгновение я увидел необыкновенный свет вокруг его головы, четверти на полторы высоты, а также широкий луч света, падающий на него сверху, как бы потолок келлии раздвинулся. Луч света падал с неба и был точно такой же, как и свет вокруг головы, лицо Старца сделалось благодатным, и он улыбался... Он, по своему глубочайшему христианскому смирению и кротости, - это отличительные качества Старца - стоит и терпеливо ждёт, что я скажу, а я, пораженный, не могу оторваться от этого, для меня совершенно непонятного видения...     Свет, который я видел над Старцем, не имеет сходства ни с каким из земных источников..., подобного в природе я не видел. Я объясняю себе это видение тем, что Старец был в сильном молитвенном настроении, и благодать Божия видимо сошла на избранника своего... Мой рассказ истинен уже потому, что я после сего видения чувствовал себя несказанно радостно, с сильным религиозным воодушевлением, хотя перед тем, как идти к Старцу, подобного чувства у меня не было... Всё вышесказанное передаю, как чистую истину: нет здесь и тени преувеличения или выдумки, что свидетельствую именем Божиим и своей иерейской совестью».
    Старец Иосиф отошел ко Господу 9 / 22 мая 1911 г.