Считается, что чудо было явлено святителю Прохору в начале 14-го века. Случилось это во время путешествия. Сначала образ Богородицы засиял в небе, а потом появилась и икона. Прохор и его спутники стали рубить лес, чтобы возвести на этом месте деревянный храм. Прослышав о чуде, на Толгу стали стекаться паломники. Церковь построили очень быстро, и освятили ее в честь Девы Марии.
Позже тут сформировался мужской монастырь — сегодня он считается одним из наиболее старинных в России. Когда пожар уничтожил деревянные монастырские строения, икона чудесным образом уцелела. Иван Грозным, получивший от образа исцеление, пожертвовал деньги на строительство каменных храмов в обители.
Немало еще видели монастырские стены. Икона пережила нашествие польско-литовских интервентов в 17-м веке, последующий мор, тяжелые голодные годы, когда люди заботились только о пропитании.
В советские годы тут была колония для малолетних преступников. В 1987 году обитель вновь передали церкви. По-прежнему хранится тут Толгская икона.