На вершине горы христиане возвели храм и отправляли религиозные обряды до тех пор, пока не началось вторжение Османской Турции, когда церковь была заброшена.
В XVIII веке (первое известное письменное упоминание столпа) принц Багратиони попробовал забраться на вершину горы, однако все попытки закончились неудачей.
Читайте также: Самые популярные достопримечательности Грузии
В 1944 году исследовательская группа во главе с альпинистом Александром Джапаридзе и писателем Леваном Готуа совершила первый подъём на гору и установила, что здесь когда-то был храм. После этого местные жители начали совершать паломничество к храму.
Особенно часто храм стали посещать к началу 1990-х годов, в период возрождения христианства в Грузии. Значительное влияние на данные события оказал монах Максим, который в 1993 году перебрался в Кацхи и жил всю зиму в гроте под каменной колонной. Максиму начали давать пожертвования для возрождения храма. При финансировании государства с 1999 по 2009 год на руинах храма проходили археологические исследования, после чего храм был снова возведён и назван в честь Максима Исповедника.
Сегодня местные жители называют храм «Крепостью одиночества» - на столбе Кацхи находится церковь, возведённая из руин первого храма, склеп, винный погреб и наружная крепостная стена на боковой неровной поверхности горы. Простой дизайн церковного зала высотой 3,5 метров и шириной 4,5 метров, выложенный из камня, полностью повторяет первый разрушенный храм. К югу от церкви находится небольшой склеп, служивший когда-то усыпальницей. Наверх можно подняться по подвесной лестнице, установленной после первой экспедиции 1944 года, но лишь с позволения (благословения).
