Guhyaloka se compró en 1986 con el dinero que Urgyen Sangharakshita recibió el día de su 60 cumpleaños. Urgyen Sangharakshita quería una propiedad donde celebrar los cursos anuales de ordenación, durante los cuales ordenaba a hombres en la Orden Budista Occidental (ahora Orden Budista Triratna). Según su visión, el lugar tenía que cumplir tres condiciones: debía estar fuera de Gran Bretaña para que los ordenados (que entonces eran en su mayoría británicos) tuvieran que viajar lejos de casa; tenía que estar aislado; y tenía que poder ofrecer un alojamiento muy básico.
Subhuti y un amigo local buscaron por la región de Alicante y (según la leyenda, guiados por un águila) pronto dieron con una propiedad perfecta escondida en las montañas, en un barranco escarpado. Una comunidad de voluntarios se instaló allí y construyó rápidamente una serie de cabañas sencillas, principalmente con materiales recogidos, y una sala de santuario y cocina de piedra. Con los años, se levantaron nuevos edificios de piedra y se mejoraron las instalaciones de la cocina. Todo ello con un presupuesto muy ajustado. Las clases de ordenación comenzaron al año siguiente y, desde entonces, se han celebrado uno o dos retiros cada año (excepto en 2020, cuando Guhyaloka tuvo que cerrarse temporalmente debido a la epidemia de corona).
Guhyaloka no es sólo el lugar de los retiros de ordenación. También es el hogar de una pequeña comunidad (normalmente entre cuatro y siete hombres) que apoyan los retiros y mantienen y desarrollan Guhyaloka. Viven en una parte separada del valle, centrada en el «Bhante’s Bungalow», que originalmente se pensó como residencia de invierno para Sangharakshita. Al fondo de la propiedad hay una pequeña casa, El Morer, que se ha utilizado en diversas ocasiones como residencia de la comunidad, como oficina y como alojamiento para visitantes. También hay allí un taller.
El tercer componente de la visión de Sangharakshita para Guhyaloka era establecer una vihara budista, una comunidad que ni enseña ni tiene obligaciones administrativas, sino que simplemente vive junta y profundiza en su práctica budista lejos de todas las distracciones de la vida normal. Se dice que Sangharakshita dijo una vez que su única tarea era vivir en comunidad en el valle. Que meditara o estudiara allí, trabajara la tierra o se dedicara a escribir u otras actividades artísticas era secundario.
A lo largo de las décadas, ha habido varios intentos de establecer una vihara estable. Algunos de estos intentos tuvieron éxito, pero duraron poco. La encarnación actual de la idea considera a la comunidad de Guhyaloka más como una «comunidad forestal», que crea una «ermita forestal» y un retiro en la cercana Uttaraloka.
