옥계굴(玉溪窟)은 하부고생대 오르도비스기(약 4억 8천만년 전)에 퇴적된 조선누층군 석병산 층 석회암 내에 형성되어 있다. 부근 2km 반경 내에는 동대굴(東臺窟), 남대굴(南臺窟), 옥계굴(玉溪窟), 비선굴(飛仙窟) 등을 비롯하여 20여개의 석회석(石灰石) 동굴들이 무리를 이루고 있어 하나의 동굴지대를 형성하고 있다. 석병산층은 주로 결정질 석회안으로 이루어져 있으며, 석회암내에는 변성작용의 영향으로 변성광물이 포함되어 있다.

옥계굴은 남·북방향으로 발달하고 있는 절리면을 따라 지하수가 석회암을 녹이면서 형성되었으며, 동굴이 형성된 후 천당의 암석이 바닥으로 떨어져 내리면서 동굴의 내부가 확장되었다. 현재 입구에서 약 600m 지점까지 출입이 가능하며 그 이상의 오지에 대한 탐사는 이루어지지 않고 있다.

동굴의 형태는 경사굴로서 동굴내부도 비교적 순탄하고 석화의 특이한 경관을 볼 수 있다. 옥계굴(玉溪窟)은 공동내부(空洞內部)에 다양한 크기의 석화(石花)가 많이 발달되어 있어 '석화굴'(石花窟)이라고도 불리운다. 입구부분에는 대규모의 건열구조가 발견되며, 동굴 계류(溪流)가 없고 퇴화과정(退化過程)에 있으며 동굴입구 가까이에는 넓이 15m 높이 4m의 넓은광장이 있다. 이는 국내 석회동굴 내에서 유일하게 발견되는 대규모의 퇴적구조이다.

공동 바닥에는 동굴계류에 의하여 퇴적된 넓이 40평내외, 두께 30cm 내외의 점토층이 있다. 이 점토층의 표면부는 건화현상(乾化現像)에 의하여 형성된 건열(乾裂)이 발달되어 있어 석화의 생성과 함께 동굴내의 습도를 간접적으로 말해주고 있다. 종유석(鐘乳石), 석순(石筍)등의 동굴 2차 생성물은 주로 동굴 깊은 곳에 보존되어 있다.