산세가 마치 돌을 쌓아 올린 듯 해서 적석산 또는 적산이라고도 부른다
깃대봉에서 남쪽방향으로 흘러내린 산릉이 다시 동쪽으로 방향을 바꾸면서 거대한 암봉을 치받고 솟아난 곳이 적석산이다.마치 돌을 쌓아올린듯 보인다하여 붙인 산명이지만 그저 적산(積山)으로 부르기도 한다.커다란 암반으로 이루어진 정상 주위는 급경사를 이루고 있지만, 대부분의 산능은 단순한 흐름과 더불어 부드럽다
적석산은 벼락바위·양산바위·마당바위·벽바위·문바위·알봉 등 바위 봉우리가 많은 것이 특징이다.
산 정상은 크게 3개의 봉우리로 나뉘며 각기 특이한 생김새를 하고 있다. 세 봉우리
중 양촌리에서 보아 왼쪽 봉우리를 적삼봉, 오른쪽 봉우리를 칼봉이라고 부르는데,
옛날에 큰 홍수가 나자 산 꼭대기에 적삼 하나와 칼 한자루 놓을 만한 자리만 남기고는 모두 물에 잠겼다고 해서
적삼봉과 칼봉이라 부르게 되었다는 이야기가 전한다.
적삼봉 정상은 40평 정도되는 평탄한 암반으로 되어 있으며 가뭄에도 물이 마르지 않는다는 샘이 있다.