손가락 바위는 탈해사 경내에서 서북쪽으로 약 50여미터쯤 되는 가파른 산 경사면에 위치하고 있다. 이 바위는 멀리서 보면 마치 손가락으로 무엇인가를 가리키는 것 같다 하여 손가락 바위란 이름을 지었다 한다. 이 바위에는 손가락 바위란 이름 외에 여섯 가지의 다른 이름을 가지고 있는데, 그 이름을 살펴보면 작대기바위, 가세 바위, 쇠서(소 혀)바위, 쉬흔질바위, 장수턱걸이 바위, 용바위 등이다.
이중 장수턱걸이 바위에 대해서는 재미있는 유래가 있다. 옛날 탈해사에 도승이 한 분 계셨는데 자기 딸을 공양주로 보냈는데 산에서 무술을 연마하고 있던 장수가 그 처녀의 미모를 보고 탐을 냈다. 이를 안 도승이 손가락 바위 끝에서 턱걸이 100번 하기 내기를 했다. 그런데 장수는 턱걸이를 99번하고 힘이 없어 쉬흔길아래 계곡으로 떨어져 죽었다 한다. 그래서 이 바위를 장수턱걸이 바위, 또 쉬흔질 바위라 부르게 되었다 한다.