ตามตำนานเล่าต่อกันมาว่า ในสมัยที่มีการสร้างพระบรมธาตุนครศรีธรรมราช พระนางเหมชาลาได้นำคนและสิ่งของมาช่วยงานก่อสร้างพระบรมธาตุนครศรีธรรมราช เมื่อมาแวะพักระหว่างทางจึงได้สร้างพระพุทธรูปสีทองขึ้นเป็นจำนวนมาก บรรดาพระพุทธรูปสีทอง 29 องค์ มีพระพุทธรูปอยู่องค์หนึ่ง ซึ่งมีขนาดใหญ่ที่สุดที่ชาวบ้านเรียกว่า “หลวงพ่อองค์ใหญ่” ที่ด้านหลังผนังถ้ำของหลวงพ่อองค์ใหญ่เยื้องไปทางด้านซ้าย มีรอยฝ่ามือขนาดใหญ่ปรากฏอยู่บนแผ่นหิน ซึ่งเป็นที่อัศจรรย์ใจแก่ผู้ที่ขึ้นไปกราบไหว้ขอพร นอกจากนี้หลวงพ่อองค์ใหญ่ยังเป็นพระพุทธรูปที่ศักดิ์สิทธิ์ในด้านการป้องกันศาสตราวุธทั้งหลายและอันตรายทั้งปวง จากประสบการณ์ของผู้ที่พกเหรียญหลวงพ่อองค์ใหญ่ติดตัวไว้ จะแคล้วคลาดปลอดภัยจากอันตรายทั้งหลาย
ต่อมาเมื่อปี พ.ศ. 2491 มีพระธุดงค์รูปหนึ่งชื่อ หลวงพ่อเขียด ท่านธุดงค์มาปักกรดอาศัยอยู่ที่เชิงเขาหน้าพระพุทธรูปโบราณที่ประดิษฐานเรียงรายอยู่ตามเชิงเขาเป็นแนวยาว เมื่อหลวงพ่อเขียดออกไปบิณฑบาตในหมู่บ้านเขากอย ซึ่งห่างไกลจากที่พักของท่านประมาณ 3 กิโลเมตร ชาวบ้านหลายครัวเรือนได้ตักบาตร กับท่าน และได้สอบถามท่านว่าพักอยู่ที่ไหน เมื่อท่านแจ้งรายละเอียดให้ทราบ จึงนำพวกชาวบ้านรวมหลายคนติดตามขึ้นมาที่เขา ณ ที่พักของท่าน เมื่อชาวบ้านมาพบเห็นก็เกิดความเลื่อมใสศรัทธา คิดจะสร้างเป็น สำนักสงฆ์ จึงนิมนต์หลวงพ่อเขียดให้อยู่ประจำ ณ ที่นั้น แล้วชาวบ้านก็จัดปลูกสร้างที่พักขึ้นด้วยไม้หลังคา มุงจาก สาคูบ้าง เป็นกุฏิพระพักนอน เป็นที่ฉันอาหาร เมื่อมีชาวบ้านเข้ามาที่พักสงฆ์มากขึ้นก็ช่วยกันแผ้วถางป่าออกเป็นบริเวณกว้างพอสมควร แล้วสร้างโรงเรือนเป็นที่ทำบุญฟังธรรมฟังเทศน์จากหลวงพ่อในวัน ธรรมสาวนะ คือ วันพระ เป็นประจำ ต่อมาชาวบ้านก็ให้ลูกหลานเข้ามาบวชบรรพชาอุปสมบทอยู่จำพรรษา กับหลวงพ่อ ซึ่งแต่ละปีไม่น้อยกว่า 10 รูป จากนั้นจึงตั้งชื่อว่า “สำนักสงฆ์เขาพระ”
