ประวัติวัดเขาหน่อสร้างขึ้นเมื่อใดไม่ปรากฏหลักฐานแน่ชัด แต่จากหลักฐานทางโบราณคดีที่ค้นพบ เช่น พระพุทธรูปสมัยสุโขทัย ถ้วยชามสังคโลก รอยพระพุทธบาทจำลอง ซึ่งประดิษฐานอยู่บนยอดเขาหน่อ และพระพุทธไสยาสน์ในถ้ำพระนอน สันนิษฐานว่าน่าจะสร้างขึ้นสมัยกรุงสุโขทัยเป็นราชธานี หรือประมาณ 800-1,000 ปี มาแล้ว ครั้งหนึ่งพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว  " พระพุทธเจ้าหลวง " ได้เคยเสด็จประพาสบริเวณเขาหน่อเมื่อปี 2449 และต่อมาในปี 2452 ได้พระราชทานสิ่งของให้แก่หลวงพ่อแหยม วัดบ้านแดน ภายในวัดเขาหน่อมีจุดสำคัญต่างๆ ในการตามรอยเสด็จประพาสต้น ได้แก่ " สระเสด็จ " ที่เคยทรงน้ำ สิ่งพระราชทานจากรัชกาลที่ 5 ถวายแด่ หลวงพ่อเเหยม และพระบรมรูปรัชกาลที่ 5 สำหรับสักการะ 
โดยได้เสด็จจากท่าน้ำบ้านแดนตอนย่ำรุ่ง แล้วเสด็จพระราชดำเนินไปตามถนนจนถึงวัดเขาหน่อ ระยะทาง 87 เส้น เสด็จขึ้นเขาทรงฉายพระรูปแล้วประทับที่ถ้ำพระพุทธไสยาสน์ ( ถ้ำนอน )จนถึงเวลา 3 โมงเศษ จึงได้เสด็จกลับ