เป็นวัดป่าที่มีชื่อเสียงของจังหวัด ตั้งอยู่เชิงเขาภูพาน ห่างจากตัวเมืองตามทางหลวงหมายเลข 210 (หนองบัวลำภู-อุดรธานี) ไป 13 กิโลเมตร จากนั้นแยกขวาเข้าไปอีกประมาณ 2 กิโลเมตร เดิมสันนิษฐานว่าเป็นวัดเก่าแก่ที่สร้างขึ้นในสมัยขอมเข้ามาครอบครองแผ่นดินแห่งนี้ แต่ไม่มีหลักฐานว่าสร้างมาตั้งแต่ พ.ศ.ใด ต่อมาเป็นวัดร้าง ไม่มีพระภิกษุสามเณรจำพรรษา จนกระทั่งเมื่อ พ.ศ. 2501 พระอาจารย์หลวงปู่ขาว อนาลโย พระวิปัสสนากรรมฐานสายพระอาจารย์มั่น ภูริทัตตะเถระ ได้อาศัยวัดแห่งนี้เป็นสถานที่วิปัสสนากรรมฐาน โดยใช้พื้นที่ที่เกิดจากหมู่ก้อนหินขนาดใหญ่ 3-4 ก้อน ที่มีหลืบและชะโงกหิน ก่อเป็นหลังคาคอนกรีตเชื่อมถึงกัน ทำให้พื้นที่บริเวณนั้นกลายเป็นห้องโถงขนาดใหญ่ สามารถจุคนได้หลายร้อยคน เพื่อใช้เป็นที่บำเพ็ญสมณธรรมอยู่ที่นั่นจนกระทั่งมรณภาพเมื่อปี พ.ศ. 2526
ภายในบริเวณวัดบรรยากาศร่มรื่น เงียบสงบ มีเนื้อที่กว้างขวาง ปกคลุมไปด้วยแมกไม้ ป่าเขียว และสวนหินธรรมชาติรูปร่างประหลาดดูสวยงามกลาดเกลื่อนวัด มีถ้ำซึ่งภายในถ้ำมีกลองโบราณสองหน้า หรือที่ชาวบ้านเรียกว่า “กลองเพล” ภายในถ้ำมีรูปปั้นของหลวงปู่ขาว ตามซอกหินภายในถ้ำมีพระพุทธรูปขนาดใหญ่ประดิษฐานอยู่หลายองค์ ประกอบด้วย พระพุทธรูปปางสมาธิ พระพุทธรูปปางไสยาสน์ พระพุทธรูปปัญฑรนิมิตร ซึ่งเป็นพระพุทธรูปปางลีลาที่จำหลักลงในก้อนหิน และมีพระสังกัจจายน์องค์ใหญ่ประดิษฐานอยู่บริเวณด้านหน้าทางเข้าถ้ำกลองเพล
จากวัดถ้ำกลองเพลไม่ไกลนักมีถนนลาดยาง ลัดเลาะไปตามแนวป่าและหมู่ก้อนหินรูปทรงแปลกๆ เป็นระยะทาง 2 กิโลเมตร ก็จะถึงอนุสรณ์สถานของหลวงปู่ขาว ที่ประกอบด้วย
พิพิธภัณฑ์อัฐบริขารของหลวงปู่ขาว เป็นพิพิธภัณฑ์ที่สร้างขึ้นเพื่อเก็บรวบรวมเครื่องอัฐบริขารของหลวงปู่ขาวใช้เป็นที่ระลึกและสักการะบูชาของศาสนิกชนทั่วไป
กุฎิเก่าของหลวงปู่ขาว เป็นเรือนไม้หลังเล็กๆ ตั้งอยู่กลางดงไม้ บรรยากาศร่มรื่น ส่วนกุฏิใหม่สร้างเป็นเรือนทรงไทยทันสมัยหลังใหญ่
พิพิธภัณฑ์หุ่นขี้ผึ้งหลวงปู่ขาว สร้างขึ้นในรูปทรงของก้อนหินเรียงกัน 3 ก้อน เพื่อให้เข้ากับภูมิประเทศของวัดถ้ำกลองเพล ซึ่งเต็มไปด้วยสวนหิน รอบๆ บริเวณตกแต่งด้วยไม้ดอกและสนามหญ้าสีเขียวขจี ภายในพิพิธภัณฑ์มีหุ่นขี้ผึ้งของหลวงปู่ประดิษฐานอยู่ในท่านั่ง ห้องข้างๆ ยังมีเครื่องอัฐบริขารของหลวงปู่ขาวตั้งแสดงไว้ด้วย
เจดีย์หลวงปู่ขาว เป็นเจดีย์ที่สร้างขึ้นเมื่อใช้บรรจุอัฐิหลวงปู่ขาว สร้างอยู่บนลานหินมีบันไดเป็นทางเดินขึ้นไปสู่องค์เจดีย์
มณฑปหลวงปู่ขาว อยู่วัดถ้ำกลองเพล โดยมีทางแยกทางซ้ายมือเข้าไปประมาณ 300 เมตร เป็นมณฑปจตุรมุขที่หลวงปู่ขาวสร้างไว้ครั้งยังมีชีวิตอยู่เพื่อใช้เป็นที่ประกอบพิธีสังฆกรรม รอบๆ บริเวณ เงียบสงบและร่มรื่น เจดีย์หลวงปู่ขาวและมณฑปหลวงปู่ขาว