วัดถ้ำกลองเพล วัดนี้เป็นวัดป่าที่มีชื่อเสียงของจังหวัด ตั้งอยู่เชิงเขาภูพาน ห่างจากตัวเมืองตามทางหลวงหมายเลข 210 (หนองบัวลำภู-อุดรธานี) ไป 13 กิโลเมตร จากนั้นแยกขวาเข้าไปอีกประมาณ 2 กิโลเมตร วัดนี้เกิดจากการธุดงค์ของพระอาจารย์หลวงปู่ขาว อนาลโยพระวิปัสสนากรรมฐานสายพระอาจารย์มั่น ภูริทัตตะเถระจาริกไปตามถิ่นต่างๆ
จนในที่สุดก็มาพำนักจำพรรษาอยู่ที่วัดถ้ำกลองเพลเมื่อ พ.ศ. 2501 โดยอาศัยวัดแห่งนี้เป็นสถานที่วิปัสสนากรรมฐาน ใช้พื้นที่ที่เกิดจากหมู่ก้อนหินขนาดใหญ่ 3-4 ก้อน ที่มีหลืบและชะโงกหิน ก่อเป็นหลังคาคอนกรีตเชื่อมถึงกัน ทำให้พื้นที่บริเวณนั้นกลายเป็นห้องโถงขนาดใหญ่ สามารถจุคนได้หลายร้อยคน เพื่อใช้เป็นที่บำเพ็ญสมณธรรมอยู่ที่นั่นจนกระทั่งมรณภาพเมื่อวันที่ 16 พฤษภาคม ปีพ.ศ.2526
ภายในบริเวณวัดบรรยากาศร่มรื่น เงียบสงบ มีเนื้อที่กว้างขวาง ปกคลุมไปด้วยแมกไม้ ป่าเขียว และสวนหินธรรมชาติรูปร่างประหลาดดูสวยงามกลาดเกลื่อนวัด มีถ้ำซึ่งภายในถ้ำมีกลองโบราณสองหน้า หรือที่ชาวบ้านเรียกว่า กลองเพล ภายในถ้ำมีรูปปั้นของหลวงปู่ขาว ตามซอกหินภายในถ้ำมีพระพุทธรูปขนาดใหญ่ประดิษฐานอยู่หลายองค์ ประกอบด้วย พระพุทธรูปปางสมาธิ พระพุทธรูปปางไสยาสน์ พระพุทธรูปปัญฑรนิมิตร ซึ่งเป็นพระพุทธรูปปางลีลาที่จำหลักลงในก้อนหิน และมีพระสังกัจจายน์องค์ใหญ่ประดิษฐานอยู่บริเวณด้านหน้าทางเข้าถ้ำกลองเพล
พิพิธภัณฑ์เครื่องอัฐบริขารหลวงปู่ขาว อนาลโย อาคารทรงประยุกต์ดูทันสมัยหลังนี้สร้างแบบจตุรมุข เหมือนกันทั้ง 4 ด้าน มีประตูเข้าออกเป็นบานกระจกใส 3 ด้าน ส่วนอีกด้านคือด้านหลังเป็นที่ตั้งรูปเหมือนหลวงปู่ขาว จึงไม่มีช่องประตูเข้าออก รูปร่างที่สวยงามแปลกตาของอาคารหลังนี้เป็นจุดสนใจของประชาชนที่เดินทางมา พิพิธภัณฑ์เครื่องอัฐบริขาร ภายในอาคารที่สร้างขึ้นมา ทุกๆ ด้านตกแต่งให้เป็นตู้กระจกแบบฝังติดผนัง ภายในตู้กระจกมีเครื่องอัฐบริขารของหลวงปู่ขาวที่หลวงปู่ใช้ในระหว่างการออกธุดงค์ จาริก ปลีกวิเวกไปยังพื้นที่ต่างๆ เป็นที่เคารพนับถือและศรัทธาของประชาชนทั่วประเทศ
ความร่มรื่นรอบอาคาร หลังจากสักการะรูปเหมือนหลวงปู่ขาว อนาลโยแล้วก็เดินชมรอบๆ พิพิธภัณฑ์ สังเกตุเห็นสวนรอบๆ อาคาร กับป่าไม้ที่อยู่ในละแวกใกล้เคียงมีความแตกต่างอย่างเห็นได้ชัด ในฤดูแล้งเดือน มกราคม ภาคตะวันออกเฉียงเหนือหรือภาคอิสานของไทยเข้าสู่สภาวะขาดน้ำ หลายๆ พื้นที่ได้รับผลกระทบจากภัยแล้ง ต้นไม้ในภาคอิสานส่วนใหญ่จะเป็นสีเหลืองหรือทิ้งใบจนหมด แต่สวนรอบๆ พิพิธภัณฑ์เครื่องอัฐบริขารหลวงปู่ขาว อนาลโย ซึ่งอยู่ห่างจากอุโบสถเกือบ 2 กิโลเมตร กลับได้รับการดูแลจนมีสีเขียวขจีแตกต่างจากต้นไม้ที่อยู่ใกล้เคียงเป็นอย่างมาก