วัดเพชรสมุทรวรวิหาร เดิมชื่อ "วัดศรีจำปา" เป็นวัดโบราณสร้างในสมัยพระเจ้าปราสาททอง พ.ศ.2191 ต่อมาในป ีพ.ศ.2307 พม่ายกทัพไปตีเมืองเพชรบุรี กองทัพกรุงศรีอยุธยามีพระยาพิพัฒน์โกสา กับพระยาตากสิน ( พระเจ้าตากสินมหาราช ) ยกทัพมาช่วยรักษาเมืองไว้พม่าจึงยกทัพกลับไป

และในเหตุการณ์ครั้งนี้ ชาวเพชรบุรีที่อยู่ ตำบลบ้านแหลม ได้อพยพหนีมาตั้งบ้านเรือนอยู่ในตำบลแม่กลองเหนือวัดศรีจำปา และเรียกหมู่บ้านของตนว่าบ้านแหลม และในขณะนั้นวัดศรีจำปามีสภาพทรุดโทรมมาก ชาวบ้านจึงช่วยกันบูรณะปฏิสังขรณ์ ให้มีสภาพดีขึ้น และเรียกว่า " วัดบ้านแหลม "

โดยนำชื่อท้องถิ่นเดิมของตนเป็นชื่อวัดตามประวัติหลวงพ่อบ้านแหลม เล่ากันว่า ชาวบ้านแหลมมีอาชีพประมงคราวหนึ่งออกไปตีอวนในอ่าวแม่กลอง ได้พระพุทธรูปติดอวนมา 2 องค์ องค์หนึ่งได้ให้ญาติของตนในเขตอำเภอบ้านแหลมไปประดิษฐานไว้ที่วัดเขาตะเคราเรียกว่า "หลวงพ่อวัดเขาตะเครา" เป็นพระพุทธรูปศักดิ์สิทธิ์ที่เคารพนับถือของชาวเพชรบุรีสืบต่อมาจนถึงวันนี้ อีกองค์หนึ่งเป็นพระพุทธรูปยืนอุ้มบาตรสร้างในสมัยสุโขทัยตอนกลาง ขนาดสูง172 เซ็นติเมตร หล่อด้วยทองเหลือง ข้อพระกรทั้งสองข้างทำเป็นสองท่อนสวมได้ แต่บาตรนั้นหายไปในทะเล

พระพุทธรูปนี้ได้นำมาประดิษฐานไว้ ณ วัดบ้านแหลม และเรียกกันว่า " หลวงพ่อวัดบ้านแหลม " ซึ่งถือเป็นพระคู่บ้านคู่เมืองสมุทรสงครามเ ชื่อกันว่าเป็นพระพุทธรูปศักดิ์สิทธิ์ มีคุณลักษณะของหลวงพ่อ9 ประการ คือเมตตา มหานิยม แคล้วคลาด มีลาภ มียศ ค้าขาย หายโรค วิชาการ และรุ่งเรือง หากนักท่องเที่ยวมาเที่ยวสมุทรสงคราม แล้วไม่ได้ นมัสการหลวงพ่อวัดบ้านแหลม ที่วัดเพชรสมุทรวรวิหาร ก็เหมือนไม่ได้มาเมืองสมุทรสงคราม

หลวงพ่อบ้านแหลม กรมศิลปาการได้จดทะเบียนไว้เป็นโบราณวัตถุแห่งชาติตั้งแต่ พ.ศ.2492 เมื่อวันที่ 1 กรกฏาคม 2498 พระบาทสมเด็จพระเจ้าอยู่หัวภูมิพลอดุลยเดชได้ทรงพระกรุณาโปรดเกล้ายกฐานะ วัดบ้านแหลมเป็นพระอารามหลวงและพระราชทานนามว่า " วัดเพชรสมุทรวรวิหาร " ในส่วนบาตรที่หายไปนั้น สมเด็จเจ้าฟ้ากรมพระยาภาณุพันธ์วงศ์วรเดช ได้ ถวายบาตรไว้ให้บาตรหนึ่ง เป็นบาตรแก้วศรีน้ำเงิน ซึ่งยังคงปรากฏอยู่ทุกวันนี้ นับว่าเป็นวัดที่สำคัญยิ่งของชาวสมุทรสงคราม