มัสยิดเซฟีเป็นศาสนาสถานที่ก่อตั้งโดยพ่อค้าชาวเมืองสุหรัตจากประเทศอินเดีย โดยใช้ชื่อกลุ่มว่า ดาวุดีโบราห์ ซึ่งเป็นนิกายชีอะห์อีกสาขาหนึ่ง พ่อค้ากลุ่มนี้เป็นคนในบังคับอังกฤษที่เดินทางเข้ามาค้าขายช่วงต้นกรุงรัตนโกสินทร์ คนไทยมักเรียกว่า นักกุด่า หรือ นาขุด่า ที่มาจากภาษาเปอร์เซีย แปลว่า เจ้าของเรือสินค้า
กลุ่มคนเหล่านี้เคยทำมาค้าขายอยู่บริเวณตึกขาวตึกแดงย่านอุทยานสมเดีจย่าในปัจจุบัน ก่อนที่จะขยายการค้าข้ามฝั่งแม่น้ำมายังบริเวณท่าน้ำราชวงศ์ และเชิงสะพานช้างโรงสี ถนนเฟื่องนคร

สุเหร่าตึกขาวนี้สร้างขึ้นก่อนสุเหร่าตึกแดงของนิกายสุหนี่ (ที่แวะเยี่ยมก่อนหน้านี้) โดยกลุ่มนายห้างชาวอินเดียหลายคน มีอับดุลการเดอร์เซน อาลี วาสี เจ้าของห้างวาสี ไชยาอูดิน มูฮำหมัด อาลี พ่อค้าเร่เพชรพลอยตามบ้าน อับดุลราฮิม เจ้าของห้างอับดุลราฮิม นายห้างมัสกาตี เป็นต้น ช่วยกันซื้อที่ดินและสร้างเป็นสุเหร่าขึ้น

ศาลเจ้าเก่าแก่ของชาวฮากกาหรือชาวจีนแคะ ตัวศาลเดิมสร้างขึ้นปลายรัชสมัยร.3 ติดท่าำน้ำดินแดง ส่วนศาลปัจจุบันสร้างขึ้นในช่วงรัชกาลที่ 6 ก่อนตัดถนนท่าดินแดงเล็กน้อย ภายในประดิษฐานสามเทพธิดา ซำไนฮูหยิน เป็นประธาน เป็นเทพเจ้าที่ได้รับการกราบไหว้กันมากในหมู่ชาวฮากกา และแถบพื้นที่ไต้หวัน