อาคารศุลกสถาน สร้างเสร็จในปีพ.ศ.2431 ในหนังสือตำนานกรมศุลกากร ของพระยาอนุมานราชธน เขียนชมความงามไว้ว่า "สมัยนั้น ถ้านั่งเรือไปตามแม่น้ำจะปรากฎตึงกรมศุลกากรตั้งตระหง่านเด่นเห็นแต่ไกล ด้วยเป็นตึกที่ตอนกลางสูงถึง 3 ชั้น ซึ่งในสมัยนั้นนอกจากกระทรวงกลาโหมแล้ว ดูเหมือนจะมีแต่ตึกกรมศุลกากรเท่านั้น ที่เป็นตึกขนาดใหญ่และสง่างาม"

เพราะความงดงามและมีคุณค่าของอาคารหลังนี้ ในสมัยนั้นทางราชการจึงได้ใช้เป็นสถานที่จัดกิจกรรมเกี่ยวกับชาวต่างประเทศ บ้างใช้เป็นที่รับรอง บ้างใช้เป็นสถานที่เต้นรำ ในคราวพระราชพิธีเฉลิมพระชนมพรรษา รวมทั้งพระราชพิธีสมโภชพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เมื่อครั้งเสด็จนิวัติพระนครจากการเยือนประเทศในยุโรปครั้งแรก