จากจุดเริ่มต้นที่บรรพบุรุษตระกูลซิ้ม ได้เข้ามาพึ่งพระบรมโพธิสมภารในประเทศไทยมาเป็นระยะเวลาเนิ่นนาน จวบจนในปี พ.ศ. 2429 ได้มี ชาวแซ่ซิ้มที่เข้ามาตั้งถิ่นฐานอยู่ในย่านวงเวียนใหญ่ กรุงเทพมหานคร มีจำนวนมากขึ้น จึงได้ริเริ่มก่อตั้งศาลเจ้าแซ่