เดิมตั้งอยู่ที่บ้านบ่อกลั้ง ปัจจุบันเรียกว่าบ้านท่าพรุ ราฏรที่อาศัยอยู่ในหมู่บ้านแห่งนั้น ได้ย้ายออกมาจากพื้นที่ มาตั้งบ้านเรือนที่บ้านในไร่ และบ้านแหลมสอม คงเหลืออยู่ไม่กี่หลังคาเรือน ในปี 2472 ได้ย้ายโรงเรียนออกมาก่อน โดยมาสร้างที่หมู่บ้านเขากลม ต่อมาในปี 2474 ได้ย้ายมัสยิดมาสร้างที่หมู่บ้านเขากลมอีก
สถานที่ตั้งมัสยิด ได้รับบริจาค จากนายฮัจยีหวาเหตุ กิ่งเล็ก และนายแดงเอี่ยมบุตร เป็นเนื่อที่ประมาณ 3 งาน เศษ ได้สร้างมัสยิดขึ้น ในที่ดินดังกล่าว ในปี 2474 และได้รับความร่วมมือ จากราษฏร ทั้ง 4 หมู่บ้าน ได้แก่บ้านแหลมสอม บ้านเขากลม บ้านดินแดงน้อย และบ้านในไร่ สร้างเป็นอาคารสูง 1 เมตร กว้าง 10 เมตร ยาม 15 เมตร หลังคมมุงกระเบื้องแผ่นเล็ก พื้นปูกระดาน ฝากั้นไม้กระดาน เมื่อสร้างแล้วเสร็จ ราษฏรทั้ง 4 หมู่บ้าน ประมาณ 80 คนได้ทำพิธีละหมาดวันศุกร์ ละหมาด ญามาอะห์ และทำกิจกรรมในวันสำคัญทางศาสนา เช่น วันอีดทั้ง 2 จัดพิธีเมาลีดินนาบี เป็นต้น และได้จดทะเบียนมัสยิด เมื่อวันที่ 2 มีนาคม 2492 เป็นมัสยิดบ้านเขากลม หมู่ที่ 7 ตำบลเขาทอง (ปัจจุบันหนองทะเล) อำเภอเมืองจังหวัดกระบี่
ในปี พ.ศ. 2500 บ้านแหลมสอม ก็ขอแยกตัวไปสร้างมัสยิดประจำหมู่บ้าน ในปี 2502 บ้านในไร่ก็ขอแยกตัว ไปอีก และในปี 2510 บ้านดินแดงน้อย ก็ขอแยกตัวไปสร้างมัสยิดประจำหมู่บ้านอีก คงเหลือแต่ราญฏรบ้านเขากลม ดูแลและทำพิธีละหมาดวันศุกร์และพิธีกรรมในวันสำคัญทางศาสนาต่างๆ เรื่อยมา จนถึง พ.ศ. 2519 มัสยิดหลังเดิม เริ่มชำรุดตามกาลเวลา ประกอบกับประชากรได้เพิ่มขึ้นทุกปี ทำให้คับแคบในการประกอบศาสนกิจต่างๆ คณะกรรมการมัสยิด จึงได้ประชุมปรึกษาหารือกัน เพื่อสร้างมัสยิดหลังใหม่แทนหลังเก่าโดยมีนาย เกษม ศาสนโสภา เป็นแกนนำในการก่อสร้าง นายนิยม สกุลสัน ผู้ใหญ่บ้าน นายฮาเฉ็ม ลีมูสา ได้ดำเนินการก่อสร้าง ร่วมกับ สับปะบุรุส ในหมู่บ้าน ได้สร้างเป็นอาคารคอนกรีตเสริมเหล็ก กว้าง 23 เมตร ยาว 25 เมตร พื้นหินขัด ใช้งบประมาณ ของมัสยิดพร้อมราษฏรในหมู่บ้าน และหมู่บ้านใกล้เคียง ร่วมบริจาค เป็นจำนวนเงินในการก่อสร้าง 2,275923.50 บาท (สองล้านสองแสนเจ็ดหมื่นห้าพันเก้าร้อยยี่สิบสามบาทห้าสิมสตางค์) แล้วเสร็จใน พ.ศ.2525 รวมเวลาก่อสร้าง 6 ปี ด้านการศึกษา มัสยิดบ้านเขากลม ได้เปิดเป็นศูนย์อบรมจริยธรรมอิสลาม ประจำมัสยิด และสอนนักเรียนตามหลักสูตร ฟัรดูอันย์ ของสมาคมคุรุสัมพันธ์แห่งประเทศไทย และหลักสูตรอบรมฟัรดูอัยน์สำหรับผู้ใหญ่ ในภาคกลางคืน จะมีครูสอบ อัล-กรุอ่าน ประจำทุกคืน ตลอดมา
รายชื่อผู้ดำรงค์ตำแหน่งอิหม่ามมัสยิดบ้านเขากลม
1.นายฮัจยีด้าเร่ ก้าเด พ.ศ.2474 - 2500
2.นายฮัจยีฮาเฉ็ม ลีมูสา พ.ศ.2500 - 2529
3.นายส้าฝาด เอี่ยมบุตร พ.ศ.2529 - 2536
4.นายฮัจยีเหละ วงเหละ พ.ศ.2536 - 2537
5.ฮัจยัสมัคร พวงนุ่น พ.ศ.2537 - 2551
6.ฮัจยีกิตติ กิ่งเล็ก พ.ศ.2551 - ปัจจุบัน