แม้ตลาดเก่าจะมีมัสยิดหลายหลัง แต่ชาวตลาดเก่าจะถือว่ามัสยิดกลางมีความเป็นศูนย์กลางของชุมชนมากที่สุด ป้ายประวัติของมัสยิดแห่งนี้ กล่าวว่า มัสยิดกลางมีอายุประมาณ 100 ปี ครั้นเมื่อสมัยสงครามโลกครั้งที่ 2 ทหารญี่ปุ่นบุกมาทำลายตำราศาสนาและคัมภีร์อัลกุรอ่านจนหมดสิ้น ซ้ำยังทำลายตัวอาคารมัสยิดและงัดเอาไม้กระดานไปจนหมด คงเหลือไว้แต่เพียงโครงสร้างอาคารเท่านั้น กระทั่งฮัจยีฮามะ ดาเด๊ะ ซึ่งเดินทางกลับจากนครเมกกะได้แลเห็นสภาพมัสยิดทรุดโทรม จึงชักชวนพี่น้องมุสลิมร่วมกันบูรณะ เมื่อถึงสมัยจอมพล ป. พิบูลสงคราม เป็นนายกรัฐมนตรีได้มีการสนับสนุนการสร้างจนแล้วเสร็จด้วยงบประมาณ 28,200,000 บาท

มัสยิดกลางมีโดมที่มีรูปทรงคล้ายดอกบัว ทราบว่าผู้ออกแบบเป็นสถาปนิกประจำกระทรวงศึกษาธิการ เรื่องนี้เป็นที่พูดถึงมานานมาก เนื่องจาหลายคนมองว่ากดอกบัวเป็นสัญลักษณ์ของศาสนาพุทธ จึงมีชาวบ้านบางส่วนเรียกร้องให้เปลี่ยนโดมมัสยิดเพื่อหลีกเลี่ยงความคลุมเครือ ซึ่งคณะกรรมการมัสยิดก็รับฟังและได้เปิดรับบริจาคเงินเพื่อสร้างโดมใหม่ ขณะนี้กำลังดำเนินการโดยมีงบสร้างโดมเป็นเงินประมาณสี่ล้านบาท

มัสยิดกลางยะลามีตาดีกาในสังกัด ตัวอาคารตาดีกาจะตั้งอยู่ตรงประตูข้างของมัสยิด อาคารที่ติดกับตาดีกาใช้เป็นสตูดิโอของวิทยุมัสยิดกลางยะลา ออกอากาศทุกวัน ผู้จัดรายการวิทยุจะเชิญเหล่าผู้รู้ทางศาสนาในชุมชนผลัดกันมาบรรยายศาสนา ด้านหลังของมัสยิดจะเป็นกูโบร์หรือสุสานขนาดใหญ่ ศพของชาวตลาดเก่าที่เสียชีวิตจะถูกนำมาฝังที่กูโบร์แห่งนี้ นอกจากนี้มัสยิดกลางยะลายังมีหน่วยงานกู้ภัยคอยบริการประชาชนเมื่อได้รับความเดือดร้อน มัสยิดกลางจะจัดเลี้ยงอาหารชาวตลาดเก่าอยู่ตลอด โดยเฉพาะในเดือนรอมฎอนที่จัดเลี้ยงอาหารละศีลอดทุกวัน 30 วันติดต่อกัน