Большая мечеть (ал-Джами’ ал-Кабир) в Сане до 2008 г. являлась главной (пятничной) мечетью города.  Согласно коранической историографии мечеть ал-Джами'  ал-Кабир была построена еще при жизни пророка Мухаммада в 628-629 гг. 

Это вторая мечеть по древности в Йемене. Первой же мечетью предположительно считается Ал-Джанадийа, находящаяся близ города Таиз в городе Джанад и построенная примерно в 609 г. Еще одна легенда гласит, что для строительства мечети ал-Джами’ ал-Кабир использовались камни разрушенного дворца Гумдан и собора Калис, существовавшего при правителе Абрахи в доисламские времена.

Немецкая исследовательница Барбара Финстер выделяет в Йемене три типа мечетей: кубический, контриярдный (дворовый) и гипостильный. Ал-Джами’ ал-Кабир относится к контриярдному типу мечетей, для которого характерно наличие обширного открытого внутреннего двора с размещенной в нем киблой, аркад с нефами и закрытого помещения харам. 

Йеменские исследователи выделяют примерно 6 значительных этапов реконструкции мечети. Изначально Большая мечеть была квадратной формы, постепенно увеличиваясь за счет аркады. Наибольшие изменения были привнесены в 1258 году. И в отличие от мечетей в Мекке и Медине с тех пор внешний вид ал-Джами’ ал-Кабир практически не менялся. В 1972 г. в ходе реновации мечети в одном из аттиков были обнаружены древние рукописи, которые сейчас хранятся в созданном при мечети Доме манускриптов. Последняя реставрация под эгидой ЮНЕСКО началась в 2003 г. и включала в себя археологические исследования.

Ал-Джами’ ал-Кабир является типичным образцом культового строительства горного района Джабель в Йемене, для которого характерно наличие плоской крыши без купола, поддерживаемой многочисленными колоннами, и кессонного деревянного потолка. Основной местной особенностью ал-Джами’ ал-Кабир является наличие двух высоких минаретов и киблы. К примеру, у половины средневековых мечетей старого города Саны минаретов нет вовсе.