Cami, Beykapısı Mahallesi’nde yer almakta olup altı kitabesi bulunmaktadır. Maalesef camiyi yaptıran ve adını veren "Kara Musa" ismine kitabelerde rastlanamamıştır. Çünkü camiyi her tamir eden zat, yapıya kendi kitabesini yerleştirmiş ve önceki kitabeyi söktürmüştür. Böylece Urfa’daki birçok eski camide olduğu gibi bu camide de eski kitabeler kaybolmuştur. Aslında Kara Musa Camii’ni 1552 tarihinde Kara Musa adında bir zat yaptırmıştır. Caminin batısı pencere altı kitabesinde; 1747 (hicri 1160) tarihinde tamir edildiği yazılı olup tamir edenin adı verilmemiştir. Son cemaat yeri kitabesinde; caminin tamirini 1671 (hicri 1082)’de Muhammed oğlu Abdurrahman Çelebi’nin yaptırdığı yazılıdır. Cami avlusunun batı kapısı kitabesinde ve minare kaidesi batı kitabesinde; Firuz Bey tarafından 1780 (hicri 1195)’te tamir edildiği yazılıdır. Caminin avlusunda güney kapı kitabesinde; Hacı Firuz Bey’in Kızıl Camii (Ulu Camii) ve Ağ Camii (Nimetullah Cami)’yi tamir ettirdiği, şehre çeşmeler yaptığı ve son olarak bu camiyi tamir ettirdiği yazılıdır. Tamir tarihi olarak 1780 (hicri 1195) tarihi verilmektedir. Halkın anlattığına göre cami avlusunda fıskiyeli kocaman bir havuz varmış ve mahallenin çocukları bu havuza girerlermiş. Sonra bu havuz da kaldırılmış. Cami içinde yer alan bir sütun üzerinde bir kitabe parçası vardır. Ters bir şekilde yerleştirilen bu kitabe parçası tek başına bir anlam ifade etmemektedir. Muhtemelen başka bir yapıdan getirilip buraya yerleştirilmiştir.