Ahi Baba Türbesi, Narmanlı Mahallesi Dere Sokakta bulunmaktadır. Evler arasında kalan bu türbe dışarıdan görünmez. Türbeye bu evlerin içerisinden geçilerek ulaşılmaktadır. Kubbesi yıkılmış harap bir vaziyette olan türbenin içinde birisi tahta, ikisi Selçuklu tarzında taş sanduka olmak üzere üç mezar vardır. Yatırın adını, ölüm tarihini gösteren kitabesi okunmaz hale gelmiştir. Ayrıca türbeyi yapanı ve yaptıranı gösteren bir kitabe yoktur. Türbedeki mezarlardan da, türbeyi yaptıranında kimler olduğunu tespit etmek imkânsızdır. Erzurumlular bu türbenin (Ahi Baba Türbesi) olduğunu rivayet etmektedirler. Türbe iki metre kadar toprağın içine gömülmüştür. Bu özellik İlhanlı türbesi olduğunu göstermektedir. “ İbn Batuta H.732- M.1331 yılında Erzurum’a geldiği zaman Erzurum’da Ahi Toman’ın tekkesinde kalmıştır. Bu türbede yatan zatın Ahi Toman olması ihtimal dâhilindedir.” görüşü hâkimdir.
Türbe sekizgen planlıdır. 3.35 m. yüksekliğindeki duvarların üstüne yarım küre şeklinde bir kubbe oturtulmuştur. Türbenin kuzey kısmındaki kapısı taşlarla örülerek kapatılmıştır. Türbenin duvar kalınlığı 70 cm.dir. Türbe düzgün kaliteli kesme taş malzeme ile inşa edilmiştir.