Hakkı Yılmaz, 02.08.1942 tarihinde İspir Hontus (Gölyanı) köyünde doğdu. Babası Murat Efendi, annesi Altun Hanımdır. İki aylıkken ailesi Pasinler Yağan Köyüne nakletmiştir. Yağan köyü ilkokulunda okudu, Erzurum İmam Hatip Lisesi’ni 1964 yılında bitirdi. Yüksek eğitimini İstanbul Yüksek İslam Enstitüsü’nde tamamlayarak 1969 yılında mezun oldu. Erzurum İmam Hatip Lisesi meslek dersi öğretmeni olarak göreve başladı. 1975 yılında Gümüşhane İmam Hatip Lisesi Müdürlüğüne atanmış ve 1985 yılında Erzurum İmam Hatip Lisesi Müdürlüğüne getirilmiştir. Hakkı Yılmaz 2001 Ağustos ayında emekliye ayrılmıştır.
Hakkı Yılmaz, Erzurum Müftülüğünde fahri hatip olarak çeşitli camilerde cemaati aydınlatmakta olup ayni işi Erzurum TV kanallarında da yapmaktadır.