Cevdet Yılmaz 1 Nisan 1967 tarihinde Bingöl’de doğdu.
Lise öğrenimini Bingöl'de 1983 yılında tamamlayan Cevdet Yılmaz, ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümünü 1988 yılında birincilikle bitirdi.
Bingöl, 1989 yılında Devlet Planlama Teşkilatı'nda çalışmaya başladı.
1992-1994 yılları arasında ABD’de bulunan Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde yüksek lisans eğitimini tamamladı.
1995-2003 yıllarında DPT'deki görevine Planlama Uzmanı olarak devam ederken Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi bölümünde doktora eğitimi alan Cevdet Yılmaz, aynı yıl teşkilatın AB İlişkiler Genel Müdürlüğü görevine getirildi.
Ulusal Ajans, ATAUM ve Sümerhalı'da Yönetim Kurulu üyeliklerinde bulundu.
23. Dönem'de Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı oldu.
2007, 2011 ve Kasım 2015 Türkiye Genel Seçimleri'de AK Parti Bingöl milletvekili olan Cevdet Yılmaz, Haziran 2015 Türkiye Genel Seçimleri'nde ise Diyarbakır milletvekili olarak meclise girdi.
Temmuz 2011-Ağustos 2015 ve Kasım 2015-Mayıs 2016 tarihleri arasında Kalkınma Bakanı; Ağustos 2015-Kasım 2015 tarihleri arasında Başbakan yardımcısı olarak görev yaptı.
Cevdet Yılmaz, Mayıs 2016'da AK Parti Tanıtım ve Medyadan Sorumlu Genel Başkan Yardımcılığı görevine getirildi.
2023 Türkiye genel seçimleri sonrasında Cumhurbaşkanı Recep Tayyip Erdoğan tarafından 3 Haziran 2023 tarihinde Türkiye Cumhurbaşkanı Yardımcısı olarak atandı.
