Kars'da doğan Yılmaz, 16 yaşında güreşe başladı. Kısa zamanda güreşin önemli isimleri arasına girmeyi başaran Yılmaz, bölgeler ve kulüplerarası müsabakalarda başarılar kazandı. 1970 yılında Avrupa Serbest Güreş Şampiyonası'nda ağır sıklette ikinciliği elde etti.