Trabzon'da 21 Ekim 1948'de dünyaya gelen Yılmaz, İstanbul Mühendislik ve Mimarlık Akademisi İnşaat Fakültesi'nden mezun oldu. Yılmaz, iş insanı, medya patronu, siyasetçi ve spor yöneticisi olarak tanındı.
1982-1983 sezonunda Trabzonspor'un 8. başkanı olarak seçilen Mehmet Ali Yılmaz, bu görevini 1987-1988 sezonun ortasına kadar sürdürdü. Bir yıllık aranın ardından 1989'da tekrar başkanlık koltuğuna oturan Yılmaz, 1992'ye kadar görevde kaldı. Üçüncü başkanlık dönemi 1996'nın sonundan 2000 yılının sonuna kadar devam eden Mehmet Ali Yılmaz, kulüpte en uzun süreyle başkanlık yapan kişi oldu.
Trabzonspor, Yılmaz'ın başkanlığı döneminde 1982-1983 sezonunda Cumhurbaşkanlığı Kupası, 1983-1984 sezonunda lig şampiyonluğu ve Türkiye Kupası, 1984-1985 sezonunda Başbakanlık Kupası olmak üzere 4 kupa kazandı.
