1930 yılında Ankara'da doğdu.

İlk öğrenimini Ankara’da, orta ve lise öğrenimini Robert Kolej, yüksek öğrenimini ise Johns Hopkins University (A.B.D.) B.A. Endüstriyel Sevk ve İdare Bölümü’nde yaptı.

Askerlik hizmetini tamamladıktan sonra 1958 yılında Ankara, Otokoç şirketinde görev almak suretiyle Koç Topluluğu’nda bilfiil çalışmaya başladı.

1960 yılında Koç Topluluğu’nu Ankara’da temsil eden Koç Ticaret A.Ş.’ne geçti. 1963 yılında kurulan Koç Holding’in Ankara’da bulunan şirket merkezinin 1964 yılında İstanbul’a nakli ile Koç Holding A.Ş. Genel Koordinatörü oldu ve İstanbul’a yerleşti.

Bundan sonra sırasıyla 1970 yılında yedi kişiden müteşekkil İcra Komitesi Başkanı, 1975 yılında İdare Meclisi Başkan Yardımcısı, 1980 yılında dört kişilik üst düzey idarecilerinden kurulu Koç Holding İdare Komitesi Başkanı oldu.

1984 yılında, Merhum Vehbi Koç’un İdare Meclisi Başkanlığını oğluna devrederek Şeref Başkanı olması üzerine 30 Mart 1984 tarihinde halen deruhte ettiği Koç Holding Yönetim Kurulu Başkanlığı görevini üzerine aldı. Ocak 1998'den itibaren Koç Holding Yönetim Komitesi Başkanlığı'nı da üstlendi.

7 Kasım 1994 tarihinde yapılan Milletlerarası Ticaret Odası (ICC) toplantısında 1995-1996 yılları için ICC Başkanı olarak seçilmiştir.

Rahmi M. Koç’un üye olduğu kuruluşlar:

·Uluslararası Ticaret Odası Eski Başkanı (1.1.1995 - 31.12.1996 arası Başkanlık),

·Güneydoğu Avrupa İşbirliği Girişimi, İş Danışma Kurulu Başkan Vekili

·Vehbi Koç Vakfı Yönetim Kurulu Üyesi,

·Koç Üniversitesi Mütevelli Heyeti Başkanı,

·Rahmi M. Koç Müzecilik ve Kültür Vakfı Yönetim Kurulu Başkanı,

·Vehbi Koç Vakfı Amerikan Hastanesi , İstanbul Yönetim Kurulu Başkanı,

·Paris, Amerikan Hastanesi Vakfı'nın Onursal Yöneticisi

·Turmepa/ Deniz Temiz Derneği Kurucusu ve Yönetim Kurulu Başkanı,

·Türk Sanayici ve İşadamları Derneği (TÜSİAD) Yüksek İstişare Konseyi Onursal Başkanı,

·Türkiye İşveren Sendikaları Konfederasyonu Danışma Kurulu Üyesi,

·Dış İlişkiler Konseyi Uluslararası Danışma Kurulu Üyesi,

·Chase Uluslararası Danışma Konseyi Üyesi,

·Allianz Aktiengesellschaft Uluslararası Danışma Kurulu Üyesi

·Eisenhower Vakfı Mütevelli Heyeti Üyesi

21 Mayıs 1998 tarihinde Johns Hopkins Üniversitesi'nden, 28 Eylül 1998 tarihinde Anadolu Üniversitesi'nden, 14 Mayıs 1999 tarihinde Ege Üniversitesi'nden ve 14 Haziran 2000 tarihinde Bilkent Üniversitesinden Fahri Doktora Ünvaları almıştır.

Alman Hükümeti tarafından Grosses Verdienst Kreuz ödülü verilen Rahmi M. Koç, ülkemizde eğitim, sağlık ve sosyal hizmet alanlarında yaptığı katkılar dolayısıyla 27 Ekim 1997 tarihinde T.C. Cumhurbaşkanı Süleyman Demirel tarafından "DEVLET ÜSTÜN HİZMET MADALYASI"; ile ödüllendirildi.

Rahmi M. Koç Rotaryen olup; İstanbul Açık Deniz Yat Kulübü ve New York Yat Kulübü üyesidir.

Üç oğlu vardır. Mustafa Vehbi Koç (1960), Ömer Mehmet Koç (1962) ve Ali Yıldırım Koç (1967).

Rahmi M. Koç, İngilizce bilmektedir.