4 Ağustos 1944 yılında Samsun’da doğan Gencebay, müzik hayatına altı yaşında iken klasik bati müzikçisi Emin Tarakçı Hoca'dan keman ve mandolin dersleri alarak başladı. Bir sene sonra yedi yaşında iken, kemandan sonra bağlama ile tanıştı. 12 yaşına geldiğinde ise diğer enstrümanlarla beraber tamburu da başarılı bir şekilde çalıyordu artık. Konservatuar sınavlarına giren sanatçı, sınavları kazandı ancak fazla devam etmedi ve ayrıldı.
Ardından 20 yaşında, Ankara’ya gelerek Ankara Radyosu sınavlarına da girdi ve bu sınavları da kazandı. Fakat bu sınavdan sonra usulsüzlük yapıldı diye radyodan ayrıldı. İki yıl sonra İstanbul Radyosu'nun sınavlarına girdi ve bu sınavları da kazandı. 10 ay TRT'deki görevine devam etti ve kendi isteğiyle ayrıldı.
TRT'den ayrıldıktan sonra babasının da işlerinin bozulması üzerine yeniden Samsun'a dönen Gencebay, çalışmalarını bu kez İstanbul Plakçılar Çarşısı’nda yoğunlaştırdı. Söz yazarı, besteci, yorumcu, bağlama sanatçısı olarak zirveye doğru uzanan basamakları bir bir çıkmaya başladı. Başarılı sanatçı henüz şarkıcı olarak tanınmadan önce de bir çok bestesiyle şöhret oldu. "Sevemedim Kara Gözlüm ", "Koca Dünya", "Sabır Taşı" adlı besteleri, besteci Orhan Gencebay'ın tanınmasına yetmişti. Hatta "Sevemedim Kar Gözlüm " adlı bestesi rekor kırdı ve 45 sanatçı tarafından plak yapıldı.
Gencebay, ses sanatçısı olarak adını ilk kez "Başa Gelen Çekilirmiş" adlı 45'lik plağı ile duyurdu ve hemen ardından "Derdim Dünyadan Büyük" adlı plağı geldi. 1969 yılında "Bir Teselli Ver"'in satışını katlayarak kırdığı rekor nedeniyle çalıştığı plak şirketi tarafından "Altın Taç" ile ödüllendirildi. 1978 yılında yaptığı "Yarabbim" adlı plağı yurt içinde ve dışında yaptığı satışlarla rekor kırdı.
1971 yılında İstanbul Plak'a ortak oldu ve ilk plaklarının büyük çoğunluğu bu firmadan çıktı. Sanatçı, daha sonra Yaşar Kekeva ile ortak olarak Kervan Plak şirketini kurdu ve kardeşi Burhan Gencebay ile birlikte çalışmalarını burada sürdürmeye başladı. Yaşar Kekeva, Kervan Plak'tan ayrılıp kendi adını verdiği plak şirketini kurunca, Orhan Gencebay çalışmalarını kardeşinin ortaklığıyla Kervan Plak’ta sürdürmeye başladı.
1000’e yakın bestesi bulunan ve 400’ünü kendi sesiyle seslendiren sanatçı, 35 tane Yeşilçam filminde rol aldı. Orhan Gencebay'ın ilk evliliğini yaptığı Azize Gencebay'dan Altan adında bir oğlu dünyaya geldi. Ancak daha sonra Azize Gencebay’dan boşanan sanatçı, 1974 yılından beri Sevim Emre'yle birlikte hayatını sürdürüyor.