1888’de Bottrop’da dünyaya geldi. 1908-1913 yılları arasında Ruhr bölgesinde ilkokul öğretmenliği yaptı. 25 yaşına geldiğinden okulundan izin alarak Berlin Kraliyet Sanat Akademisinde iki yıl okuduktan sonra bitirme sınavlarını verip sanat öğretmenliği için gerekli sertifikayı aldı. 1916’dan başlayarak üç yıl Bottrop’da hocalık yaptıktan sonra 1919’da Münih’e taşında ve burada Franz von Stuck’un resim öğrencisi oldu.

1920’de Weimar’da Bauhaus Tasarım Okuluna yazılarak 32 yaşında okulun en yaşlı öğrencisi oldu. Burada malzemelerini çöplerden sağlayarak ilk defa soyut cam resimlerle deneysel çalışmalara girişti; 1922’de cam atölyesini yeniden organize etti. 1925’te Bauhaus ile Dessau’a taşınan Albers, burada profesörlüğe getirildi. Aynı yıl içinde dokuma sanatları bölümündeki öğrencilerden Anni Fleischaman ile evlendi. 1933’te Black Mountain College’e atanan Albers 16 yıllık hocalığı esnasında pek çok genç sanatçıyı bu okula çekti. 1939’da Amerikan vatandaşlığına geçen Albers ilk kez değişmeyen bir biçimi renklerle çeşitlendirdi

1950’de geçtiği Yale Üniversitesi sanat bölümünde mimarlık ve tasarım bölümlerini yönetti. 1958’de emekli olduktan sonra iki yıl daha konuk profesörlük yaptı. Başyapıtı olan Kareye Saygıyı 1950’den sonra çalıştı. Burada Albers’in renk deneylerinin özü gösterilmekte ve Op-art, kinetik sanat, renklerin yanyana uygulandığı resimlerde ve Yeni Soyut çalışmaların gelişmesi üzerinde önemli bir etken olan algılama teorisine ilişkin düşüncelerini açıkladı. Değişmeyen geometrik bir tramı esas alarak renk etkisinin durum, çevre, ışık sayısı ve yoğunluğu gibi faktörlere bağlılığını gösterdi.

1961 yılında Amsterdam’da Stedelijik Müzesinde ilk retrospektif Albers sergisi açıldı. İki yıl sonra Renklerin Etkileşimi adı altında bilgilerini bir araya toplayan bir tür görmenin okulu olan kuramsal yazısı çıktı. 14 tane şeref doktoru unvanına sahip olan Albers 25 Mart 1976’da Amerika’da öldü.