İlk kez 1550'li yıllarda Alsace'deki maden ocaklarında, madeni dışarı taşımak ve madencilerin madene giriş çıkışlarını hızlandırmak için kuruldu. Daha sonraları maden ocaklarında yaygın olarak kullanılmaya başlandı. Maden ocaklarında kullanılan ilk demir yolunda vagonlar hayvanlar ya da insanlar çekiyordu. 1804'te R. Trevithick, ilk lokomotifi icat etti. Bu lokomotifin Galler'deki maden ocaklarında kullanılmasıyla modern demir yollarının temeli atılmış oldu. Bundan sonra, İngiltere'de lokomotifler ve demir yolları hızla gelişmeye başladı. 1825'te ilk ticari demir yolu yolcu ve yük taşımacılığı şirketi kuruldu. Bu şirket, Stockton ve Darlington Railway şirketiydi. Demir yolu ulaşımının dönüm noktası 1830'da Stephenson'un geliştirdiği Roket adlı lokomotifle oldu.

On dokuzuncu yüzyılda, İngiltere'de hızla gelişen demir yolu, kısa zamanda tüm Avrupa'ya, sonra da Amerika'ya yayıldı.

Önceleri lokomotiflerin tümü buhar gücüyle çalışırken 20. yüzyılın başlarında elektrik motorları da kullanılmaya başlandı. Bir süre sonra, demir yollarındaki buharlı lokomotiflerin yerini dizel motorlu lokomotifler ya da elektrikli trenler aldı. Bunun yanında kullanılan vagonlar da bu gelişmelere ayak uydurdu. İlk başlarda üstü açık birer kutu görünümünde olan vagonlar bugün her türlü konforu barındırır duruma geldi.