Der Gesteinsname ergibt sich direkt aus dem Erscheinungsbild des Gesteins. Die grüne Farbe resultiert aus der Eigenfarbe des Hauptgemengteils Chlorit sowie eventuell vorhandener Ca-Amphibole und Minerale der Epidot-Gruppe.

Der Begriff Schiefer lässt sich auf das althochdeutsche scivero bzw. mittelhochdeutsche schiver (auch schever) = Stein- oder Holzsplitter zurückführen. Der Gesteinsname, der sich auf das charakteristische plattige Abspalten (Splittern) des Gesteins bezieht, ist seit dem 14. Jahrhundert bekannt (Schiferstein, Schiffer).

Gesteine, denen die Schieferung fehlt, werden Grüngesteine genannt.