Der Gesteinsname ergibt sich direkt aus der deutlich entwickelten Schieferung und den hohen Glimmergehalten.

Der Mineralname Glimmer lässt sich seit dem 16. Jahrhundert nachweisen. Er resultiert vermutlich aus dem Aufblitzen der Kristallflächen, wenn diese über einer Lichtquelle hin und her bewegt werden (mittelhochdeutsch glimmen = schwach leuchten, glänzen).

Der Begriff Schiefer geht auf das althochdeutsche scivero bzw. mittelhochdeutsche schiver (auch schever) = Stein- oder Holzsplitter zurück. Der Gesteinsname, der sich auf das charakteristische plattige Abspalten (Splittern) des Gesteins bezieht, ist seit dem 14. Jahrhundert bekannt (Schiferstein, Schiffer).