沙尔克04的前身是于1904年成立的威斯特法伦1904沙尔克俱乐部（Sportclub Westfalia 1904 Schalke），队名的来历是一座叫做“沙尔克”的矿井。因为盖尔森基兴是煤矿城市，所以成员都是煤矿工人。1924年改名为沙尔克04足球俱乐部（FC Schalke 04）；5年后的1929年因获得盖尔森基兴市的财政协助而兴建新球场，更名为盖尔森基兴沙尔克04足球俱乐部（FC Gelsenkirchen-Schalke 04）。

沙尔克04总部

当时未成立德甲，联赛是德国锦标赛。沙尔克04在1934年首度夺得联赛冠军；1937年沙尔克04赢得了首个德国杯冠军。此后至1958年，沙尔克04一共赢得了17次德国锦标赛冠军。

沙尔克04是1963年德甲成立时的创始成员，但由于实力所限，多年来沙尔克04都未曾赢得德甲联赛冠军。1972年德国杯是沙尔克04当时之唯一锦标。自1981年至1991年，沙尔克曾三度降至德乙。至2001年和2002年两赢德国杯，沙尔克04才得以挽回颜面。

2009/10赛季，沙尔克04获得德甲联赛亚军，这是该队近年来在德甲联赛的最佳战绩，也因此直接晋级2010/2011赛季欧洲冠军联赛小组赛。这一赛季的欧洲冠军联赛1/4决赛中，沙尔克04以两回合7比3的悬殊比分淘汰卫冕冠军国际米兰（客场5-2，主场2-1），首次晋级欧冠四强，然而好景不长，他们在随后的四强中被曼联淘汰。

2017/18年赛季，沙尔克04又夺欧冠资格，不过在2018/19年赛季欧冠16强被曼城双杀。

2020/21赛季，沙尔克04延续上季16连不胜的低潮，以一波开季14连不胜稳居榜尾。直到2021年1月9日第15轮的比赛终于以4-0大胜贺芬咸取得赛季首场胜仗，但截至当日累积只有7分维持榜尾。这么糟糕的表现降班是迟早的问题。

2021年4月20日，沙尔克04在德甲第30轮的比赛0-1负于比勒费尔德，持续一落千丈的表现，降班的事实亦无法改变，故提前确定2021/2022赛季降级至德乙。[1]

2022年5月15日，沙尔克04德乙排名榜首夺冠，重新升班至德甲。

2022/23赛季，沙尔克04最终轮客场2-4不敌RB莱比锡，以倒数第二之排名再次降级至德乙[2]。