Les sociaux-démocrates ont été avec les communistes les premiers opposants et résistants au nazisme, et furent de ce fait les premières victimes du régime. Les persécutions de la Gestapo ont causé d'énormes pertes humaines dans les rangs de ces partis.

Les sociaux-démocrates s'identifiaient à la République de Weimar et ont combattu pour sa survie. Dès la fin des années 20 furent organisées de grandes manifestations pour protester contre la montée du nazisme, et les organisations paramilitaires républicaines, les "Reichsbanner" et le "Eiserner Front", composées essentiellement de sociaux-démocrates, ont combattu le "Harzburger Front" formé du NSDAP, des nationalistes du "Deutschnationale Volkspartei" de Hugenberg et du "Stahlhelm". Les "Reichsbanner", qui comptaient plus de trois millions de membres, et le "Eiserner Front" étaient toujours en alerte pour contrer des tentatives de putsch et défendre la République de Weimar. Mais les dirigeants du SPD étaient divisés et indécis quant à la stratégie à adopter en cas de putsch ; certains voulaient organiser une grève générale et de grandes manifestations, et privilégiaient l'intervention de troupes paramilitaires pour la défense de la démocratie, d'autres préféraient opter pour des solutions non-violentes et parlementaires, dans le cadre des mesures fixées par la loi.

Après l'arrivée au pouvoir de Hitler, le 30 janvier 1933, les dirigeants du parti, divisés quant à l'attitude à adopter face au gouvernement hitlérien, n'ont pas donné de consignes pour organiser une action coordonnée contre Hitler. Des militants du SPD ont dans toute l'Allemagne rassemblé des armes en attendant un signal du parti, qui n'a pas eu lieu. A défaut de soulèvement, de grandes manifestations ont été organisées pour protester contre l'arrivée au pouvoir de Hitler. Ainsi, 20 000 sociaux-démocrates ont manifesté le 7 février à Berlin, 15 000 à Lübeck le 19 février, plusieurs dizaines de milliers également à Dortmund le 26 février. Les troupes nazies ont arrêté lors de ces manifestations des dirigeants du parti, et les SA et SS n'ont pas hésité à tirer dans la foule le 2 février à Lübeck, lors d'une manifestation de protestation contre l'arrestation du député social-démocrate Julius Leber, qui fut par la suite libéré pendant quelques temps, avant d'être arrêté de nouveau. Cela se reproduisit le 13 février à Francfort-sur-l'Oder. A partir de la mi-février, les manifestations et les rencontres de militants furent systématiquement dispersées par la police, les SS et les SA.

La dictature nazie s'est mise en place extrêmement rapidement et a instauré la terreur dans le pays : après l'incendie du Reichstag, le 27 février, plus de 4 000 sociaux-démocrates, communistes et libéraux ont été arrêtés. Le 28 février, Hindenburg s'est appuyé sur l'article 48 de la Constitution, conférant au Président de la République les pleins pouvoirs en cas de crise, pour promulguer une "ordonnance pour la protection du peuple et de l'État". Les droits fondamentaux, notamment les libertés d'expression, de réunion, d'association, le droit de propriété, le secret postal, l'inviolabilité du domicile, furent suspendus. Le gouvernement du Reich s'est octroyé le droit d'intervenir dans les Länder, et des peines de mort ou de travaux forcés étaient prévues pour les opposants qui "menaceraient l'ordre public". Le 1^er mars fut publié un décret qui assimilait l'incitation à la grève à la haute trahison. Le 6 mars, les sièges du SPD et du KPD, ainsi que des syndicats et des maisons d'édition, furent occupés et le parti communiste fut interdit. Et le 21 mars ont été créés les camps de concentration de Dachau et d'Oranienburg, pour emprisonner les opposants politiques. Une cinquantaine de camps secondaires, contrôlés par les SA, furent créés au cours des mois suivants. Les résistants allemands furent les premiers prisonniers des camps de concentration et durent même aider à construire certains d'entre eux, comme le camp de Buchenwald, en 1937. Au printemps 1933, plusieurs dizaines de milliers de personnes, essentiellement des sociaux-démocrates et des communistes, ont été envoyées en camp de concentration. 

Étant donné ce climat de terreur, les perquisitions, les arrestations et les tortures, la liberté d'action des sociaux-démocrates était particulièrement infime. A la fin du mois de mars 1933, lorsque le Reichstag fut convoqué pour accorder au gouvernement hitlérien les pleins pouvoirs, 94 députés du SPD ont pris part au vote, malgré les menaces des SS et des SA. 26 députés du SPD avaient été arrêtés par les nazis ou s'étaient enfui et n'ont pas pu voter. Les sociaux-démocrates furent la seule fraction parlementaire qui vota contre la loi des pleins pouvoirs accordés à Hitler ; le parti communiste avait été interdit le 6 mars et tous les députés communistes étaient emprisonnés. Le chef de la fraction du SPD, Otto Wels, protesta officiellement devant les diplomates étrangers présents lors du vote contre cette atteinte à la liberté et à l'État de Droit. Hitler, en obtenant du Reichstag le droit de légiférer sans le contrôle du parlement pendant quatre ans, est devenu légalement dictateur. La démocratie parlementaire a été abolie par ce vote, ce fut la fin de l'État de Droit et le début officiel de la "Gleichschaltung", la mise au pas de la population allemande.

En mai, les syndicats sociaux-démocrates furent interdits et dissous. Le 22 juin 1933, le SPD fut dissous, et le 14 juillet, le NSDAP fut proclamé parti unique. Une partie des dirigeants du SPD s'exila alors en Tchécoslovaquie, et tenta de coordonner l'action des militants à partir du siège de Prague. Des cellules locales de sociaux-démocrates existaient depuis 1932 ; ainsi, il y avait environ 250 groupes de ce type à Leipzig. A Hanovre, les militants recevaient une formation spéciale pour résister aux interrogatoires, et un organe de presse, les "Sozialistische Blätter", diffusait les informations. Mais le contact avec d'autres groupes de résistance était très difficile, la Gestapo parvenait régulièrement à démanteler les réseaux et arrêtait les militants. Ce système de cellules locales, qui n'avaient la plupart du temps aucun contact entre elles, était la base du travail clandestin des sociaux-démocrates. Mais le manque de préparation et de coordination, ainsi que les persécutions de la part de la Gestapo ont freiné considérablement le travail de résistance, dont l'efficacité était de ce fait très réduite. Les militants se rencontraient dans des associations diverses, comme par exemple des clubs d'échecs ou de randonneurs, mais la Gestapo démantelait rapidement ces réseaux. 

Les sociaux-démocrates exilés à Prague, à Paris puis à Londres après les accords de Munich et l'occupation de la France, ont tenté de rester en contact avec les résistants restés dans le Reich. Le 8 janvier 1934, la direction du SPD exilée à Prague a publié le "Manifeste de lutte du socialisme révolutionnaire". La coopération entre la SOPADE, direction exilée du SPD, et les partis sociaux-démocrates des pays voisins a permis de mettre en place des réseaux pour passer les frontières, diffuser des journaux, acheminer clandestinement de l'argent, des tracts et des machines à polycopier, et rassembler des fonds pour soutenir les familles des militants arrêtés et déportés. Des sociaux-démocrates ont également combattu aux côtés des antifascistes espagnols, au sein des Brigades internationales. En 1938 ou 1939, ils se réfugièrent pour la plupart en France, mais ceux qui ne sont pas parvenus à fuir ont été arrêtés par la police française après la déclaration de guerre, en tant que ressortissants d'un pays ennemi. Plus de vingt mille Allemands ont ainsi été envoyés dans les camps de concentration du Vernet, de Rieucros, de Gurs ou des Milles. Après la défaite, ces prisonniers furent livrés à la Gestapo en raison de l'article 19 de la convention d'armistice. Les sociaux-démocrates Rudolf Breitscheid et Rudolf Hilferding, antinazis engagés pour la défense de la paix et la réconciliation franco-allemande, furent ainsi livrés à la Gestapo et déportés à Buchenwald, où ils sont morts. Certains résistants allemands qui ont pu échapper aux persécutions ont combattu dans le maquis aux côtés des Français. Dans un article publié dans Le Populaire du 2 septembre 1939, Otto Wels et Hans Vogel avaient appelé les antifascistes allemands, au nom du comité directeur du SPD, à s'allier avec les mouvements de résistance des pays dans lesquels ils avaient trouvé refuge : "La défaite de Hitler est […] le but que nous devons poursuivre avec les forces démocratiques d'Europe. Nous serons pendant la guerre aux côtés des adversaires de Hitler, de ceux qui luttent pour la liberté et la civilisation européenne […]." 

Des militants sociaux-démocrates ont su aussi s'allier à des résistants issus d'autres mouvements. Ainsi, Julius Leber, Theodor Haubach, Carlo Mierendorff et Adolf Reichwein ont coopéré avec les civils et les militaires pour organiser l'attentat contre Hitler et la tentative de putsch du 20 juillet 1944. La plupart des résistants qui ont pris part à cette action ont été exécutés le 5 janvier 1945 à Berlin-Plötzensee.

Les jeunesses socialistes ont également participé activement à la résistance. Ainsi, un groupe d'adolescents socialistes de Francfort a organisé un réseau pour permettre aux personnes recherchées par la Gestapo de fuir à l'étranger. D'autre part, les jeunesses socialistes publiaient une revue clandestine, "Blick in die Zeit", qui diffusait des articles sur la situation en Allemagne parus dans la presse étrangère.

Par ailleurs, d'autres sociaux-démocrates ont mis en place des réseaux de résistance qui se distanciaient de la direction du parti exilée à Prague. En novembre 1933 fut ainsi créé le mouvement de résistance "Roter Stoßtrupp", constitué d'étudiants et de jeunes travailleurs sociaux-démocrates, et dirigé par Rudolf Küstermeier et Karl Zinn. Dans leurs journaux, ils critiquaient les erreurs commises par les directions du SPD et du KPD et appelaient à la formation d'un nouveau parti de travailleurs qui combattrait pour la révolution prolétarienne. Mais cette organisation fut très vite démantelée, et ses membres furent arrêtés à la fin de l'année 1933.

"Neu Beginnen" était une autre organisation sociale-démocrate qui s'est distanciée de la ligne fixée par la direction du parti. Dès 1929, de jeunes sociaux-démocrates et communistes critiques vis-à-vis de la stratégie du SPD et du KPD avaient formé ce groupe en espérant renouveler ainsi le mouvement ouvrier. Cette organisation fut tenue secrète dès sa création, ce qui favorisa le passage dans la clandestinité. Un siège de "Neu Beginnen", dirigé par Karl Frank, fut créé à Prague en 1933 ; son travail consistait à se procurer de l'argent pour financer les militants vivant dans le Reich et à informer l'étranger sur les exactions du régime nazi. Le programme de ce groupe, qui décrivait la situation des travailleurs en Allemagne et proposait des lignes directrices pour combattre le national-socialisme, a trouvé un grand écho dans le Reich et à l'étranger. Des cercles de discussion clandestins se sont constitués en Allemagne et de nombreux sympathisants se sont joints au mouvement. "Neu Beginnen" se fixait pour objectifs de former des cadres capables d'encadrer les militants et de les préparer au travail clandestin, à la transmission illégale d'informations et au maintien du contact avec l'étranger. Ces mesures étaient censées préparer une prise de pouvoir lors de la chute du régime hitlérien. Mais à partir de 1935, la Gestapo a commencé à démanteler ces réseaux, ce qui a freiné leurs activités. Le rapprochement avec le "Volksfront", alliance éphémère de communistes et de sociaux-démocrates créée en novembre 1935, permit une coopération entre ces mouvements de résistance, qui publièrent en 1938 un programme commun, intitulé "Deutsche Freiheit", qui insistait sur la nécessité d'une forme de résistance non seulement morale, mais également politique et active. Mais les dirigeants de ces réseaux furent arrêtés à l'automne 1938, et le mouvement se désagrégea progressivement. Les dernières cellules furent démantelées en 1944.

Parallèlement à ces mouvements de résistance, d'autres groupuscules, issus de partis sociaux-démocrates minoritaires comme le SAP ("Sozialistische Arbeiterpartei"), qui s'était constitué en 1931 par l'alliance de membres de l'aile gauche du SPD et d'anciens communistes, ont essayé d'œuvrer pour l'unification des partis de gauche contre le nazisme, mais sans succès ; un front unitaire des partis de travailleurs n'a pas vu le jour en raison des divergences entre les différents courants. Certains membres du SAP se sont exilés, comme par exemple Willy Brandt, président de la section du SAP de Lübeck, futur chancelier de la RFA et prix Nobel de la paix en 1971, qui a trouvé refuge à Oslo et a contribué à la mise en place et au maintien d'organisations clandestines dans le Reich en effectuant plusieurs missions en Allemagne. Après l'occupation de la Norvège en 1940, il a fondé à Stockholm une agence de presse pour informer l'opinion internationale sur ce qui se passait en Allemagne. Une direction exilée du parti fut fondée à Paris ; ses membres publièrent pendant l'été 1933 une brochure intitulée "Der Sieg des Faschismus und die Aufgaben der Arbeiterklasse" ("La victoire du fascisme et les tâches de la classe ouvrière"), qui analysait la nature du régime hitlérien. La section des jeunes membres du SAP organisa des actions plus éclatantes, mais qui entraînèrent des vagues d'arrestations. Ainsi furent distribués en mai 1933 devant une grande usine de Dresde des tracts appelant à la lutte contre le gouvernement nazi ; une centaine de militants furent arrêtés par la Gestapo après cette action. De nombreux résistants appartenant à d'autres sections furent arrêtés et déportés en camp de concentration à la suite de trahisons ou d'imprudences, ce qui conduisit la direction du parti à transformer les cellules de cinq personnes en groupuscules de trois personnes, pour limiter au maximum les risques de démantèlement des réseaux, et on renonça aux grandes actions. Le contact avec l'étranger devenant de plus en plus difficile, la liberté d'action de ces cellules était extrêmement limitée. Grâce au soutien de l'étranger, en particulier des syndicats de transporteurs et de marins suédois, des tracts et des informations ont cependant être acheminés clandestinement en Allemagne et rompre ainsi l'isolement des opposants.

D'autres organisations sociales-démocrates comme le "Internationaler Sozialistischer Kampf-Bund" (ISK), fondé par Leonhard Nelson, ont continué le combat contre le nazisme dans la clandestinité. Willy Eichler a fondé à Paris vers la fin de l'année 1933 une direction exilée de l'ISK, qui a maintenu le contact avec la section clandestine en Allemagne, dirigée par Helmut von Rauschenplat ; les militants ont réussi à diffuser des tracts, grâce au soutien du syndicat international des transporteurs. De nombreux membres de l'ISK, en particulier des cadres de l'organisation, ont été arrêtés par la Gestapo, ce qui a fragilisé le réseau. En 1940, Eichler dut quitter Paris et se réfugia à Londres, où il prononça régulièrement des discours à la BBC pour informer les résistants vivant en Allemagne.

La plupart des organisations clandestines furent démantelées dès leurs premiers mois d'existence, et la vague d'arrestations des premières années provoqua une stagnation des activités des sociaux-démocrates, notamment en 1935 et 1936. Les résistants qui avaient pu échapper aux persécutions de la Gestapo ont compris que leurs activités n'avaient pas réussi à fragiliser le régime nazi, et qu'elles avaient entraîné de lourdes pertes humaines dans les rangs des militants sociaux-démocrates, qui n'étaient pas en mesure d'effectuer un coup d'état contre le gouvernement hitlérien.