Insbesondere in den Niederlanden, dem Ruhrgebiet sowie in Mittelitalien wurden und werden öffentliche Gabber-Veranstaltungen von manchen Hooligans, Rechtsradikalen und Neonazis besucht.
Verwechselungen von Gabbers mit Rechtsradikalen/-extremisten, Neonazis und vor allem Skinheads bzw. Oi!-Skins (welche zwar nicht rassistisch sind, aber in der Öffentlichkeit ein solches Image haben) fallen aufgrund modischer Ähnlichkeiten leicht: Kurzgeschorene Haare oder Glatze, Bomber- und Harringtonjacken sowie Kleidung von Umbro, Kappa, Pit Bull lund vor allem Lonsdale und Fred Perry (früher hingegen oft bunte Trainingsanzüge der Marken Cavello und Australian) sind oft bei Gabbers anzutreffen. Weit verbreitet sind des Weiteren Air Max-Schuhe der Marke Nike und Jeans, die manchmal an den unteren Seiten aufgeschnitten sind. Gelegentlich werden auch Sicherheitsschuhe (Boots) getragen.
Durch die Unterwanderung seitens rassistisch gesinnter Personen, bekamen die Gabbers – bei denen seit dem Entstehen der Szene 1991 in Rotterdam Rassismus und linker oder rechter Radikalismus keine Rolle gespielt hat – ein rassistisches Image, ähnlich wie die Skinheads. Bereits 1993 erteilten das Amsterdamer Label Mokum Records mit dem Logo „United Gabbers Against Racism And Fascism“ (Vereinigte Gabbers gegen Rassismus und Faschismus) und der Platte Chosen Anthem (Against Racism) von Chosen Few Rassisten eine klare Absage. Später folgten antirassistische Lieder wie z. B. Die Nazi Scum (Party Animals & Rob Gee), Ku Klux Cunts (Nasenbluten), Anti Nazi Vendetta Part 1 & 2 (Micropoint) oder auch Time To Make A Stand (Hardcore United). Letzterer Track ist die Hymne der antirassistischen Hardcore United-Party [3], die am 25. Juni 2005 im niederländischen Eindhoven stattfand.
Auch in Deutschland wurde mittlerweile das Problem des Rassismus in der Gabberszene von verschiedenen Partyveranstaltern aufgegriffen. Für deutsche Gabberwebseiten wurde außerdem ein neues „We Are United Gabbers Against Racism & Fascism“ (anfangs mit dem Fehler "Facism") Schwarz-Weiß-Logo entwickelt. Auf den Flyern der meisten größeren Partys ist zudem ein deutlicher Hinweis zu lesen, dass bestimmte Kleidungsstücke wie beispielsweise „Boots“ (Sicherheitsschuhe, im deutschen Sprachgebrauch oft auch fälschlicherweise als „Springerstiefel“ bezeichnet) oder rassistische Kleidung (mit White Power-Emblemen z. B.) nicht erwünscht sind und zur Einlassverweigerung führen.
