Grinderman surgió cuando Nick Cave estaba escribiendo material en 2005 para el álbum Abattoir Blues/The Lyre of Orpheus de Nick Cave & The Bad Seeds. Formando equipo con Martyn Casey (bajo), Warren Ellis (violín y guitarra) y Jim Sclavunos (batería), la banda se metió en un estudio de Londres en 2006 y comenzó una sesión maratoniana de composición y maquetas. Con el objetivo de recrear un sonido más crudo y primario, como el del célebre proyecto post-punk de Cave The Birthday Party, el contenido lírico y musical de Grinderman divergía significativamente del anterior trabajo de Nick Cave con The Bad Seeds. 
 
En abril del año siguiente, cogieron la flor y nata de estas nuevas canciones y grabaron un álbum con la ayuda de su viejo amigo y productor Nick Launay. Publicado el 5 de marzo de 2007, Grinderman, su álbum debut de 11 canciones, fue aclamado universalmente por la crítica y contiene los sencillos "No Pussy Blues" y "Get It On". El cuarteto volvió a reunirse en 2009 para grabar Grinderman 2, que se publicó en 2010. En diciembre de 2011, Cave anunció la ruptura de la banda en un festival de música en Australia.