Cave had been interested in working with Minogue since hearing "Better the Devil You Know", saying it contained "one of pop music's most violent and distressing lyrics".
Cave měl zájem s Minogue spolupracovat od té doby, co slyšel „Better the Devil You Know“; řekl, že tato píseň obsahovala „jeden z nejnásilnějšího a nejvíce znepokojivého textu“.