Τοποθετούμε το κατσικίσιο μπούτι σε λαδωμένη λαμαρίνα του φούρνου.
Με ένα μαχαίρι κάνουμε μικρές σχισμές στο ψαχνό του κρέατος, σε όλη την επιφάνεια του και από τις δύο πλευρές και φυτεύουμε μέσα τις κομμένες σκελίδες σκόρδου και μικρά κλωνάρια από φρέσκο δεντρολίβανο.
Αλατίζουμε, πασπαλίζουμε με φρεσκοτριμμένο πιπέρι και απλώνουμε με ένα πινέλο την πικάντικη μουστάρδα και από τις δυο πλευρές του κρέατος.
Περιχύνουμε το μπούτι με ελαιόλαδο, το οποίο αλείφουμε σε όλη την επιφάνεια.
Σκεπάζουμε τη λαμαρίνα με λαδόκολλα και αλουμινόχαρτο.
Ψήνουμε σε προθερμασμένο φούρνο σε χαμηλή θερμοκρασία 150°C για 4-5 ώρες.