Utilise les classes JEditorPane/JTextPane, leur doc explique comment ajouter des attributs de styles a des morceaux de texte.