RichTextFx cambia el color del texto seleccionado y el fondo del número de línea

.styled-text-area .selection {
    -fx-fill: pink;
}

guardar esto como un archivo decir styled-text-area.css

ponga este archivo en el mismo paquete con su clase de aplicación

en su clase, importe este archivo como

area.getStylesheets().add(getClass().getResource("styled-text-area.css").toExternalForm());

esto hará que el color de selección sea rosa

siguiendo aquí y agregando reglas de estilo relacionadas styled-text-area.css, puede lograr sus otras necesidades.