Wo definiere ich die Berechtigungen einer durch ein Service erstellter Datei?

Es kommt ein wenig drauf an ob Transmission die Rechte noch selbst anpasst.

Aber den Default kannst du mit setfacl verändern.

z.B.

setfacl -d -m g::rwx /Pfad/zum/Ordner

ggf. wäre es vielleicht sinnvoller einem zusätzlichen Benutzer lese und schreib rechte zu geben und nicht die Gruppenrechte zu ändern.

Mit getfacl /Pfad/zum/Ordner kannst du dir die rechte ansehen, geht auch mit Dateien.