Hier gibt es neue Erkenntnisse.

Die Verzögerungen treten meiner Meinung nach definitiv in Verbindung mit IPv6-Only-Anschlüssen auf, die via AFTR-Gateway (oder ähnlichen Verfahren) auf IPv4 umgesetzt werden.
Bei reinen IPv4-Anschlüssen hatte ich NIE Verbindungsprobleme.

Seit heute habe ich wieder "echtes" Dualstack mit einer direkt zugewiesenen IPv4-Adresse und es flutscht wieder.

Warum aber diese Probleme nur bei R-L-X auffallen, kann ich nicht sagen, aber ich vermute, dass irgendeine Art Firewall/IDS/IPS dazwischenfunkt...

Falls möglich, sollte man mal beim Provider anfragen, ob man eine IPv6-Adresse für den Server zuschalten kann, dann sollte sich das Problem für DS-Lite-Anschlüsse (und Mobilfunk mit IPv6/Ipv4-Tunnel) im Prinzip erledigt haben.