In derRegel klappt OpenVPN auf nem VPS, zumindest hatte ich noch keinen, wo das nicht klappt. Du solltest aber aufpassen, wenn du den VPS via SSH administrierst und diesen als Client laufen lassen möchtest. Sobald der Tunnel steht verlierst du die Verbindung zu deinem VPS, da der Traffic nicht mehr den direkten Weg zurück geht, sondern über den PP Server, der nichts damit anfangen kann. Die Verbindung via SSH klappt erst wieder, wenn die VPN Verbindung beendet ist.
Diese zu beenden sollte sich auch als schwierig erweisen, wenn du nicht mehr auf die Kiste kommst.