VPS können durchaus auch teurer als dedizierte Systeme sein, kommt immer auf den Standort, die CPU Leistung etc an. Man kann nen Atom mit ner 1 TB Platte für teilweise unter 10 kriegen. Von der Hardware darf man sich keine Wunder erwarten, die Kiste ist recht lahm aber wenns lediglich um Speicherplatz und CPU schonende Prozesse geht ist das damit machbar.
Webmailer müssen mE auch nicht sein, nutze die eigentlich auch nie und verschlüssle meine Mails entweder per SMIME oder alternativ PGP selbst, dann ist mir auch egal ob der Server das dann auf dem Weg nochmal zusätzlich verschlüsselt oder nicht, aber ist halt etwas aufwendiger dann. Mehr Eigeninitiative nötig eben.
Edit
Ne Festplattenverschlüsselung des Servers halte ich dann für sinnvoll, wenn es sich um Daten handelt, die man nicht selbst direkt verschlüsseln kann, weil sie zb direkt auf den Server gelangen ohne Umwege über den Heim-PC, Stichwort Seedboxen für Torrents. Wenn da mal was an der Hardware abraucht, ist mir wohler, das kann dann keiner lesen, als Jurassic Park und Co abgemahnt zu kriegen.
Userdaten kann man per se las Hash abspeichern, dann kann die auch keiner auf ner umverschlüsselten Platte lesen.