Lo primero que he hecho ha sido optimizar la base de datos y quitar todo lo que sobraba en la base de datos, que había que estuviese redimensionada. pesaba 3 veces mas de lo que tenia que pesar gracias a datos temporales.
Luego he quitado alguno errores de codigo que he visto en la web.
Con esto el page speed a subido de 12 a 16, queda una buena batalla todavía.