Por que esto nos debe preocupar?
Por experiencia de usuario por que esto no es nada cómodo esperar varios segundos a que cargue la pagina y aqui va lo mas importante que es que google también piensa en experiencia de usuarios (UX) y por eso quiere que tu web sea rapida para poder posicionarte bien asi es una de las tantas cosas que google toma en cuenta para subirte de puesto.
puede usar esta herramienta de google para poder recibir sugerencias para poder mejorar tu web http://developers.google.com/speed/pagespeed/insights/
- Todas tus imagenes deben ser optimizadas para web trata bajarle el peso a lo mas posible.
- Todas tus css comprimirlo aqui pueden usar esta herramienta http://cssminifier.com/
- Todas tus js comprimirlo aqui pueden usar esta herramienta http://jscompress.com/
- Tus consultas sql optimizarlas