Vous avez un site Web, mais peu de visites , vous avez besoin de mettre une stratégie de visibilité et d'accessibilité de votre site.

Le SEO inclut l'ensemble des techniques qui visent à améliorer le positionnement d'une page, d'un site ou d'une application web dans la page de résultats d'un moteur de recherche.

Les enjeux du SEO sont les suivants :

• Rendre un site visible de façon pérenne
• Permettre un bon référencement
• Capter du trafic qualifié depuis les moteurs de recherche
• Augmenter le nombre de conversions

Nous verrons comment les fichiers robots.txt et sitemap.xml permettent d'améliorer la visibilité de notre site pour les moteurs de recherche.

Le fichier robots.txt

Avec le fichier robots.txt, vous pouvez contrôler l'exploration de votre site et ses ressources par les robots des moteurs de recherche. En d'autre termes, vous facilitez le travail des moteurs de recherches en indiquant les urls auquels ils peuvent accéder, et celles auquels ils ne doivent pas accéder (typiquement les urls des administrateurs et du Back Office...). Vous indique aussi le chemin vers le fichier sitemap.xml qui est une carte de la navigation dans votre site essentielle aux moteurs de recherche.

Une façon relativement simple d'ajouter un fichier robots.txt dans symfony est la suivante :

    #[Route('/robots.txt', name: 'robots_txt', defaults: ['_format' => 'txt'])]
    public function robots(Request $request): Response
    {
        $host = $request->getHttpHost();
        $response = new Response(
            "User-agent: *
            Disallow: /admin/
            Disallow: /login/
            Allow: /
            Sitemap: https://$host/sitemap.xml"
        );
        $response->headers->set('Content-Type', 'text/plain');
        return $response;
    }