docs.semactic › Semactic Features

Log Analyzer

Le Log Analyzer lit les logs d'accès de votre serveur web pour montrer comment les robots des moteurs de recherche, les bots IA et les autres crawlers visitent réellement votre site : quelles pages ils demandent, à quelle fréquence et avec quels codes de réponse HTTP. Utilisez-le pour repérer les pages ignorées par les robots, les erreurs qu'ils rencontrent, et vérifier que les crawlers IA accèdent bien à votre contenu.

Ouvrez-le depuis Log Analyzer dans la barre latérale gauche. La page est accessible aux utilisateurs Admin et au-delà. Les fichiers de logs sont rattachés au projet : ils sont donc partagés par tous les marchés de ce projet. Seules les visites de robots sont analysées : les visiteurs humains ne sont pas identifiés.

La page comporte quatre onglets : Tableau de bord, Bots et IA, Crawler et Paramètres.

Importer vos logs

Tant qu'aucun log n'a été importé, la page affiche Commençons par vos logs avec deux boutons : Envoyer un fichier et Connecter un serveur. Vous pouvez aussi importer vos logs à tout moment depuis la section Sources de données, en bas de l'onglet Bots et IA. Les formats lus sont Apache, Nginx, IIS et CSV, avec ou sans compression.

Log Analyzer — écran de démarrage sans fichier importé

Repères de la capture :

  1. Dashboard / Bots and AI / Crawler / Settings — les quatre onglets de la page.
  2. Monthly upload — le volume de logs importé ce mois-ci sur le volume mensuel disponible.
  3. Give us your logs, We read them, You read the results — les trois étapes : fournir vos logs, leur lecture automatique, puis la lecture des résultats.
  4. Upload a file et Connect a server — envoyer un fichier, ou connecter un serveur (FTP ou SFTP).

Envoyer un fichier

Ouvrir l'envoi

Depuis Envoyer un fichier sur l'écran de démarrage, ou depuis la section Sources de données en bas de l'onglet Bots et IA, ouvrez Envoyer un fichier de logs.

Ajouter votre fichier

Glissez le fichier dans la zone de dépôt, ou cliquez sur parcourez vos fichiers. Formats acceptés : .log, .txt, .csv, .gz et .zip. Il s'agit d'un log d'accès de votre serveur web ou CDN (Apache, Nginx, IIS, Cloudflare…), avec une visite par ligne.

Attendre la lecture

Une barre de progression affiche l'envoi, puis le nombre de lignes lues. Le fichier est exploitable quand son état passe à Terminé. L'import est un envoi unique : rien n'est connecté à votre serveur.

[!TIP] Importez des logs couvrant au moins plusieurs semaines : les tendances de crawl et la comparaison entre périodes ne deviennent parlantes qu'avec suffisamment d'historique.

Connecter un serveur (sources de données)

En bas de l'onglet Bots et IA, la section Sources de données permet à Semactic de récupérer vos nouveaux logs tout seul.

Ajouter une source

Cliquez sur Ajouter une source.

Choisir le type de connexion

Choisissez Lien (une URL pointant vers le fichier de logs), FTP ou SFTP (serveur, port, identifiant, mot de passe et dossier). Le FTP peut être sécurisé avec l'option FTPS ; le SFTP est toujours chiffré. Dans les options avancées, vous pouvez Garder seulement les chemins contenant certains mots ou Ignorer les chemins contenant certains mots (séparés par des virgules).

Définir la fréquence

Choisissez Tous les jours, Toutes les semaines ou Tous les mois, puis enregistrez. Semactic se connecte, liste les fichiers de logs et les lit un par un ; l'avancement s'affiche en haut du tableau de bord.

Chaque source affiche la date de son dernier import et le prochain. Importer maintenant cherche tout de suite de nouveaux fichiers, Mettre en pause et Reprendre arrêtent et relancent les imports automatiques, et vous pouvez modifier ou supprimer la source (les données déjà importées sont conservées).

[!NOTE] Chaque projet peut importer un volume de logs limité par mois, affiché sous Envoi du mois. La limite est de 50 Go par projet et par mois, identique pour toutes les offres, et repart de zéro le 1er du mois. Supprimer un fichier ne rend pas son volume. Si votre période d'essai est terminée, l'import de logs est verrouillé jusqu'à ce que vous choisissiez un plan payant.

Gérer les fichiers importés

La section Fichiers importés de l'onglet Paramètres liste, pour chaque fichier : son nom, son état (Envoi en cours, En attente, Lecture en cours, Terminé ou Échec), la période couverte, sa taille, son nombre de lignes et ses visites de bots.

Log Analyzer — onglet Paramètres

Repères de la capture :

  1. Settings — l'onglet Paramètres.
  2. Monthly upload — le volume de logs importé ce mois-ci sur le volume mensuel disponible.
  3. Résumé des fichiers importés — le nombre de fichiers, les lignes lues, les visites de bots, la période couverte et le nombre d'échecs.
  4. Tableau des fichiers — pour chaque fichier, sa période, sa taille, ses lignes, ses visites de bots, sa date d'import et son statut.
  5. Reprocess et Delete — relire un fichier ou le retirer des statistiques.

L'encadré How it works, plus bas dans la page, rappelle les trois étapes : fournir vos logs, leur lecture automatique, puis la lecture des résultats dans le tableau de bord. La liste des fichiers est vide tant qu'aucun fichier n'a été importé.

  • Retraiter relit un fichier depuis sa copie conservée et remplace ses lignes précédentes, par exemple après un échec.
  • L'icône corbeille retire le fichier et ses lignes des statistiques.
  • Si des fichiers n'ont pas pu être importés, une bannière en haut de page le signale : leurs visites manquent dans les chiffres tant qu'ils ne sont pas réimportés (Relancer l'import).

Choisir la période et les filtres

Les onglets Tableau de bord, Bots et IA et Crawler suivent la période choisie dans la barre du haut.

Contrôle Rôle
Périodes Choisissez Dernier jour, 7 derniers jours, 30 derniers jours, 90 derniers jours, Ce mois-ci, Mois dernier, Toutes les données ou une Période personnalisée. Seules les dates couvertes par vos logs peuvent être sélectionnées.
Comparaison Quand vos logs remontent assez loin, les chiffres sont comparés à la période précédente de même durée (Comparé à…). Si les deux périodes n'ont pas la même durée, l'évolution est calculée par jour.
Famille Limite l'analyse à une famille de bots : Moteurs de recherche, Bots IA, Réseaux sociaux, Outils SEO ou Autres bots.
Code HTTP Cliquer sur un code dans Codes de réponse filtre la page sur ce code. Les filtres actifs sont listés sous Filtres actifs : et se retirent un par un.

Tableau de bord

Log Analyzer — onglet Dashboard

Repères de la capture :

  1. Dashboard / Bots and AI / Crawler / Settings — les quatre onglets de la page.
  2. Monthly upload — le volume de logs importé ce mois-ci sur le volume mensuel disponible.
  3. All bots et la période — le filtre par famille de bots et le sélecteur de dates.
  4. Bot visits, Pages crawled, AI bot share, Visits in error — les quatre indicateurs de la période.
  5. Key takeaways — les quatre questions résumées en un coup d'œil : Who visits you the most?, Are AI bots coming?, Do bots hit errors? et Where do bots spend their time?.
  • Quatre questions : Qui vous visite le plus ?, Les robots IA viennent-ils ?, Les robots tombent-ils sur des erreurs ? et Où les robots passent-ils leur temps ?, avec leur réponse en un coup d'œil.
  • Les indicateurs : Visites de bots, Part des bots IA, Visites en erreur et Pages explorées, comparés à la période de comparaison.
  • Évolution des visites de bots : le nombre de visites par jour pour chaque famille de bots, en Visites ou en Part du jour. Il faut au moins trois jours pour tracer une courbe.
  • Codes de réponse : ce que répond votre site (Succès, Redirections, Page introuvable, Erreur serveur). Cliquez sur une ligne pour filtrer toute la page.
  • Erreurs à corriger : les pages qui répondent une erreur aux robots, les plus coûteuses d'abord, avec une priorité (Haute, Moyenne, Basse) et la marche à suivre.
  • Parties du site les plus explorées : les premiers dossiers de l'URL par nombre de visites de bots. Cliquez sur une rubrique pour voir ses pages les plus visitées.
  • Journal détaillé : Afficher le journal ouvre les lignes de logs brutes (date et heure, URL, bot, catégorie, code, durée).

Bots et IA

Log Analyzer — onglet Bots and AI

Repères de la capture :

  1. Search engines, AI bots, Social networks, SEO tools, Other bots — une carte par famille de bots, avec ses visites et sa part des visites de bots.
  2. Tip — un encadré qui signale la part des visites venant de bots non identifiés, à examiner dans le journal détaillé.
  3. Family et Type — les filtres par famille et par type de bot.
  4. Download Excel et la recherche — exporter la liste ou chercher un bot.
  5. Tableau des bots — pour chaque bot, son type, sa famille, ses visites, sa part, ses pages et sa dernière visite.
  • Familles de bots : Moteurs de recherche, Bots IA, Réseaux sociaux, Outils SEO et Autres bots, avec leur part des visites de bots.
  • Qui visite votre site : la liste des bots détectés (visites, pages, URLs, part, évolution, dernier passage). Les bots sont reconnus à leur signature (User-Agent) ; un bot inconnu apparaît dans Autres bots. Un badge Nouveau signale un robot absent de la période précédente. Cliquez sur un bot pour ne voir que ses pages.
  • Pages explorées : les pages vues par les bots sélectionnés, avec leurs visites, leur évolution, leurs codes de réponse et leur dernière visite. Cochez des pages pour créer une tâche, ou cliquez sur une page pour voir son détail.
  • Sources de données : tout en bas de l'onglet, la section où vous connectez un serveur (voir « Connecter un serveur » plus haut) ou envoyez un fichier à la main.

Crawler

Log Analyzer — onglet Crawler

Repères de la capture :

  1. Semactic crawler — le statut du crawler : marché, date du crawl et nombre de pages connues.
  2. Pages known to the crawler, Seen by Google, Seen by AI, Never visited by a bot — les quatre indicateurs de comparaison.
  3. Pages visited by bots against pages known to the crawler — les situations à comparer (par exemple Never visited, Google yes, AI no).
  4. Situation sélectionnée — ici Never visited ; la liste des pages concernées s'affiche en dessous.
  5. Create a task — créer une tâche à partir des pages sélectionnées.
  6. La période — le sélecteur de dates.

L'onglet Crawler compare ce que les robots ont visité avec ce que le crawler Semactic a trouvé sur votre site :

  • Pages connues du crawler, Vues par Google, Vues par les IA et Jamais visitées par un bot ;
  • Pages atteintes, niveau par niveau : jusqu'où vont Google et les robots IA dans l'arborescence (le niveau est le nombre de dossiers de l'URL) ;
  • Pages visitées par les bots contre pages connues du crawler : choisissez IA oui, Google non, Google oui, IA non, Jamais visitées ou Inconnues du crawler pour voir les pages concernées et quoi faire.

Si le comparatif affiche qu'il se prépare, revenez dans quelques minutes. Le crawl du marché doit avoir eu lieu et des logs doivent être importés pour que la comparaison s'affiche.

[!NOTE] L'export des logs serveur nécessite un accès à votre hébergement. Si vous ne l'avez pas, demandez les logs d'accès de votre site à votre équipe de développement ou à votre hébergeur.