# Log Analyzer

Le Log Analyzer lit les logs d'accès de votre serveur web pour montrer comment les robots des moteurs de recherche, les bots IA et les autres crawlers visitent réellement votre site : quelles pages ils demandent, à quelle fréquence et avec quels codes de réponse HTTP. Utilisez-le pour repérer les pages ignorées par les robots, les erreurs qu'ils rencontrent, et vérifier que les crawlers IA accèdent bien à votre contenu.

Ouvrez-le depuis **Log Analyzer** dans la barre latérale gauche. La page est accessible aux utilisateurs **Admin** et au-delà. Les fichiers de logs sont rattachés au projet : ils sont donc partagés par tous les marchés de ce projet. Seules les visites de robots sont analysées : les visiteurs humains ne sont pas identifiés.

La page comporte quatre onglets : **Tableau de bord**, **Bots et IA**, **Crawler** et **Paramètres**.

## Importer vos logs

Tant qu'aucun log n'a été importé, la page affiche **Commençons par vos logs** avec deux boutons : **Envoyer un fichier** et **Connecter un serveur**. Vous pouvez aussi importer vos logs à tout moment depuis la section **Sources de données**, en bas de l'onglet **Bots et IA**. Les formats lus sont Apache, Nginx, IIS et CSV, avec ou sans compression.

![Log Analyzer — écran de démarrage sans fichier importé](https://docs.semactic.com/docs/assets/screenshots/log-analyzer/log-analyzer-start.png)

Repères de la capture :

1. **Dashboard** / **Bots and AI** / **Crawler** / **Settings** — les quatre onglets de la page.
2. **Monthly upload** — le volume de logs importé ce mois-ci sur le volume mensuel disponible.
3. **Give us your logs**, **We read them**, **You read the results** — les trois étapes : fournir vos logs, leur lecture automatique, puis la lecture des résultats.
4. **Upload a file** et **Connect a server** — envoyer un fichier, ou connecter un serveur (FTP ou SFTP).

### Envoyer un fichier

### Ouvrir l'envoi
Depuis **Envoyer un fichier** sur l'écran de démarrage, ou depuis la section **Sources de données** en bas de l'onglet **Bots et IA**, ouvrez **Envoyer un fichier de logs**.

### Ajouter votre fichier
Glissez le fichier dans la zone de dépôt, ou cliquez sur **parcourez vos fichiers**. Formats acceptés : `.log`, `.txt`, `.csv`, `.gz` et `.zip`. Il s'agit d'un log d'accès de votre serveur web ou CDN (Apache, Nginx, IIS, Cloudflare…), avec une visite par ligne.

### Attendre la lecture
Une barre de progression affiche l'envoi, puis le nombre de lignes lues. Le fichier est exploitable quand son état passe à **Terminé**. L'import est un envoi unique : rien n'est connecté à votre serveur.

> [!TIP]
> Importez des logs couvrant au moins plusieurs semaines : les tendances de crawl et la comparaison entre périodes ne deviennent parlantes qu'avec suffisamment d'historique.

### Connecter un serveur (sources de données)

En bas de l'onglet **Bots et IA**, la section **Sources de données** permet à Semactic de récupérer vos nouveaux logs tout seul.

### Ajouter une source
Cliquez sur **Ajouter une source**.

### Choisir le type de connexion
Choisissez **Lien** (une URL pointant vers le fichier de logs), **FTP** ou **SFTP** (serveur, port, identifiant, mot de passe et dossier). Le FTP peut être sécurisé avec l'option FTPS ; le SFTP est toujours chiffré. Dans les options avancées, vous pouvez **Garder seulement les chemins contenant** certains mots ou **Ignorer les chemins contenant** certains mots (séparés par des virgules).

### Définir la fréquence
Choisissez **Tous les jours**, **Toutes les semaines** ou **Tous les mois**, puis enregistrez. Semactic se connecte, liste les fichiers de logs et les lit un par un ; l'avancement s'affiche en haut du tableau de bord.

Chaque source affiche la date de son dernier import et le prochain. **Importer maintenant** cherche tout de suite de nouveaux fichiers, **Mettre en pause** et **Reprendre** arrêtent et relancent les imports automatiques, et vous pouvez modifier ou supprimer la source (les données déjà importées sont conservées).

> [!NOTE]
> Chaque projet peut importer un volume de logs limité par mois, affiché sous **Envoi du mois**. La limite est de 50 Go par projet et par mois, identique pour toutes les offres, et repart de zéro le 1er du mois. Supprimer un fichier ne rend pas son volume. Si votre période d'essai est terminée, l'import de logs est verrouillé jusqu'à ce que vous choisissiez un plan payant.

### Gérer les fichiers importés

La section **Fichiers importés** de l'onglet **Paramètres** liste, pour chaque fichier : son nom, son état (**Envoi en cours**, **En attente**, **Lecture en cours**, **Terminé** ou **Échec**), la période couverte, sa taille, son nombre de lignes et ses visites de bots.

![Log Analyzer — onglet Paramètres](https://docs.semactic.com/docs/assets/screenshots/log-analyzer/log-analyzer-settings.png)

Repères de la capture :

1. **Settings** — l'onglet Paramètres.
2. **Monthly upload** — le volume de logs importé ce mois-ci sur le volume mensuel disponible.
3. Résumé des fichiers importés — le nombre de fichiers, les lignes lues, les visites de bots, la période couverte et le nombre d'échecs.
4. Tableau des fichiers — pour chaque fichier, sa période, sa taille, ses lignes, ses visites de bots, sa date d'import et son statut.
5. **Reprocess** et **Delete** — relire un fichier ou le retirer des statistiques.

L'encadré **How it works**, plus bas dans la page, rappelle les trois étapes : fournir vos logs, leur lecture automatique, puis la lecture des résultats dans le tableau de bord. La liste des fichiers est vide tant qu'aucun fichier n'a été importé.

- **Retraiter** relit un fichier depuis sa copie conservée et remplace ses lignes précédentes, par exemple après un échec.
- L'icône corbeille retire le fichier et ses lignes des statistiques.
- Si des fichiers n'ont pas pu être importés, une bannière en haut de page le signale : leurs visites manquent dans les chiffres tant qu'ils ne sont pas réimportés (**Relancer l'import**).

## Choisir la période et les filtres

Les onglets **Tableau de bord**, **Bots et IA** et **Crawler** suivent la période choisie dans la barre du haut.

| Contrôle | Rôle |
|---------|--------------|
| **Périodes** | Choisissez **Dernier jour**, **7 derniers jours**, **30 derniers jours**, **90 derniers jours**, **Ce mois-ci**, **Mois dernier**, **Toutes les données** ou une **Période personnalisée**. Seules les dates couvertes par vos logs peuvent être sélectionnées. |
| **Comparaison** | Quand vos logs remontent assez loin, les chiffres sont comparés à la période précédente de même durée (**Comparé à…**). Si les deux périodes n'ont pas la même durée, l'évolution est calculée par jour. |
| **Famille** | Limite l'analyse à une famille de bots : **Moteurs de recherche**, **Bots IA**, **Réseaux sociaux**, **Outils SEO** ou **Autres bots**. |
| **Code HTTP** | Cliquer sur un code dans **Codes de réponse** filtre la page sur ce code. Les filtres actifs sont listés sous **Filtres actifs :** et se retirent un par un. |

## Tableau de bord

![Log Analyzer — onglet Dashboard](https://docs.semactic.com/docs/assets/screenshots/log-analyzer/log-analyzer-dashboard.png)

Repères de la capture :

1. **Dashboard** / **Bots and AI** / **Crawler** / **Settings** — les quatre onglets de la page.
2. **Monthly upload** — le volume de logs importé ce mois-ci sur le volume mensuel disponible.
3. **All bots** et la période — le filtre par famille de bots et le sélecteur de dates.
4. **Bot visits**, **Pages crawled**, **AI bot share**, **Visits in error** — les quatre indicateurs de la période.
5. **Key takeaways** — les quatre questions résumées en un coup d'œil : *Who visits you the most?*, *Are AI bots coming?*, *Do bots hit errors?* et *Where do bots spend their time?*.

- **Quatre questions** : **Qui vous visite le plus ?**, **Les robots IA viennent-ils ?**, **Les robots tombent-ils sur des erreurs ?** et **Où les robots passent-ils leur temps ?**, avec leur réponse en un coup d'œil.
- **Les indicateurs** : **Visites de bots**, **Part des bots IA**, **Visites en erreur** et **Pages explorées**, comparés à la période de comparaison.
- **Évolution des visites de bots** : le nombre de visites par jour pour chaque famille de bots, en **Visites** ou en **Part du jour**. Il faut au moins trois jours pour tracer une courbe.
- **Codes de réponse** : ce que répond votre site (**Succès**, **Redirections**, **Page introuvable**, **Erreur serveur**). Cliquez sur une ligne pour filtrer toute la page.
- **Erreurs à corriger** : les pages qui répondent une erreur aux robots, les plus coûteuses d'abord, avec une priorité (**Haute**, **Moyenne**, **Basse**) et la marche à suivre.
- **Parties du site les plus explorées** : les premiers dossiers de l'URL par nombre de visites de bots. Cliquez sur une rubrique pour voir ses pages les plus visitées.
- **Journal détaillé** : **Afficher le journal** ouvre les lignes de logs brutes (date et heure, URL, bot, catégorie, code, durée).

## Bots et IA

![Log Analyzer — onglet Bots and AI](https://docs.semactic.com/docs/assets/screenshots/log-analyzer/log-analyzer-bots.png)

Repères de la capture :

1. **Search engines**, **AI bots**, **Social networks**, **SEO tools**, **Other bots** — une carte par famille de bots, avec ses visites et sa part des visites de bots.
2. **Tip** — un encadré qui signale la part des visites venant de bots non identifiés, à examiner dans le journal détaillé.
3. **Family** et **Type** — les filtres par famille et par type de bot.
4. **Download Excel** et la recherche — exporter la liste ou chercher un bot.
5. Tableau des bots — pour chaque bot, son type, sa famille, ses visites, sa part, ses pages et sa dernière visite.

- **Familles de bots** : **Moteurs de recherche**, **Bots IA**, **Réseaux sociaux**, **Outils SEO** et **Autres bots**, avec leur part des visites de bots.
- **Qui visite votre site** : la liste des bots détectés (visites, pages, URLs, part, évolution, dernier passage). Les bots sont reconnus à leur signature (User-Agent) ; un bot inconnu apparaît dans **Autres bots**. Un badge **Nouveau** signale un robot absent de la période précédente. Cliquez sur un bot pour ne voir que ses pages.
- **Pages explorées** : les pages vues par les bots sélectionnés, avec leurs visites, leur évolution, leurs codes de réponse et leur dernière visite. Cochez des pages pour créer une tâche, ou cliquez sur une page pour voir son détail.
- **Sources de données** : tout en bas de l'onglet, la section où vous connectez un serveur (voir « Connecter un serveur » plus haut) ou envoyez un fichier à la main.

## Crawler

![Log Analyzer — onglet Crawler](https://docs.semactic.com/docs/assets/screenshots/log-analyzer/log-analyzer-crawler.png)

Repères de la capture :

1. **Semactic crawler** — le statut du crawler : marché, date du crawl et nombre de pages connues.
2. **Pages known to the crawler**, **Seen by Google**, **Seen by AI**, **Never visited by a bot** — les quatre indicateurs de comparaison.
3. **Pages visited by bots against pages known to the crawler** — les situations à comparer (par exemple *Never visited*, *Google yes, AI no*).
4. Situation sélectionnée — ici *Never visited* ; la liste des pages concernées s'affiche en dessous.
5. **Create a task** — créer une tâche à partir des pages sélectionnées.
6. La période — le sélecteur de dates.

L'onglet **Crawler** compare ce que les robots ont visité avec ce que le crawler Semactic a trouvé sur votre site :

- **Pages connues du crawler**, **Vues par Google**, **Vues par les IA** et **Jamais visitées par un bot** ;
- **Pages atteintes, niveau par niveau** : jusqu'où vont Google et les robots IA dans l'arborescence (le niveau est le nombre de dossiers de l'URL) ;
- **Pages visitées par les bots contre pages connues du crawler** : choisissez **IA oui, Google non**, **Google oui, IA non**, **Jamais visitées** ou **Inconnues du crawler** pour voir les pages concernées et quoi faire.

Si le comparatif affiche qu'il se prépare, revenez dans quelques minutes. Le crawl du marché doit avoir eu lieu et des logs doivent être importés pour que la comparaison s'affiche.

> [!NOTE]
> L'export des logs serveur nécessite un accès à votre hébergement. Si vous ne l'avez pas, demandez les logs d'accès de votre site à votre équipe de développement ou à votre hébergeur.
