docs.semactic › Semactic Features

Log Analyzer

De Log Analyzer leest de toegangslogs van uw webserver om te tonen hoe crawlers van zoekmachines, AI-bots en andere crawlers uw site echt bezoeken: welke pagina's ze opvragen, hoe vaak en met welke HTTP-responscodes. Gebruik hem om pagina's te vinden die bots negeren, de fouten die ze tegenkomen, en om te controleren of AI-crawlers uw content kunnen bereiken.

Open hem via Log Analyzer in de linkerzijbalk. De pagina is beschikbaar voor Admin-gebruikers en hoger. Logbestanden horen bij het project en worden dus gedeeld door alle markten van dat project. Alleen botbezoeken worden geanalyseerd: menselijke bezoekers worden niet geïdentificeerd.

De pagina heeft vier tabbladen: Dashboard, Bots and AI, Crawler en Settings.

Uw logs importeren

Zolang er geen log is geïmporteerd, toont de pagina Let's start with your logs met twee knoppen: Upload a file en Connect a server. U kunt logs ook op elk moment importeren via de sectie Data sources, onderaan het tabblad Bots and AI. De gelezen formaten zijn Apache, Nginx, IIS en CSV, met of zonder compressie.

Log Analyzer — startscherm zonder logs

Wat de nummers aanwijzen:

  1. Dashboard / Bots and AI / Crawler / Settings — de vier tabbladen.
  2. Monthly upload — het gebruikte volume ten opzichte van het beschikbare maandvolume.
  3. Give us your logs, We read them en You read the results — de drie stappen.
  4. Upload a file en Connect a server — een logbestand uploaden of een server verbinden.

Een bestand uploaden

Het uploaden openen

Open onderaan het tabblad Bots and AI (sectie Data sources), of via Upload a file op het startscherm, Upload a log file.

Uw bestand toevoegen

Sleep het bestand naar de dropzone of klik op browse your files. Geaccepteerde formaten: .log, .txt, .csv, .gz en .zip. Het gaat om een toegangslog van uw webserver of CDN (Apache, Nginx, IIS, Cloudflare…), met één bezoek per regel.

Wachten tot het gelezen is

Een voortgangsbalk toont het uploaden en daarna het aantal gelezen regels. Het bestand is klaar wanneer de status Done is. Een upload is eenmalig: er wordt niets met uw server verbonden.

[!TIP] Importeer logs die minstens enkele weken beslaan: crawltrends en periodevergelijkingen worden pas zinvol met genoeg historie.

Een server verbinden (databronnen)

Onderaan het tabblad Bots and AI laat de sectie Data sources Semactic uw nieuwe logs zelf ophalen. Zolang er geen bron is verbonden, staat er No source connected.

Een bron toevoegen

Klik op Add a source.

Het verbindingstype kiezen

Kies Link (een URL naar het logbestand), FTP of SFTP (server, poort, gebruikersnaam, wachtwoord en map). FTP kan worden beveiligd met de optie FTPS; SFTP is altijd versleuteld. In de geavanceerde opties kunt u Keep only paths containing bepaalde woorden of Ignore paths containing bepaalde woorden (gescheiden door komma's).

De frequentie instellen

Kies Every day, Every week of Every month en sla op. Semactic verbindt, maakt een lijst van de logbestanden en leest ze één voor één; de voortgang staat bovenaan het dashboard.

Elke bron toont de datum van zijn laatste import en van de volgende. Import now zoekt meteen naar nieuwe bestanden, Pause en Resume stoppen en hervatten de automatische imports, en u kunt de bron bewerken of verwijderen (reeds geïmporteerde gegevens blijven behouden).

[!NOTE] Elk project kan per kalendermaand maximaal 50 GB aan logs importeren, getoond als Monthly upload. Die limiet is voor alle abonnementen hetzelfde en wordt op de 1e van de maand op nul gezet. Een bestand verwijderen geeft zijn volume niet terug. Is uw proefperiode afgelopen, dan is het importeren van logs vergrendeld tot u een betaald abonnement kiest.

Geïmporteerde bestanden beheren

Log Analyzer — tabblad Settings

Wat de nummers aanwijzen:

  1. Settings — het tabblad met de geïmporteerde bestanden.
  2. Monthly upload — het gebruikte volume ten opzichte van het beschikbare maandvolume.
  3. Imported files — de samenvatting van de geïmporteerde bestanden: aantal bestanden, gelezen regels, botbezoeken, gedekte periode en mislukte bestanden.
  4. Bestandentabel — per bestand de periode, de grootte, het aantal regels, de bezoeken, de importdatum en de status. Zolang er niets is geïmporteerd staat er No file imported yet.
  5. Reprocess en het prullenbakpictogram — een bestand opnieuw lezen of verwijderen.

De uitleg How it works (de drie stappen You give your logs, We read them automatically en You read the results) staat lager op de pagina.

De sectie Imported files van het tabblad Settings toont per bestand: de naam, de status (Uploading, Waiting, Being read, Done of Failed), de gedekte periode, de grootte, het aantal regels en de botbezoeken.

  • Reprocess leest een bestand opnieuw vanuit zijn bewaarde kopie en vervangt zijn vorige regels, bijvoorbeeld na een mislukking.
  • Het prullenbakpictogram verwijdert het bestand en zijn regels uit de statistieken.
  • Konden sommige bestanden niet worden geïmporteerd, dan meldt een banner bovenaan de pagina dat: hun bezoeken ontbreken in de cijfers tot ze opnieuw zijn geïmporteerd (Reprocess).

Periode en filters kiezen

De tabbladen Dashboard, Bots and AI en Crawler volgen de periode die in de bovenbalk is gekozen.

Besturing Doel
Periods Kies Last day, Last 7 days, Last 30 days, Last 90 days, This month, Last month, All the data of een Custom period. Alleen datums die door uw logs worden gedekt, zijn selecteerbaar.
Comparison Reiken uw logs ver genoeg terug, dan worden de cijfers vergeleken met de vorige periode van gelijke lengte (Compared with…). Zijn de twee periodes niet even lang, dan wordt de evolutie per dag berekend.
Family Beperkt de analyse tot één botfamilie: Search engines, AI bots, Social networks, SEO tools of Other bots.
HTTP code Klikken op een code in Response codes filtert de pagina op die code. Actieve filters staan onder Active filters: en kunnen één voor één worden verwijderd.

Dashboard

Log Analyzer — tabblad Dashboard

Wat de nummers aanwijzen:

  1. Dashboard / Bots and AI / Crawler / Settings — de vier tabbladen.
  2. Monthly upload — het gebruikte volume ten opzichte van het beschikbare maandvolume.
  3. All bots en de periode — het botfilter en de gekozen periode.
  4. Bot visits, Pages crawled, AI bot share en Visits in error — de indicatoren.
  5. Key takeaways — de vier vragen: Who visits you the most?, Are AI bots coming?, Do bots hit errors? en Where do bots spend their time?
  • Vier vragen: Who visits you the most?, Are AI bots coming?, Do bots hit errors? en Where do bots spend their time?, elk in één oogopslag beantwoord.
  • Indicatoren: Bot visits, AI bot share, Visits in error en Pages crawled, vergeleken met de vergelijkingsperiode.
  • Bot visits over time: het aantal bezoeken per dag voor elke botfamilie, als Visits of Share of the day. Voor een curve zijn minstens drie dagen nodig.
  • Response codes: wat uw site antwoordt (Success, Redirects, Page not found, Server error). Klik op een rij om de hele pagina te filteren.
  • Errors to fix: de pagina's die bots met een fout beantwoorden, de duurste eerst, met een prioriteit (High, Medium, Low) en hoe u ze oplost.
  • Most crawled parts of the site: de eerste map van de URL naar aantal botbezoeken. Klik op een sectie om haar meest bezochte pagina's te zien.
  • Detailed log: Show the log opent de ruwe logregels (datum en tijd, URL, bot, categorie, code, duur).

Bots and AI

Log Analyzer — tabblad Bots and AI

Wat de nummers aanwijzen:

  1. Search engines, AI bots, Social networks, SEO tools en Other bots — een kaart per botfamilie.
  2. Tip — een kader over bots die niet zijn geïdentificeerd.
  3. Family en Type — de filters van de lijst.
  4. Download Excel en het zoekveld — de lijst exporteren of erin zoeken.
  5. Bottabel — per bot het type, de familie, de bezoeken, het aandeel, de pagina's en het laatste bezoek.
  • Botfamilies: Search engines, AI bots, Social networks, SEO tools en Other bots, met hun aandeel in de botbezoeken.
  • Who visits your site: de lijst van gedetecteerde bots (bezoeken, pagina's, URL's, aandeel, evolutie, laatste bezoek). Bots worden herkend aan hun handtekening (User-Agent); een onbekende bot verschijnt onder Other bots. Een badge New meldt een bot die in de vorige periode afwezig was. Klik op een bot om alleen zijn pagina's te zien.
  • Pages crawled: de pagina's gezien door de geselecteerde bots, met hun bezoeken, evolutie, responscodes en laatste bezoek. Vink pagina's aan om een taak te maken, of klik op een pagina voor de details.
  • Data sources: onderaan het tabblad staat de sectie om een logbestand te uploaden of een server te verbinden.

Crawler

Log Analyzer — tabblad Crawler

Wat de nummers aanwijzen:

  1. Semactic crawler — de status van de crawler: markt, datum van de crawl en aantal bekende pagina's.
  2. Pages known to the crawler, Seen by Google, Seen by AI en Never visited by a bot — de vier kaarten.
  3. Pages visited by bots against pages known to the crawler — de vergelijking van bezochte en bekende pagina's.
  4. Geselecteerde situatie — bijvoorbeeld Never visited, met de betrokken pagina's.
  5. Create a task — maakt een taak voor de geselecteerde pagina's.
  6. Periode — de gekozen periode.

Het tabblad Crawler vergelijkt wat bots hebben bezocht met wat de Semactic-crawler op uw site heeft gevonden:

  • Pages known to the crawler, Seen by Google, Seen by AI en Never visited by a bot;
  • Pages reached, level by level: hoe diep Google en AI-bots in de siteopbouw gaan (het niveau is het aantal mappen in de URL);
  • Pages visited by bots against pages known to the crawler: kies AI yes, Google no, Google yes, AI no, Never visited of Unknown to the crawler om de betrokken pagina's en wat u eraan kunt doen te zien.

Meldt de vergelijking dat ze wordt voorbereid, kom dan over enkele minuten terug. De markt moet gecrawld zijn en er moeten logs zijn geïmporteerd om de vergelijking te tonen.

[!NOTE] Het exporteren van serverlogs vereist toegang tot uw hosting. Hebt u die niet, vraag dan de toegangslogs van uw site aan uw ontwikkelteam of hostingprovider.