Un crawl qui remonte 12 000 « erreurs » sur un site de 800 pages, ça ne veut pas dire que le site est cassé. Ça veut dire que le crawler a été mal configuré. J'ai vu cette scène se répéter chez trois clients différents en deux ans, toujours pour la même raison : personne n'avait pris le temps de définir ce qu'on cherchait avant de lancer la machine.
Détecter les problèmes techniques avec un crawler SEO, ce n'est pas appuyer sur « Start » et attendre le CSV. C'est un travail de cadrage, puis de tri, puis de priorisation. Le reste, c'est du bruit.
Points clés à retenir
- Un crawl utile se prépare avant le lancement : profondeur, exclusions, rendu JS, user-agent.
- 80 % des alertes remontées sont des faux positifs si vous crawlez sans filtre.
- Le crawl budget se pilote — il ne se subit pas, surtout au-delà de 50 000 URL.
- Les problèmes se classent en trois familles : blocage d'indexation, gaspillage de budget, signal dégradé.
- Le crawl SEO et le crawl des robots IA ne répondent pas aux mêmes questions.
- Un re-crawl mensuel suffit sur un site stable ; hebdomadaire si vous publiez souvent.
Préparer un crawl SEO qui détecte réellement les problèmes techniques
La première fois que j'ai lancé Screaming Frog sur un e-commerce de 40 000 références, j'ai laissé la profondeur par défaut. Résultat : 18 000 URL crawlées, une base de données saturée, et un export impossible à exploiter. J'avais payé le prix d'un crawl « complet » pour obtenir un fichier inutile.
Paramétrer la profondeur et les exclusions
Sur un site à moins de 5 000 pages, crawlez tout. Au-delà, coupez. Les filtres à poser systématiquement :
- exclure les paramètres de tri et de filtre (
?sort=,?color=) qui génèrent des milliers d'URL fantômes ; - bloquer les pages de recherche interne, qui produisent des doublons à l'infini ;
- désactiver le suivi des liens
nofollowsortants si vous ne les analysez pas ; - limiter la profondeur à 5 clics pour un audit standard, 8 pour un site profond.
En faisant ça sur un catalogue de 40 000 URL, je suis passé de 18 000 pages crawlées à 6 200 réellement utiles. Le temps d'analyse a chuté de 4 jours à une demi-journée.
Le rendu JavaScript, piège classique
Beaucoup de crawlers lisent le HTML brut. Si votre site charge son contenu via JavaScript, vous verrez des pages vides — et vous allez conclure à tort à des « pages sans contenu ». Activez le rendu JS, mais sachez qu'il multiplie par 5 à 10 le temps de crawl. Sur un site de 2 000 pages, comptez 40 minutes au lieu de 6.
Les problèmes techniques qu'un crawler remonte vraiment
Ils se rangent en trois familles. Cette classification m'a servi plus que n'importe quel outil : dès qu'une alerte arrive, je sais dans quelle catégorie la ranger, donc à qui la confier.
Blocage d'indexation
- balises
noindexoubliées après une mise en test ; - erreurs 404 sur des pages qui recevaient du trafic ;
- boucles de redirection (A → B → C → A) ;
- canonical pointant vers une URL en 404.
La boucle de redirection est la plus vicieuse. Le crawler la détecte, mais elle ne se voit pas à l'œil nu dans le navigateur — le navigateur abandonne après quelques sauts sans afficher d'erreur.
Gaspillage de crawl budget
Pages orphelines, paramètres d'URL inutiles, pagination infinie, liens vers des URL non canoniques : tout ça consomme le budget que les robots allouent à votre domaine. Sur un site de 50 000 URL, j'ai mesuré qu'environ un tiers du crawl était consommé par des URL qui n'auraient jamais dû être indexées. Corrigé en trois semaines via robots.txt et balises canonical.
Signaux dégradés
Balises title dupliquées, meta descriptions absentes, H1 multiples, maillage interne trop concentré sur la page d'accueil. Rien de bloquant, mais l'accumulation pèse.
Les faux positifs qui pourrissent un audit
Franchement, c'est le sujet dont personne ne parle. Un crawler remonte ce qu'on lui demande de remonter. Si vous ne filtrez pas, il vous noie.
Trois cas que je rencontre systématiquement :
- Les redirections 301 légitimes entre anciennes et nouvelles URL — signalées comme « erreur » alors qu'elles fonctionnent.
- Les pages en noindex volontaire (mentions légales, pages de confirmation) — remontées comme problèmes.
- Les liens sortants cassés vers des sites partenaires — ils n'ont aucun impact SEO direct sur votre domaine.
Sur un audit récent, j'ai reclassé manuellement 2 300 alertes sur 3 100 en faux positifs. Il restait 800 vrais problèmes. C'est ce chiffre-là qui est actionnable.
Choisir un crawler selon votre contexte
Il n'y a pas de « meilleur outil ». Il y a un outil adapté à votre volume, votre stack et votre fréquence.
| Contexte | Besoin principal | Type d'outil adapté |
|---|---|---|
| Site vitrine < 500 pages | Crawl manuel ponctuel | Outil desktop gratuit |
| E-commerce 10 000–100 000 URL | Rendu JS + segmentation | Outil desktop payant ou cloud |
| Site média à millions d'URL | Scalabilité, crawl distribué | Solution cloud avec API |
| Stack technique avec CI/CD | Automatisation par commit | Crawler appelable en ligne de commande |
Mon critère numéro un : la capacité à exporter les données brutes. Un outil qui vous enferme dans son interface finit par vous ralentir.
Crawl SEO et crawl des robots IA : ne pas confondre
Depuis deux ans, une question revient : faut-il crawler son site pour vérifier ce que voient les modèles de langage ? La réponse est nuancée.
Un crawler SEO classique vérifie ce que voit Googlebot. Les robots d'IA — ceux qui alimentent les réponses génératives — n'ont pas la même tolérance au JavaScript ni le même comportement sur le contenu derrière un paywall. Un site qui s'affiche proprement pour Googlebot peut apparaître vide pour un modèle qui ne rend pas le JS.
Concrètement : si votre contenu principal dépend d'un rendu côté client, testez avec un crawler en mode « no JS » et regardez ce qui reste. C'est souvent édifiant. Sur un site éditorial testé l'an dernier, la page article affichait 1 400 mots en navigateur et 80 mots en HTML brut. Les moteurs IA ne voyaient que 80.
Du crawl à l'action : un workflow qui tient
Un export de 3 000 lignes ne sert à rien. Voici ce que j'applique, dans cet ordre :
- Filtrer les faux positifs avant même de compter (30 minutes bien investies).
- Regrouper par type de problème — pas par URL. Dix mille URL avec le même défaut, c'est un problème, pas dix mille.
- Pondérer par trafic : un 404 sur une page à 5 visites/mois passe après un title dupliqué sur la page la plus visitée du site.
- Corriger les blocages d'indexation d'abord, toujours.
- Re-crawler deux semaines après correction, jamais le lendemain — les moteurs ont besoin de temps pour traiter.
Sur un client e-commerce, cette méthode a ramené 4 200 alertes à 180 actions réelles, dont 40 prioritaires. Le trafic organique a progressé de 18 % en trois mois. Pas de magie : juste moins de bruit.
À quelle fréquence re-crawler ?
Un site vitrine stable : une fois par trimestre. Un site qui publie trois articles par semaine : tous les quinze jours. Un e-commerce avec des stocks qui changent tous les jours : en hebdomadaire, voire en continu via une API.
Au-delà, vous produisez des exports que personne ne lit. J'ai vu des équipes crawler tous les jours et ne jamais ouvrir les rapports. Le crawl n'a de valeur que s'il déclenche une correction.
Et une dernière chose : gardez un historique. Comparer un crawl de janvier à un crawl de mars révèle des régressions qu'aucun audit isolé ne montrerait. C'est souvent là que se cachent les vraies surprises — une balise posée par erreur en production, une redirection cassée par un déploiement, un noindex hérité d'un test. Le crawler n'a rien inventé. Il vous a juste montré ce que vous ne regardiez plus.