Brule Nicolas

Consultant SEO

Spécialiste Shopify

Automatisation Python

Formateur aux outils de l'IA

Brule Nicolas

Consultant SEO

Spécialiste Shopify

Automatisation Python

Formateur aux outils de l'IA

Bulk Indexing API, la soumission en masse des URL en vue d’une indexation par Google

  • Créé par: Nicolas Brule
  • Date: Septembre 2023
  • Langage: Node.js
  • Licence: GPL-3.0 license

Au cours des six derniers mois à un an, le monde du SEO a été témoin de défis croissants en matière d’indexation de sites. Beaucoup de professionnels ont constaté des retards et des difficultés à faire indexer leurs pages par Google, un obstacle majeur à l’amélioration de la visibilité et du classement dans les résultats de recherche. Face à ces enjeux, j’ai développé une solution pour répondre à cette problématique pressante : le projet “Bulk Indexing API“.

Je suis Nicolas Brule, consultant SEO basé à Caen et fondateur de Blackhole Agency. Ma passion pour le référencement m’a toujours poussé à chercher des moyens d’optimiser et d’automatiser les processus SEO, afin de maximiser l’efficacité et les résultats pour mes clients. Avec l’émergence récente de problèmes d’indexation, il est devenu évident qu’une nouvelle approche était nécessaire pour surmonter ces obstacles.

C’est dans ce contexte que “Bulk Indexing API” a vu le jour. Cette initiative vise à simplifier et à automatiser le processus d’indexation des pages web sur Google. Grâce à cet outil, les utilisateurs peuvent soumettre en masse les URLs de leur site, sans avoir à passer par l’interface manuelle de la Search Console. Ce faisant, “Bulk Indexing API” promet de combler le fossé d’indexation rencontré par de nombreux professionnels du SEO, en rendant le contenu plus rapidement visible sur Google et en améliorant ainsi les performances de recherche globales.

Présentation du Projet

Ce projet permet aux utilisateurs de soumettre jusqu’à 100-300 URLs par jour pour l’indexation, une nette amélioration par rapport à la limite standard de 10. Pour mettre en œuvre et utiliser cet outil efficacement, voici les étapes et prérequis nécessaires.

Prérequis

Importance de Node.js

Pour exécuter le script “Bulk Indexing API”, Node.js est indispensable. Ce logiciel serveur permet d’exécuter JavaScript côté serveur, une nécessité pour notre script qui utilise des appels d’API et des opérations sur fichiers. Node.js est choisi pour sa performance, sa scalabilité, et son écosystème riche en packages, facilitant le développement d’outils comme le nôtre.

Comment installer Node.js

  1. Rendez-vous sur le site officiel de Node.js à l’adresse https://nodejs.org/.
  2. Téléchargez la version recommandée pour votre système d’exploitation.
  3. Suivez les instructions d’installation fournies par l’installateur.

Une fois Node.js installé, vous pouvez vérifier son installation en ouvrant un terminal et en saisissant node -v, ce qui affichera la version de Node.js installée.

Configuration Initiale

Configuration de l’accès à l’Indexing API

  1. Accédez à Google Cloud Platform et créez un projet.
  2. Dans le menu “API et services”, activez l’accès à l’Indexing API.
  3. Créez des identifiants pour accéder à l’API, sous forme de clés d’API dans un fichier JSON.

Procédure de téléchargement des clés d’API

Après avoir créé vos identifiants sur Google Cloud Platform, téléchargez le fichier JSON. Ce fichier contient votre clé publique et privée, nécessaire pour l’authentification auprès de l’API d’indexation. Renommez ce fichier en service_account.json et placez-le dans le répertoire principal du script “Bulk Indexing API”.

Ajout des URLs dans le fichier urls.txt

Listez toutes les URLs que vous souhaitez indexer dans un fichier nommé urls.txt, placé dans le même répertoire que le script. Chaque URL doit être sur une nouvelle ligne. Ce fichier sera lu par le script pour soumettre les URLs en masse.

Vérification de la Propriété du Site

Étapes pour vérifier la propriété de votre site

Avant de pouvoir soumettre des URLs pour l’indexation, vous devez prouver que vous êtes le propriétaire du site en question.

  1. Accédez à Google Webmaster Central.
  2. Sélectionnez ou ajoutez la propriété (site web) que vous souhaitez vérifier.
  3. Utilisez l’adresse e-mail du compte de service (trouvée dans service_account.json sous client_email) pour ajouter un propriétaire au site.

L’importance de cette étape

La vérification de la propriété du site est cruciale. Sans cela, vous ne pourrez pas soumettre les URLs pour indexation. Cette étape assure que seuls les propriétaires légitimes du site peuvent demander l’indexation de nouvelles pages ou de mises à jour, protégeant ainsi l’intégrité des résultats de recherche sur Google.

En suivant ces instructions, vous serez prêt à utiliser le projet “Bulk Indexing API” pour améliorer la visibilité de votre site sur Google, en soumettant efficacement vos URLs pour une indexation rapide et en masse.

Fonctionnement du Script

Le script “Bulk Indexing API” que j’ai conçu est un outil puissant pour automatiser l’indexation de pages web sur Google. Voici comment il fonctionne, étape par étape :

Authentification JWT

Tout d’abord, le script utilise l’authentification JWT (JSON Web Tokens) pour sécuriser la communication avec l’Indexing API de Google. En utilisant les clés privées et publiques fournies par Google Cloud Platform (stockées dans le fichier service_account.json), le script génère un token d’authentification. Ce token est essentiel pour autoriser notre script à soumettre des demandes d’indexation en votre nom.

Création de lots d’URLs

Le script lit ensuite le fichier urls.txt, où chaque ligne contient une URL que vous souhaitez indexer. Ces URLs sont rassemblées en lots. Grâce à ce système, vous pouvez préparer jusqu’à 100 URLs par lot, respectant ainsi les limites fixées par l’API.

Soumission via l’API d’indexation

Une fois les lots préparés, le script fait appel à l’API d’indexation de Google, en soumettant chaque lot d’URLs. La demande est effectuée via une requête POST, comprenant le token JWT pour l’authentification. Le corps de la requête contient les URLs à indexer, signalant à Google que ces pages ont été mises à jour ou qu’elles sont nouvelles et doivent être indexées.

Limites d’Utilisation

Il est important de noter que l’API d’indexation de Google impose certaines limites :

  • Par lot : Jusqu’à 100 URLs peuvent être soumises en une seule demande.
  • Quotidienne : La limite quotidienne est fixée à 200 URLs.

Ces limites visent à assurer une utilisation équitable de l’API et à prévenir tout abus.

Conclusion

Le projet “Bulk Indexing API” représente une avancée significative pour les professionnels du SEO, en simplifiant et automatisant le processus d’indexation. Cet outil permet non seulement un gain de temps considérable mais assure également une meilleure visibilité sur Google. Grâce à une soumission en masse et automatisée, les pages de votre site sont rapidement indexées, améliorant ainsi votre présence en ligne.

En réponse à la demande croissante d’automatisation dans le domaine du SEO, j’ai également développé une extension WordPress. Cette extension envoie automatiquement une demande d’indexation à Google dès la publication d’un nouvel article ou d’une nouvelle page, intégrant ainsi de manière transparente l’indexation dans votre flux de travail de contenu. Cette initiative souligne mon engagement continu à fournir des solutions innovantes pour surmonter les défis SEO actuels, en rendant l’indexation plus accessible et plus efficace pour tous.