Lycos.fr : Benjamin Romei dévoile les coulisses de son moteur maison à 2,4 millions de sites

Pas vraiment de surprise. On n’est pas très nombreux sur le marché français à faire ce genre d’achat pour en faire un vrai projet. On avait prévu 50 000 € pour celui-ci, et on est restés bien en dessous.

On a gagné l’enchère à 15 h et j’ai démarré dans la foulée. Le temps que le domaine arrive et pointe chez nous, à 16 h 10, on avait une V0.1 en ligne avec le formulaire de réservation. En quelques minutes, on avait déjà des centaines d’inscrits.

Le soir, on a mis en ligne la recherche et le portail d’actu, et on dépassait déjà les milliers d’inscriptions. On a aussi rebranché une bonne centaine d’anciens sous-domaines, pour que les vieux liens mènent encore quelque part.

Astro, hébergé sur Cloudflare Workers. Pas de serveur à gérer, et ça monte en charge tout seul, ce qui tombait bien vu le démarrage. Tout le reste est chez Cloudflare aussi : bases, cache, photos, envoi des e-mails.

Je ne suis pas payé par Cloudflare (j’aimerais bien), mais je suis un de leurs premiers utilisateurs, et voir l’évolution de cette boîte, c’est impressionnant. L’infra et l’écosystème sont vraiment dingues. Une entreprise souvent sous-estimée à mon avis, surtout en France.

Pour le code, on tourne avec des licences Claude Code Max et Codex, et on développe sur Windows et Mac.

Ça fait longtemps que je n’utilise plus GA4 sur mes projets, depuis le RGPD je pense. Il existe aujourd’hui pas mal de solutions solides, accessibles et sans cookie. On utilise Plausible sur tous nos sites. C’est payant, mais c’est léger, simple, conforme RGPD, et ça donne les données dont un éditeur a besoin, sans superflu.

Alors oui, la facture monte vite, mais il existe une version open source qu’on peut héberger soi-même. C’est quelque chose que j’aimerais faire à terme, je n’ai pas encore eu le temps de m’y pencher sérieusement. Le seul petit bémol : la version auto-hébergée a environ un an de retard sur la version cloud.

Le balisage est présent sur toutes les pages, avec les liens vers les réseaux. On a fait le choix d’indexer uniquement les pages Entreprise. Les autres sont en noindex, accessibles par leur URL. Se positionner sur son nom et envoyer des signaux à Google sur son identité, c’est donc le rôle de l’offre payante.

On tient quand même à garder l’esprit Linktree ou about.me : une petite page qu’on partage rapidement sur ses réseaux sociaux. L’offre gratuite est parfaite pour ça.

Le domaine a une vraie autorité, donc l’indexation est rapide. Certaines pages sont indexées en quelques minutes, d’autres en quelques heures, mais dans l’ensemble ça va vite. Dès qu’une page est remplie, configurée et publiée, elle part en indexation.

Oui, uniquement sur les pages Entreprise, les pages payantes.

On a la chance d’avoir des SEO expérimentés dans l’équipe. On connaît bien le sujet, donc on laisse passer ce qui est propre et on écarte ce qui ne l’est pas.

Côté modération, j’ai mis en place un système avec Jev, de TypeSafe AI, que je recommande d’ailleurs. Il fait un premier tri, et on fait la validation finale quand il a un doute. Depuis le début, on a bloqué environ 300 noms, ce qui reste plutôt raisonnable vu le volume.

On essaie de filtrer en amont, là aussi avec Jev. On a ajouté un bouton de signalement, et si une page problématique passe entre les mailles, on la retire rapidement.

Pour l’instant, on est sur une première version : une page annuaire, liée depuis chaque page ID et depuis l’accueil. On travaille sur une V2, peut-être plus éditoriale, avec des rubriques et de la géolocalisation. L’idée, c’est d’être utiles à nos utilisateurs, donc on avance en fonction de leurs retours.

C’est notre propre index, stocké chez nous. Pas d’appel à une API tierce, à part pour quelques encarts comme la météo. Il est encore assez compact, mais on pense qu’il représente bien le web français : environ 2,4 millions de sites aujourd’hui. On en dira plus bientôt.

On a démarré avec un prototype à 10 000 sites, puis on a élargi petit à petit, en vérifiant à chaque étape que les résultats s’amélioraient. On a ajouté de la donnée ouverte comme Wikipédia, et ce que les sites nous autorisent à crawler, pour ranker des pages et plus seulement des sites.

Pour le classement, on combine liens, trafic et pertinence par rapport à la requête. On a aussi testé un peu la recherche vectorielle : elle fait remonter de très bons résultats qu’on n’aurait pas trouvés autrement, mais aussi pas mal de bruit.

Chaque étape, ranker des sites, puis des pages, puis comprendre ce que la personne cherche vraiment, est beaucoup plus complexe que la précédente. Plus l’index grandit, plus il faut gérer le spam.

Le plus difficile, c’est de savoir ce qui mérite d’entrer dans l’index. C’est passionnant, ça donne une idée concrète de la façon dont les équipes de Google doivent réfléchir.

Pour aller plus loin, on travaille avec Cloudflare pour faire reconnaître notre crawler comme robot vérifié. C’est ce qui nous permettra d’ouvrir vraiment le crawl et de le faire accepter plus largement par les sites.

On ne cherche pas à être Google, ce n’est pas un objectif réaliste pour une entreprise française ou européenne. En revanche, on est plutôt fiers du résultat au regard du temps passé, quand on voit que certains moteurs européens lèvent des dizaines de millions sans avoir encore leur propre index.

Vaste question ! Pour l’instant, on reste sur une liste de liens, et on ne prévoit pas de brancher de LLM à court terme. Il faut garder en tête qu’un moteur de recherche est structurellement déficitaire, sauf à atteindre une taille suffisante pour la publicité ou à trouver le bon modèle économique. Quand on regarde les comptes des petits moteurs qui ont leur propre index, la rentabilité, quand elle existe, se joue à peu de chose.

La facturation. Sur le papier, un abonnement paraît simple. En pratique, il faut prévoir tous les scénarios : plusieurs pages sur un même abonnement, un changement d’offre en cours de mois, le prorata, les remboursements, les paiements qui échouent… Chaque cas particulier en fait apparaître un autre. Il reste sûrement quelques petites choses à ajuster, qu’on corrigera au fil de l’eau.