Un algorithme est un ensemble de règles dont l’objectif, dans le cadre d’un moteur de recherche, est de hiérarchiser les résultats de recherche selon leur qualité de réponse à ses critères. Dans le cas de Google, ses robots.txt viennent sonder les sites afin de mesurer leur capacité de réponse à ses différents algorithmes.

Source : HubSpot.