DNS Belgium fait de Mercator, le robot d’indexation qui vérifie les données des noms de domaine pour prévenir les abus, un outil open source. Cela signifie que tout le monde peut désormais utiliser le code et le robot d’indexation ou crawler à ses propres fins. Nous espérons que cela aidera le secteur des noms de domaine à continuer à progresser.
Le robot d’indexation développé par DNS Belgium examine les noms de domaine récemment enregistrés et collecte les informations accessibles au public pour chacun de ces noms de domaine. Il s'agit concrètement des informations suivantes :
- Dossiers DNS, les données utilisées pour traduire votre domaine en une adresse IP .
- Localisation : où la page web est-elle hébergée, où sont situés les serveurs de noms de domaine et les serveurs SMTP ?
- Contenu web tel que le code html, le numéro de TVA, une capture d'écran de la page d'accueil, les technologies web utilisées.
- Informations sur le serveur pour le courrier sortant.
- Configuration TLS pour une connexion sécurisée à Internet.
Les informations que nous recueillons ici sont déjà accessibles au public. Nous n'enfreignons donc en aucune façon la législation sur la protection de la vie privée.
DNS Belgium vérifie toutes ces données afin de garantir au maximum la sécurité de la zone .be. Cette surveillance nous permet de détecter rapidement l'utilisation abusive de noms de domaine à des fins malveillantes.
Ce robot d’indexation ou crawler a été conçu par les développeurs mêmes de DNS Belgium. ‘Nous avons commencé à travailler à ce projet il y a trois ans. Au départ, nous disposions de ressources limitées pour ce projet. Mais nous tenions tout de même à le faire, car nous pensions qu'il était important de collecter des données aussi rapidement que possible’, explique Quentin Loos, co-développeur du robot d'indexation. ‘Notre premier objectif était la détection de faux magasins en ligne. Pour cela, nous pouvions principalement nous baser sur le contenu du site web.’
Utilisez notre crawler gratuitement
Vous trouverez ici tous les fichiers et le code dont vous avez besoin pour commencer à utiliser notre crawler Mercator open source.
L’évolution du secteur
Le robot d’indexation développé par DNS Belgium est désormais un outil open source. Cela signifie que tout le monde peut accéder au code du robot et l'utiliser gratuitement. ‘Trois raisons expliquent ce choix’, poursuit Quentin. ‘Tout d'abord, nous voulons aider le secteur. Les petits registres ne disposent généralement pas des ressources nécessaires pour développer des robots d’indexation, même si de tels outils pourraient leur être utiles.’
‘En outre, notre mission est d'être un centre d'excellence et d'aider la société. Nous pouvons le faire en jouant un rôle exemplaire en matière d'innovation. D'autres registres ont également développé leur propre robot d'indexation. En rendant notre outil accessible à tous gratuitement, nous encourageons les registres à utiliser également un robot d’indexation. Cela nous aidera à développer ensemble de nouvelles fonctionnalités plus facilement, à détecter les erreurs...’
Enfin, en partageant nos connaissances et notre expérience avec d'autres robots d'indexation, nous pourrons peut-être normaliser la façon dont nous présentons et échangeons les données. Pour lutter contre la fraude, il est utile d'échanger des données entre les registres ou de partager des données avec les bureaux d'enregistrement de manière uniforme.
La mise à disposition du code de notre robot d'indexation est l'une des nombreuses mesures que nous prenons pour renforcer la sécurité d’Internet
Ce n'est pas la première fois que DNS Belgium met un code à la disposition du public. Nous le faisons souvent parce que nous nous efforçons de faire progresser notre secteur. Nous avons également contribué à d'autres projets open source dans la communauté CENTR et à des produits d'AWS ou de Spring.
‘Afin de diffuser notre crawler, nous nous attachons à le promouvoir de manière intensive au sein de la communauté CENTR. Par exemple, nous avons déjà organisé un atelier avec plusieurs registres où chaque participant a configuré le crawler dans un nouveau compte AWS’, explique Quentin.
La mise à disposition du code de notre robot d'indexation est l'une des nombreuses mesures que nous prenons pour renforcer la sécurité d’Internet. Ce faisant, nous réalisons notre mission et contribuons activement aux ODD qui nous tiennent à cœur.
Par cet article, nous soutenons les objectifs de développement durable des Nations Unies.