AnyCrawl FAQ

Qu'est-ce qu'AnyCrawl ?

AnyCrawl est un crawler basé sur Node.js/TypeScript conçu pour transformer les sites web en données propres et structurées, optimisées pour les modèles d'IA et les Large Language Models (LLM). Il offre des fonctionnalités telles que le crawl en temps réel, la prise en charge multi-moteurs et un traitement hautes performances pour extraire du contenu significatif de n'importe quel site web.

Le web crawling avec AnyCrawl est-il légal ?

La légalité du web crawling dépend des conditions d'utilisation du site web cible et des lois applicables. AnyCrawl fournit les outils, mais les utilisateurs sont responsables de s'assurer que leurs activités de crawling respectent les réglementations et les politiques du site web concernées.

Quels formats de données AnyCrawl prend-il en charge ?

AnyCrawl prend en charge plusieurs formats de données, notamment Markdown, JSON et HTML structuré. Il peut gérer les images, les vidéos et autres fichiers multimédias, fournissant une sortie propre et organisée, parfaite pour le traitement en aval et les applications d'IA.

Gère-t-il les sites web rendus en JavaScript ?

Oui. AnyCrawl peut gérer les sites web rendus en JavaScript à l'aide du moteur Playwright. Il prend en charge les Single Page Applications (SPA) et le chargement dynamique de contenu, garantissant une extraction de données complète des applications web modernes.

Comment fonctionne la tarification ?

AnyCrawl utilise un système de crédits où environ 1 crédit équivaut à 1 page/URL scrapée. Les forfaits tarifaires vont d'une offre gratuite avec 1 500 crédits mensuels à des forfaits entreprise avec jusqu'à 100 000 crédits et des solutions personnalisées pour des besoins spécifiques.

Qu'est-ce qui compte comme un crédit ?

Un crédit est généralement consommé lorsqu'AnyCrawl traite une URL ou une page web. L'utilisation exacte des crédits peut varier en fonction de la complexité de la page et des fonctionnalités spécifiques utilisées pendant le crawl.

Puis-je planifier des crawls récurrents ?

Les crawls planifiés seront bientôt disponibles comme fonctionnalité. Actuellement, les utilisateurs peuvent lancer manuellement des crawls via l'API ou le tableau de bord, avec des projets d'introduction d'une planification automatisée pour les tâches d'extraction de données récurrentes.

Proposez-vous une prise en charge des proxies ?

Oui. AnyCrawl inclut une prise en charge des proxies rotatives pour aider les utilisateurs à gérer les adresses IP et à éviter le limitation de débit lors du crawl de plusieurs pages ou sites web. Cette fonctionnalité est disponible sur tous les forfaits payants.

• Accédez au site web d'AnyCrawl à l'adresse https://anycrawl.dev/ pour explorer ses fonctionnalités et capacités.
• Inscrivez-vous pour obtenir un compte gratuit et recevoir 1 500 crédits afin de commencer à utiliser le service d'exploration Web.
• Utilisez l'API fournie pour intégrer AnyCrawl dans vos applications, permettant une extraction de données Web transparente.
• Saisissez les URL souhaitées pour l'exploration et sélectionnez le moteur approprié (par exemple, auto) pour des résultats optimaux.
• Examinez la sortie de données structurée, qui est formatée pour la consommation IA et LLM, garantissant des informations propres et organisées.