Discussion sur le scraping - vos expériences et opinions

[Micadri007]

Je suis actuellement en train d'explorer le monde du scraping et je suis curieux de savoir si certains d'entre vous ont déjà utilisé cette technique pour extraire des données à grande échelle à partir de sites web.

Je pense que le scraping peut également avoir des avantages considérables dans certaines situations, comme la recherche de marché, la surveillance de la concurrence et l'automatisation de certaines tâches.

J'ai entendu parler de nombreuses utilisations possibles du scraping, comme la création de sites d'affiliation Amazon, la construction de boutiques de dropshipping, la génération de prospects pour les agences de marketing et bien plus encore.

Je suis donc intéressé par vos expériences avec le scraping - avez-vous déjà utilisé cette technique dans vos propres projets ? Si oui, quels outils ou techniques avez-vous trouvés les plus utiles ? Quels ont été les avantages et les inconvénients de votre expérience de scraping ?

J'attends avec impatience vos réponses et vos réflexions sur ce sujet fascinant.

 

[angelsong]

Perso, je code en dur. Ya plein d'outil qui existe mais c'est payant et souvent tu va te retrouver à etre limiter dans les choix technique.
Pour les contrainte, ben tu en à plein. Ya plein de protection contre le scraping, donc ça dépend de ce que tu veux récupérer, sur quel site et à quel point tu va faire ce travail pour chaque site que tu srcap.
Ben oui, comme chaque site à ça façon d'afficher la donnée, forcement ton code de scrap va etre différent. Faut que en vaille le coup.
Ok imaginon que tu as le site et la façon pour scaper, ben il reste aussi la fiabilité de la data et sont format.
C'est monnaie courant que la data n'est pas fiable sur la totalité d'un site, donc faudra faire des choix.
Pour le format, ben je parle par exemple de la langue. Ca peux vite etre chiant si tu scrap différente langue et qu'il faut trier. C'est juste un exemple parmi beaucoup d'autre.
Après faut formater ta donnée pour que tu puisse l'utiliser (Json,base de donnée).
Ya aussi la question du stockage, meme si c'est juste du texte, ça monte vite et je parle meme pas des images.
Et là je ne parle que de la partie (donnée), j'imagine que tu va vouloir faire un site et c'est aussi du taf.
Pour ma part, la partie la plus chiante c'est la fiabilité des données. Pour avoir récuperer des données de chez google, je peux te dire que c'est pas forcement propre et pertinent, meme chez eux.
Je suis pas un expert en scrap, je suis curieux de voir l'avis des autres.