𝐁𝐞𝐚𝐮𝐭𝐢𝐟𝐮𝐥𝐒𝐨𝐮𝐩 𝐯𝐬 𝐒𝐞𝐥𝐞𝐧𝐢𝐮𝐦

     

    Vous avez peut-être déjà entendu dire que vous ne pouvez pas utiliser BeautifulSoup avec des sites Web rendus en JavaScript, car vous obtiendrez une réponse presque vide. Et c'est là qu'intervient le rôle de Selenium.

Mais ce n'est pas tout à fait vrai.

    Les données pour le rendu javascript viennent de quelque part et très probablement sous la forme de html ou de json. Si vous pouvez trouver l'api sous-jacente et que vous pouvez copier ses en-têtes et faire l'appel à l'api vous-même en utilisant des requêtes, vous pouvez alors analyser le html en utilisant une belle soupe.

    Parfois, cela ne suffit pas à obtenir ce dont vous avez besoin, mais si vous regardez de plus près, l'information dont vous avez besoin est souvent simplement commentée, puis JavaScript est utilisé pour charger le commentaire en html réel. En important Comment de bs4, vous pouvez cibler les commentaires et les analyser comme vous le feriez, ou dans mon cas, j'utilise habituellement pandas pour lire le commentaire directement dans un tableau, car je travaille principalement avec des tableaux, et cela fonctionne parfaitement.

    Il est recommandé de rester loin de selenium autant que possible parce qu'il est lent et utilise beaucoup de ressources...un cas d'utilisation est cependant si vous avez besoin de vous connecter et d'obtenir un cookie pour faire votre appel API, vous utiliserez selenium pour vous connecter à votre compte et ensuite récupérer le cookie pour les requêtes suivantes que vous ferez...mais en dehors de cela comme 90% du temps vous pouvez et devriez éviter selenium parce que lorsque vous avez besoin de faire du scraping sérieux ce ne sera pas l'outil le plus pratique à utiliser.

---

Mes liens: https://lnk.bio/katskystudio

Sur ma chaine youtube, je vais publier des vidéos de la programmation python de A-Z et aussi pour la language de programmation Mojo, Merci de nous suivre et de nous supporter😄💖

=> https://www.youtube.com/@katskystudio