À partir de ce fil https://mastodon.gougere.fr/@bortzmeyer/114286359233096914

• une liste de User agent https://imirhil.fr/robots.txt
• Article et commentaires https://next.ink/178942/les-crawlers-des-ia-deviennent-un-serieux-probleme-pour-le-web-meme-pour-wikimedia/
• ... une autre liste de User agent https://darkvisitors.com/agents
• ce fil https://mamot.fr/@n1k0/114245054107810118
• ... encore une liste de User agent (avec robot.txt, htaccess, nginx-block-ai-bots.conf ) https://github.com/ai-robots-txt/ai.robots.txt
• ... idem https://images.gregr.fr/robots.txt (voir aussi fil https://mamot.fr/@gregr/114247185559159659)