IA mon amour

[jlsviro]

Bonjour,

Ceux qui suivent l'actualité de Geneamania ont pu voir que j'ai mis en oeuvre des mesures anti robots dans la nouvelle version. Ce n'est pas spécifique à Geneamania. Next vient de faire un article sur ce genre de problème qui se généralise et met en danger des infra-structures : Articles sur Next.

Concrètement, Geneamania, ce sont des centaines de milliers (millions ?) de pages possibles. Si le robot veut tout scanner, cela peut consommer énormément de ressources. En février, le serveur a été saturé et j'ai dû prendre des mesures en urgence (certaines évolutions de la nouvelle version sont d'ailleurs déjà présentes sur les sites hébergés). Pour le moment, ça "tient" ; mais jusqu'à quand ? D'autant que les robots ne sont pas forcément respectueux des consignes des sites.

Quand vous utilisez l'IA, n'oubliez pas que tout cela a un coût qui devient exorbitant ! A quand un peu de régulation, sinon, il va y avoir des dégâts ?

Bonne journée dans ce monde calme et serein...
Jean-Luc

[GUERINSERGE28]

Bonjour,
C'est effectivement très inquiétant.
Espérons que comme dans le film "l'homme  au complet blanc" une limite se découvrira pour arrêter les méfaits du progrès !
Bon courage et bonne journée.
Serge

[jlsviro]

Bonjour,

Je continue à surveiller et ai dû mettre en place des aménagements pour limiter les effets de cas balayages massifs.
Certains robots sont moins honnêtes que d'autres et ne se signalent pas comme des robots, ce qui peut prendre en défaut mes mesures.
Pour ceux que cela intéresse, j'identifie les robots par la signature du "navigateur" (HTTP_USER_AGENT) et par aussi par certaines adresses (REMOTE_ADDR) que j'identifie au fur et à mesure (je maintiens une table que j'appelle $robots_sournois :-)). Ceci me permet d'avoir un indicateur robot oui / non qui me sert à désactiver certaines choses.
Dès que je détecte une nouvelle adresse agressive, je mets à jour les sites hébergés.

Bonne fin de semaine et bonnes fêtes.
jean-Luc

[jlsviro]

Bonjour,
Il y a eu de possibles perturbation sur la plate-forme de 8h15 à 9h47 ce matin. La faute à 1 ou des robots agressifs 
Difficile de les bloquer car ils opèrent depuis de multiples adresses, donc la détection par IP est inopérante. Par ailleurs, ils ne donnent pas forcement leur identité. Donc, j'éponge et je fais quelques rustines, mais je ne vois pas bien comment je vais pouvoir être tranquille dans cette nouvelle jungle 
jean-Luc

[jlsviro]

Bonsoir,
La situation ne s'est pas améliorée depuis le 24 malgré quelques essais. Les robots laissent tranquilles Geneamania en journée mais se réveillent en soirée et la nuit. Les stratégies de détection sont inopérantes et saturent l'espace du site avec les fichiers de session.
J'ai dû me résoudre à verrouiller quelques pages des sites les plus volumineux, mais il va falloir que je trouve une solution radicale car je ne peux pas faire du ménage plusieurs fois par jour :-(
Geneamania, ce sont potentiellement des millions de pages différentes et si un robot décide de tout aspirer, cela peut prendre un certain temps. Pas de user agent spécifique, des ip très variable, d'où une détection très faible.
jean-Luc