Changements Google, Adieu RoR, Bonjour .NETCore2.2

Il semblerait que les pages html générées par Google ont entièrement changées, ce qui a provoqué le dysfonctionnement de tous les outils Positeo.


J’en profite pour faire une refonte total des API car je n’ai plus envie de maintenir l’ancien système (j’y comprends plus rien en fait :D).

Adieu donc RubyOnRails qui était le moteur API de Positeo et bonjour AspNetCore2.2 ! Sans oublier l’update de wordpress tant qu’on y est avec le dernier PHP. Bref il y a du boulot :p


Cela va donc prendre quelques temps pour ne pas sortir un code boiteux mais c’est pour le mieux à mon humble avis. Actuellement j’ai pu faire fonctionner à nouveau l’outil duplicate au niveau du parsing des données, ce qui est un début prometteur.


Patience donc et désolé pour le désagrément. Je pense sincèrement que c’est le plus profitable sur le long terme.


Si quelqu’un a plus d’infos sur ces changements côté Google ? Peut-être une annonce officielle quelque-part ?


Merci de votre patience :p

Trop de requêtes …. 1000 caractères max !

Beaucoup d’entre vous avaient des messages du style « trop de requêtes » sur l’outil de test de duplication de contenu.

Ceci était du au fait que je n’avais pas mis de limite sur le champ texte, donc si vous bombardiez l’outil avec 10000 mots, l’outil allait faire 50 requêtes à Google, vous aviez donc directement le message dès votre premier test ayant échoué par la même occasion ;)

Je commence donc par mettre une soft limite à 500 1000 caractères, on va voir comment tout cela réagit !

Pour votre information, afin de détecter un plagiat, vous n’êtes pas obligé de regarder l’entièrement du texte en question. Vous piochez un paragraphe au hasard et vous verrez vite le résultat !

Certains l’ont bien compris puisqu’ils ne font qu’insérer de petites descriptions et n’ont aucun problème.

Bon check à tous !

Réparation de l’outil de duplication de contenu

L’outil ne fonctionnait plus du fait que Google vient de supprimer sa vieille API Google Web Search API me permettant la récupération du contenu Google en format JSON.

deprecated_google_api

Merci à Jérémi de m’avoir prévenu par téléphone, mon formulaire de contact étant HS, nous sommes donc maintenant passé sur la nouvelle API Custom-Search et avec un nouveau formulaire de contact :)

Certaines limitations peuvent avoir été modifiées, je ferai plus de tests prochainement pour vérifier que tout se passe bien.

Je compte sur vous pour provoquer l’erreur habituelle due à la limitation des requêtes par Google ;) La limite est à 100 requêtes par jour donc va falloir être patient pour le moment avant de trouver autre chose :)

 

Proxy Blacklisté ?!

Vous avez surement vu apparaître ce message « Proxy Blacklisté » sur notre outil de vérification de positions. J’ai reçu pas mal d’emails de gens inquiets qui le voyaient et ne comprenaient pas sa signification.

Il s’agit en fait des proxy (notre fournisseur nous loue des IP permettant de cacher l’identité de l’appelant) que nous utilisons pour rendre l’utilisation de l’outil un peu plus aléatoire et moins gênante pour Google. Ceux-ci sont donc temporairement bloqués par Google par le simple fait qu’ils ont trop souvent été utilisés.

En effet, suite à ses changement dans la façon de récupérer ses résultats, de nombreuses requêtes infructueuses ont été effectuées avec ces proxy avant que l’outil ne puisse être modifié et donc des alertes ont du être levées côté Google.

Depuis, l’outil a été adapté. Tout semble s’être stabilisé mais les proxy ont soufferts et sont presque inutilisables. Nous allons attendre le prochain renouvellement de ceux-ci pour voir si tout rentrera dans l’ordre.

Bonnes vérifs à tous ! Et n’ayez pas peurs ; )

Incidents février 2013 Merci Google !

Décidément, Google embête de plus en plus la seo-sphère avec ses différents filtres. Positeo n’en sera pas l’exception. En effet, vous avez surement du vous rendre compte de petits problèmes dans les résultats depuis début février,  on peut lui dire Merci tous en coeur : )

 

Et oui, Google a encore frappé et nous serre la vis de plus en plus. En effet il vient de rendre encore plus strict ses filtres anti-parsing et de plus, partage désormais les résultats spams entre les différents datacenters, ce qui n’était pas le cas avant.

 

Pour le moment j’ai donc limité temporairement les requêtes frénétiques de certains. Pour une même requête vous devrez attendre quelques minutes avant de pouvoir la refaire. J’en profiterai pour afficher le précédent résultat, je ne l’ai pas encore collecté mais ça viendra. J’ai ajouté quelques datacenters et supprimé tout ceux sur la même range d’IP pour n’en garder qu’une. Si vous en trouvez d’autres, n’hésitez pas à me les transmettre, ça ne pourra être que mieux dans l’absolu.

 

Une optimisation du spoofing d’URL et UA, bien que ça ne semble plus servir à grand chose. On dirait que Google regarde principalement le nombre de requêtes pour un même mot clé. Il ne bannit pas complètement une IP mais seulement temporairement sur un mot clé. Google semble avoir plusieurs niveaux de blocage plus ou moins long suivant la fréquence des requêtes. je le soupçonne même d’appliquer le blocage sur la plage d’ip de type X.Y.Z.0 /24 (soit le dernier chiffre de 0 à 255) ce qui n’est très clairement pas une bonne nouvelle.

 

On va donc réduire le nombre de requêtes possibles sur positeo, surtout pour un même mot clé, en utilisant du cache pour vos dernières requêtes. Je ne suis pas vraiment certain que ça améliore grandement les choses mais on a pas trop le choix. Si vous avez d’autres idées. N’hésitez pas ! En attendant, voyons comment cela évolue avec les modifications déjà apportées.

Choisir des proxy HTTP européens ou US ?

Bonjour, vous êtes surement nombreux à chercher un fournisseur fiable de proxy. Que ce soit pour un service comme Positeo, votre logiciel de référencement préféré ou bien tout simplement pour surfer de manière sécurisée et anonyme par proxy HTTP. Pour ma part j’en ai fait quelques uns et il me semble avoir trouvé l’élu. Je vais vous dire pourquoi et vous faire mon petit retour d’expérience. Ce n’est pas grand chose mais vous allez pas vous plaindre aussi hein : )

 

La géolocalisation

On commence fort, en effet la géolocalisation des proxies est quelque chose de très important. J’en ai pris conscience récemment quand j’ai changé les proxy américains sur l’outil check positionnement par des européens majoritairement français. Tout d’abord, à débit égal, la vitesse est en réalité différente suivant la distance entre le proxy, vous, et le serveur hébergeant le site. Plus cette distance est courte et plus les résultats sont donnés instantanément, c’est magique ! Je vous conseille donc de prendre des proxy européens, si possible français. Surtout si vos visiteurs sont majoritairement français et encore plus si les services utilisés sont eux aussi français. Si vous cherchez un proxy pour naviguer de façon anonyme, c’est un proxy français qu’il vous faut !

 

Evidemment si c’est pour utiliser les proxy en background, sur une tâche cron de serveur au fond d’une cave, on s’en tape un peu de la vitesse. Of course Captain’ obvious : P

 

Le prix

Bon alors là encore, j’ai vu pas mal de différences de prix. En tant qu’européens en zone euro, nous avons l’avantage d’avoir déjà des proxy moins chers en les achetant sur un site américain. Mais même entre sites américains il peut y avoir de grosses différences. J’éviterai de citer les noms de ceux à blacklister d’urgence, ça n’en vaut même pas la peine. Certains font payer 100$ les 100 proxy US de merde. Oui on peut le dire de merde, ils sont partagés entre plusieurs utilisateurs et on paie quasiment le prix de proxy dédiés et sont fortement sujets à blacklist par Google car tout le monde les utilise pour cela quasiment.

D’autres fournisseurs font une offre un peu moins cher mais coûteuse néanmoins avec un quota en GB à ne pas dépasser. Ensuite 1$ = 1GB . Mais oui, tout ça pour du proxy partagé évidemment ! A côté de ça les proxy dédiés (privés, exclusifs, c’est la même chose) sont à 10$ unité avec un quota. Bref … On irait pas loin sur Positeo avec 10 proxy !

 

Plus-value de mon fournisseur ?

Alors c’est simple, ce fournisseur bat tous les autres. Niveau prix, niveau qualité de service, niveau même outils utiles supplémentaires que les autres n’ont pas.

 

les avantages communs:

  • Pas de quota
  • Changement de proxies chaque mois
  • Identification par IP ou login&password pour l’utilisation des proxy
  • Support par ticket
  • Moyens de paiement courants
  • Et les services encore plus communs…

 

Les avantages hors du commun :

  • Ils évitent le blabla commercial qui sert à rien et vont à l’essentiel (très rare !) On peut voir sur leur site « Pas de mots bons marchés, juste des proxy bons marchés »
  • Possibilité d’être remboursé pendant les 3 premiers jours après la commande
  • Outils permettant de formater la liste des proxy en 1 clic (Perso avant je me tapais une expression régulière sous notepad++)
  • Prix les plus bas du marcher pour * wait for it * des proxy dédiés et européens !
  • Possibilité du choix dans la géolocalisation dès l’achat et réajustement possible en les contactant juste après
  • Ils vous demandent à quoi serviront principalement les proxies afin de les certifier Twitter, Scrapebox, Xrumer, ticketmaster, SenukeX, etc. De quoi être sure de ne pas se retrouver avec des proxies déjà blacklistés par Google alors qu’ils sont neufs.
  • Support 7j/7. Ils n’ont pas de vie, ils le disent eux même, ce sont des Geeks : D
  • Pleins de petits outils que j’ai pas encore testé, mais qui sait un jour …

 

Bon voila, je pense qu’il n’y a plus rien à dire, vous pouvez encore comparer les prix si ça vous amuse mais vous perdrez votre temps à mon humble avis. En tout cas pour positeo, nous sommes passés au pack 100 privates proxies sur BuyProxy

 

Bon Web Scraping à tous mais n’abusez pas et n’utilisez pas ces proxies pour faire de vilaines choses, bandes de petits voyous :mrgreen: !

Ajout de 200 datacenters valides

Il n’est rien arrivé de mal je vous l’assure, je n’écris pas pour cela : P . Juste un petit message pour vous dire qu’hier je suis allé à la pêche aux datacenters et ça a pas mal mordu à l’hameçon ! On passe de 59 datacenters encore valides à 257 ! J’ai refait un check tout frais de la liste de datacenters hier donc ces données devraient être correctes aujourd’hui.

Continue reading

Erreurs 0 ou 302 : Pack de proxy vérolé changé

Bonjour à tous, décidément je vous écris seulement quand il y a eu un pépin : P

Vous avez surement vu ces belles erreurs « 0 : Impossible de contacter le datacenter » ou encore « 302 : Impossible de contacter le datacenter« . Et bien figurez-vous que cela m’apprendra à tenter d’améliorer votre expérience utilisateur car oui, je me suis fait avoir !

Continue reading

Incident du 20 & 21 mai résolu

Bonsoir!

Ceux sur facebook et twitter seront surement déjà au courrant, mais pour les autres, je fais juste un petit billet pour signaler que l’outil a été réparé suite à une petite erreur humaine ce weekend. Il s’agissait simplement du renouvellement du pack de proxy qui a été annulé. Celui-ci étant remis d’applomb, ça remarche comme par magie ! Continue reading