PluXml.org

Blog ou CMS à l'Xml

Vous n'êtes pas identifié(e).

#1 07/02/2015 22:27:38

Gari
Membre
Inscription : 01/05/2014
Messages : 214

[plugin] plnStatistiques - les statistiques de visites de votre site

Bonjour à tous,

Suite à la discussion qui a débuté , voici mon plugin de statistiques :
plnStatistiques v0.5 béta

Ses grandes fonctionnalités :
- 100% esprit "pluXml", c'est à dire léger et pas de bases de données.
- 100% "interne", c'est à dire sans appel externe (à la différence de google analytics par exemple)
- Suivi des visites (côté "site"), du nombre de visiteurs uniques (1 visiteur unique = 1 ip), du nombre de pages demandées
- Affichage des statistiques côté administration (avec des jolis graphiques basés sur Chart.js, que j'ai choisi du fait de sa licence MIT)
- Possibilité de choisir le nombre de jours conservés dans l'écran de configuration du plugin (après 2 jours de stockage, le plugin offre même des informations de suivi du poids du fichier de stockage dans cet écran)
- Aucun affichage côté site

Interface Admin

Le plugin est encore en version Béta, même s'il est pleinement fonctionnel en l'état. Je n'ai aucune idée de son comportement à long terme (aucun test de charge effectué).

Ma grande problématique à ce stade du développement est de réussir à séparer les robots des visiteurs humains. J'ai installé le plugin sur un de mes sites et les visites que j'ai sont, à mon avis, à 90% des robots. Cela casse complètement l'intérêt du suivi des statistiques... Si vous avez des idées, je suis preneur smile

Si vous souhaitez utiliser le plugin, je serais ravi d'avoir des retours sur son fonctionnement (notamment taille de plxStatistiques_before.xml, nombre de visiteurs unique à la journée, et vos impressions sur le nombre de robots/visiteurs sur le total). Tout autre remarque sera la bienvenue, que ce soit par exemple sur l'affichage, sur les indicateurs enregistrés ou sur d'autres fonctionnalités que vous aimeriez bien voir apparaître.

Dernière modification par Gari (19/02/2015 00:55:07)

Hors ligne

#2 08/02/2015 00:53:53

Francis
Membre
Inscription : 19/11/2011
Messages : 445
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Super intéressant, ce plugin !

Une alternative simple et ergonomique, pour connaître seulement le nombre de visites, en restant dans l'interface de PluXml  smile

Je n'ai pas encore testé, mais je l'ai téléchargé.
Merci Gari !  smile

Hors ligne

#3 08/02/2015 13:02:45

Vectorus
Membre
Lieu : France
Inscription : 27/01/2015
Messages : 11

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Génial, très bonne idée, j'ai pas la possibilité de le tester aujourd'hui mais ça m'a l'air prometteur  smile

Hors ligne

#4 08/02/2015 16:28:51

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

La version 0.3 est sortie : plxStatistiques v0.3
Quelques petites modifications, exclusivement tournées vers la distinction "humain" vs "robot".
J'ai rajouté la possibilité de modifier un regex de sélection de robot dans la partie config. Cela permet, en testant HTTP_USER_AGENT, de déterminer si le visiteur est humain ou non. Bien entendu, ce n'est pas fiable à 100%, mais ça donne déjà une bonne idée. Je vous laisse tester wink
=> Les statistiques de la journée sont à présent découpées en "robots" et "humains". Les statistiques passées affichent toujours tout, mais je compte ne leur faire afficher que les statistiques des humains : après tout, c'est ce qui nous intéresse au premier chef.
Je rappelle que c'est toujours une version béta.

Hors ligne

#5 08/02/2015 16:36:22

CKDevelop
Membre
Lieu : Dun
Inscription : 28/01/2011
Messages : 89
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

ça me plait beaucoup, simple et efficace, merci

++

Dernière modification par CKDevelop (08/02/2015 16:36:30)

Hors ligne

#6 08/02/2015 21:20:45

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Détection d'une visite : facile, dès lors que mon plugin est appelé, c'est qu'il y a une visite. Je ne suis pas certain de comprendre ce que tu entends par "code du wiki".
Quand aux stats par article, je vais y réfléchir. Le principal problème est le poids du fichier de stockage des données, à mon avis.

Hors ligne

#7 09/02/2015 11:34:28

cfdev
Membre
Lieu : Provence
Inscription : 22/07/2011
Messages : 273
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Cool en test chez moi, je te ferai quelques retours des que possible (demain wink)

-> Ce serait bien de pouvoir gérer les droits en fonction des types de comptes (administrateur, Gestionnaire...) histoire qu'un éditeur ou autres puissent accéder aux stats

Dernière modification par cfdev (09/02/2015 11:37:50)


Vous voulez créer votre plugin pour pluXml? -> spxdatas est fait pour vous !
mcercle - Logiciel de gestion devis/factures/stock !

Hors ligne

#8 09/02/2015 13:53:16

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

@cfdev : bonne idée.

@Jormun : Nous sommes sur la même longueur d'onde. En l'occurrence, lors d'une visite le plugin ne fait déjà que de l'écriture, aucun travail de statistiques. J'ai un fichier "quotidien" dont le contenu, une fois par jour jour, se déverse dans un fichier "passé", ainsi le fichier de travail quotidien n'est jamais gros : quelle que soit la taille des archives des statistiques, le temps de traitement d'une visite est le même.

J'ai pensé à faire de l'agrégation, pour l'instant je repousse cette tâche, je la mettrai en place lorsque j'aurai un peu plus de visibilité sur la façon dont tout ça se comporte et sur ce que je veux garder comme info exactement. On peut même imaginer des options d'agrégation plus ou moins poussées à choisir dans l'interface de configuration...

De la même manière, j'envisage de stocker carrément les pages html de résultat des statistiques pour les rappeler sans avoir besoin de faire le moindre nouveau calcul (après tout, les statistiques de novembre 2014 ne vont pas évoluer...). A moduler avec la regex de sélection robot/humain...

Je préfère éviter le cron, même si ça me démange, tout simplement parce que les gens n'y ont pas forcément accès. Bon ça ne m'empêche pas de le faire, quitte à ce que ce ne soit pas utilisé... A voir, ce n'est pas dans ma liste prioritaire disons.

Hors ligne

#9 10/02/2015 18:53:35

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Que de bonnes remarques... Je suis en cours de refonte du plugin, histoire d'utiliser la méthode proposée par Jormun.

Petite question en passant : pensez-vous que la notion de "visteur", c'est à dire "tranches de 15 minutes d'un visiteur unique", soit utile et/ou pertinente ? De mon côté, je ne regarde que le nombre de visiteurs uniques et le nombre de pages vues. Savoir qu'un visiteur particulier est resté 5 minutes ou 2h m'importe assez peu en fait... Et vous ?

Pour répondre aux quelques remarques de Jormun rapidement :
- sur le cron et le script php, c'est effectivement ce que je comptais faire. Je n'avais cependant pas pensé à proposer un bouton de lancement côté admin.
- je ne connais pas le json. Après recherche sur Internet, je comprends que c'est une méthode de stockage de donnée "proche" de javascript. Pour l'instant, je n'ai pas l'intention d'utiliser ça, sauf si quelqu'un me convainc que c'est la bonne méthode wink
- merci pour la regex augmentée wink

Dernière modification par Gari (10/02/2015 18:53:58)

Hors ligne

#10 10/02/2015 23:55:40

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Ok je pige mieux. Je connais très mal javascript, j'imagine que ça s'est vu smile

Pour le visiteur à 15 minutes, cela vient de plxStats de Stéphane, où l'objectif est d'afficher les statistiques côté site. On pouvait ainsi dire "il y a X utilisateurs actuellement connectés", en considérant qu'un visiteur connecté était une IP vue dans les 15 dernières minutes. Idem pour le XML déjà à moitié calculé : comme l'affichage se fait côté site, il faut faire les calculs à chaque nouvelle visite...

Les besoins ne sont pas du tout les mêmes, ce qui explique qu'il faille tout revoir. Ce que je fais wink

Dernière modification par Gari (10/02/2015 23:57:30)

Hors ligne

#11 13/02/2015 18:06:02

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Nouvelle version. Refonte complète de la structure du fichier de sauvegarde et de la façon de l'appeler. On peut dire que le fonctionnement du plugin a complètement changé. Il me sera beaucoup plus facile d'ajouter des indicateurs, des types de fichiers, un système de cache avec cette nouvelle mouture.
Le fichier utilisé est un csv de "log" pur et dur. Très gourmand en mémoire, il a cependant beaucoup d'infos.
L'idée est, pour les versions suivantes, de construire au moins un autre type de fichier d'agrégat pour alléger le poids et améliorer les performances.
plxStatistisques v0.4 béta
Je rappelle une fois encore qu'il s'agit une version béta.

Si vous faites une migration, je vous invite à désactiver l'ancien plugin, à installer le nouveau et à le réactiver (plusieurs actions importantes se passent à la réactivation).

Vous pourrez également supprimer les à présent obsolètes fichiers plxStatistiques_today.xml et plxStatistiques_before.xml se trouvant dans data/configuration/plugins. Ils contiennent l'ensemble des statistiques déjà enregistrées, mais je n'ai pas prévu de migration vers le nouveau format (hé, c'est juste une béta version pour l'instant tongue).

Le changelog :
v0.4
--------------------------------
- refonte complète du système de sauvegarde (csv au lieu de xml)
- retrait du concept de "visiteur" lié à un temps de connexion
- Très forte modularité du code, qui permet aisément d'ajouter des indicateurs et des types de fichiers.
- Ajout du trafic horaire
- Ajout de la possibilité de gérer le niveau de profil pouvant accéder aux statistiques

Dernière modification par Gari (13/02/2015 18:06:33)

Hors ligne

#12 14/02/2015 11:28:31

cfdev
Membre
Lieu : Provence
Inscription : 22/07/2011
Messages : 273
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Avec cette nouvelle gestion des stats, est-il possible d'avoir:
- Les mots clé provenant des robots?
- Le titre des pages vues ?

merci wink


Vous voulez créer votre plugin pour pluXml? -> spxdatas est fait pour vous !
mcercle - Logiciel de gestion devis/factures/stock !

Hors ligne

#13 14/02/2015 13:38:42

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Les pages vues : les pages vues (query_string) sont actuellement enregistrés mais cette version du plugin ne permet pas de les traiter. Ca viendra dans une prochaine version. Mon vrai problème est de savoir comment fournir l'information : lorsqu'il y a beaucoup d'article, ça devient difficile de tout gérer en affichage. Ou alors j'affiche les 10 pages les plus vues ?

Les mots clés provenant des robots : je ne vois pas du tout à quoi ça fait référence.

Hors ligne

#14 14/02/2015 15:20:21

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Ahh les mots clés pour déterminer si on est face à un robot ou un humain ?
Oui c'est géré, et il y a même la possibilité de rajouter ses propres mots clés.

Hors ligne

#15 14/02/2015 20:42:34

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

en parlant de robot, sur mon site je me suis pris environ 1100 pages vues en l'espace de quelques minutes par une même IP qui a utilisé de nombreux USER_AGENT différents.
En voici un petit extrait :
2015-02-14;11:48:52;82.80.249.167;plxCalendrier-1891-07;"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:26.0) Gecko/20100101 Firefox/26.0";
2015-02-14;11:48:52;82.80.249.167;plxCalendrier-2145-07;"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:26.0) Gecko/20100101 Firefox/26.0";
2015-02-14;11:48:57;82.80.249.167;plxCalendrier-1891-01;"Mozilla/5.0 (Windows NT 6.0; rv:26.0) Gecko/20100101 Firefox/26.0";
2015-02-14;11:48:57;82.80.249.167;plxCalendrier-2146-01;"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36";
2015-02-14;11:49:02;82.80.249.167;plxCalendrier-1890-07;"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36";
2015-02-14;11:49:02;82.80.249.167;plxCalendrier-2146-07;"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/31.0.1650.63 Chrome/31.0.1650.63 Safari/537.36";
2015-02-14;11:49:06;82.80.249.167;plxCalendrier-1890-01;"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_5) AppleWebKit/537.71 (KHTML, like Gecko) Version/6.1 Safari/537.71";

Date et heure, on voit qu'ils viennent en même temps. Le query_string est hallucinant : c'est un accès à mon calendrier, mais en demandant des dates débiles comme juillet 2146 ou juillet 1890... Les USER_AGENT semblent être ceux d'un navigateur normal.

Vous avez des propositions pour que je puisse virer ces visites des statistiques ?

Hors ligne

#16 15/02/2015 15:48:40

Jerry Wham
Membre
Inscription : 13/07/2011
Messages : 2 554
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Utilise honeypot pour voir...


Mangez un castor, vous sauverez un arbre !

J'ai la tête dans le  ...code

Hors ligne

#17 18/02/2015 12:36:47

appollo20
Membre
Inscription : 21/03/2014
Messages : 9
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Chapeau au codeur de se plugin, et bonne continuation pour les mises à jour futures...  smile

Hors ligne

#18 18/02/2015 20:07:39

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Merci smile
En l'occurrence, une version 0.5 beta devrait arriver rapidement, qui permet de choisir si on veut afficher les robots dans les statistiques (je me suis rendu compte que pour mes sites, ça me tue complètement la visibilité sur les visiteurs humains, étant donné que ceux-ci ne sont pas très nombreux) et qui permet également de corriger une sorte de bug qui voyait "disparaitre" des statistiques une date pour laquelle rien ne s'était passé (autrement dit, si un fichier journalier n'est pas créé pour une journée en particulier, ce qui peut arriver si y'a vraiment personne qui vient ou en cas d'indisponibilité du site, cette date n'est pas du tout prise en compte dans les statistiques).

Hors ligne

#19 19/02/2015 00:54:20

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Hé ben elle est arrivée : plnStatistiques v0.5 béta
Elle corrige le bug d'affichage dont je parlais dans mon post précédent et permet de retirer les robots de l'affichage des graphiques. Elle offre également une meilleure souplesse d'affichage des graphiques, en permettant à l'utilisateur de choisir quel graphique il veut voir. En l'occurrence, 4 "places" sont offertes, il suffit de choisir.
Chaque choix d'affichage est enregistré, permettant de le retrouver au coup suivant.
A noter que ce choix d'affichage est "unique", c'est à dire que si plusieurs administrateurs interviennent en même temps et qu'ils ne veulent pas voir les mêmes graphiques, ca risque d'être le bordel...

Ah oui, suite à une remarque de Jerry, le plugin s'appelle à présent plnStatistiques wink

Hors ligne

#20 19/02/2015 01:55:08

Jerry Wham
Membre
Inscription : 13/07/2011
Messages : 2 554
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Hé ben, je viens de la télécharger  big_smile

Ce qui serait bien, c'est que la regex pour les robots soit préremplie dans le panneau de configuration et que l'on ait la possibilité d'enregistrer des adresses IP que l'on ne souhaite pas prendre en compte, afin que la visite de l'administrateur et des autres membres éventuels ne soit pas comptabilisée dans les stats.


Mangez un castor, vous sauverez un arbre !

J'ai la tête dans le  ...code

Hors ligne

#21 19/02/2015 02:02:03

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

La regex pour les robots est pré-remplie, normalement. J'ai fait un test d'installation sur une pre-prod, tout a bien marché de ce côté là. Je vois pas bien le problème...
Pour les adresses IP, c'est jouable, je vais voir comment faire.

Hors ligne

#22 19/02/2015 07:10:57

Jerry Wham
Membre
Inscription : 13/07/2011
Messages : 2 554
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Mea culpa : pour la regex, en effet, ça fonctionne. C'est juste que j'ai configuré le plugin avant de l'activer.
Si on le configure après l'activation, la regex est bien pré-remplie.


Mangez un castor, vous sauverez un arbre !

J'ai la tête dans le  ...code

Hors ligne

#23 19/02/2015 08:31:13

Gari
Membre
Inscription : 01/05/2014
Messages : 214

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Ah tiens j'avais jamais fait gaffe qu'on pouvait configurer un plugin avant activation.
En fait, à l'activation il construit la configuration "de base" (si elle n'existe pas). Donc effectivement il faut bien activer avant de configurer.

Hors ligne

#24 19/02/2015 15:24:27

Jerry Wham
Membre
Inscription : 13/07/2011
Messages : 2 554
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

C'est ce que j'ai vu en mettant le nez dans le code.


Mangez un castor, vous sauverez un arbre !

J'ai la tête dans le  ...code

Hors ligne

#25 25/02/2015 09:43:08

appollo20
Membre
Inscription : 21/03/2014
Messages : 9
Site Web

Re : [plugin] plnStatistiques - les statistiques de visites de votre site

Salut Gari à tu des infos sur les futurs Mises à jour... Je les attente avec impatience a++++  big_smile

Dernière modification par appollo20 (25/02/2015 09:44:23)

Hors ligne

Pied de page des forums

A propos Nous soutenir Contact Twitter Google+
Copyright © 2006-2018 PluXml.org, tous droits réservés