Annonce

**fred** · 17 janvier 2012, 15h52

Salut Comax,

J'ai pas bien capté quel est le but de ton code.

Tu recherches tous les fichiers *.log dans ton disque et recherche les occurences d'un mot dans chaque fichier?

**comaX** · 17 janvier 2012, 16h04

Grosso merdo, voui !

C'est assez vulgaire, je te l'accorde, mais ça marche assez vite pour moi

Exemple en image :
recherche.PNG

Dans cet exemple, je sais qu'il y a eu 168 accès aux différents fichiers flv de mon serveur. Je pourrais bien sur être plus précis en mettant le nom d'une seule vidéo.

[HS]j'ai appris pour l'équipe, trop de taff ?

[/HS]

**fred** · 17 janvier 2012, 16h18

python c'est plus rapide que PHP, non?

Code:

for root, dirs, files in os.walk("/"):
    for file in files:
        path = os.path.join(root, file)
            if file.endswith('.log'):
                liste.append(file)
print liste # liste de tout les fichiers log

Execute ce code en admin, pour avoir tous les fichiers log, pour la suite, ça ne devrait pas te poser de soucis je pense, sinon dis le

sudo fichier.py

[HS]Oui beaucoup de taff en effet, demain commence une sacré course, qui ne va s'arrêter que samedi, oufff...[/HS]

**comaX** · 17 janvier 2012, 16h48

PHP n'exécute que dalle quasiment, et le but est d'afficher ça dans une page web. Comme ça quand je distribue des trucs sur internet, je peux savoir directement avec une simple recherche sur mon site si ca marche ou non, et ajuster en fonction... Je tiens à préciser que je ne "distribue" rien de bizarre, quelques vidéos de culs de façon à "payer" des camarades qui m'aident dans certaines recherches

Sinon, c'est bash qui s'occupe de bidouiller les fichiers sur le serveur, et je n'ai pas la moindre idée de ce qui est plus rapide ou non entre bash et python pour ce genre de taches...

Quoi qu'il en soit, merci pour ce bout de code, ça peut toujours être utile !

**fred** · 17 janvier 2012, 17h18

Quoi qu'il en soit, je t'apporte une petite contribution, non web (mais c'est possible) car la flemme de me mettre dans un framework, te permettant d'avoir le résultat du nombre d'occurence, sans changer quoique se soit dans ton fichier de base (confortable non?).

il est pas optimisé, si j'ai le temps je l'améliorerais, mais il est déjà bien rapide sans artifices, voilà le partage

Code:

#!/usr/bin/env python2.7
# -*- coding:utf8 -*-

import os, fnmatch, sys
from collections import defaultdict

class Searching(object):
    def __init__(self):
        self.dico = defaultdict(int)
        self.lines, self.files = [], []
        self.liste_mot = raw_input('Entrer vos mots a rechercher : ').split()
        self.liste = self.gen()
        self.search()

    def gen(self):
        """Génère la liste des fichiers du type log dans une liste"""
        liste_files = []
        for root, dirs, files in os.walk("/"):
            for file in fnmatch.filter(files, '*.log'):
                try:
                    liste_files.append(os.path.join(root, file))
                except: pass
        return liste_files

    def affiche_stat(self):
        """Affiche la statistique des mots trouvés"""
        for k, v in self.dico.items():
            print "le mot {0} est trouvé {1} fois".format(k, v)

    def affiche_lines(self):
        """Affiche les lignes où se trouvent les mots recherchés"""
        for num, ligne in enumerate(self.lines):
            print "ligne {0} --> {1}".format(num+1, ' '.join(ligne))

    def affiche_files(self):
        """Affiche les fichiers où les mots ont été trouvés"""
        print "les fichiers concernés sont :"
        print "---------------------------
        for file in self.files:
            print file

    def search(self):
        """Retourne le dictionnaire incluant les mots et les stats"""
        for files in self.liste:
            with open(files, 'r') as f:
                lines = [line.strip() for line in f.readlines(1024)]
                if lines:
                    for line in lines:
                        line = line.split()
                        for word in self.liste_mot:
                            self.dico[word] += line.count(word)
                            if word in line:
                                self.files.append(files)
                                self.lines.append(line)
        return self.dico

    def __str__(self):
        return repr(self.dico)

def menu():
    print """(A)fficher les statistiques
a(F)ficher les lignes concernées
aff(I)cher les fichiers concernés
(Q)uitter"""
    choix = raw_input("Entrer votre choix : ").lower()
    if choix not in "afiq":
        raise ValueError("Choix incorrect")
    return choix.lower()

def main():
    while True:
        choix = menu()
        if choix == "a":
            s.affiche_stat()
        elif choix == "f":
            s.affiche_lines()
        elif choix == "i":
            s.affiche_files()
        else:
            sys.exit("Program quit")

s = Searching()
main()

Exemple d'exécution

[email protected]:~/Bureau$ sudo python test.py
Entrer vos mots a rechercher : key fred1599 coucou bonjour hello
{'bonjour': 0, 'fred1599': 36, 'coucou': 0, 'hello': 0, 'key': 46}

Voilà bon amusement

Annonce

Script de recherche dans les logs serveur

Script de recherche dans les logs serveur

Commentaire

Commentaire

Commentaire

Commentaire

Commentaire