Discussion :

[spartiates59]

Bonjour,

J'ai mis en place un script qui récupère des valeurs dans un fichier de log puis les envoies dans un autre fichier nommé "valeurs.log "

Exemple de fichier valeurs.log :

10598
5
245
234
...

j'aimerai créer un script qui additionne toutes ces valeurs.

j'ai essayé cette commande :

cat valeurs.log | awk '{sum+=$1}'

mais aucun résultat.

Pouvez-vous m'aider ?

Par avance merci

[zipe31]

Salut,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{ sum+=$1 } END { print sum }' valeurs.log

[al1_24]

Pour avoir un résultat, il faut l'imprimer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat valeurs.log | awk 'BEGIN{sum=0}{sum+=$1}END{print sum}'

edit : GRILLED

[al1_24]

Pour le fun, on peut aussi le faire en shell pur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sum=0 ; while read i ; do (( sum+=i )) ; done < valeurs.log; echo $sum

[N_BaH]

Bonjour,

en BASH :

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
tableauDvaleurs=( $(<valeurs.log) )
( IFS="+"; echo $(( ${tableauDvaleurs[*]} )) )

[matafan]

Avec dc :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

dc -f valeurs.log -e "0 0[+z1<a]salaxp

[spartiates59]

Bonjour,

Merci beaucoup pour vos réponses !

J'ai désormais le choix ! Je vais immédiatement tester tout ça !

Encore merci et bonne soirée

[spartiates59]

Re,

Les commandes ci-dessus fonctionnent parfaitement ! Encore merci !

Désormais j'arrive à extraire de mon fichier de log la liste nom_machine -> valeur

exemple de fichier :

machine1 256
machine1 94597
machine3 41123
machine2 3
machine1 36
....

j'aimerai comme précédemment faire la sommes de toutes les valeurs mais par machine ! Pour avoir comme résultat

machine1 = ...
machine2 = ...
machine3 = ...

Est-ce possible avec les commandes précédentes ?

[matafan]

Dans ce cas c'est awk le plus adapté, puisqu'il dispose de tables de hachage :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{ total[$1] += $2 } END { for (i in total) { print i " = " total[i] } }'

[spartiates59]

Re,

Merci pour ta réponse matafan mais ta solution me donne ce résultat :

machine1 = ....
machine1 = ....
machine2 = ....
machine2 = ....
....

Moi j'aimerai avoir le même résultat que tout à l'heure, une somme des valeurs par machine.

exemple :

machine1 = valeur1 + valeur2 + ...
machine2 = .... + ....
....

Est-ce possible ?

[matafan]

C'est bien ce que ma ligne de commande est sensée faire, et chez moi c'est bien ce qu'elle fait. Tu es sûr que tu l'as bien copié, et que ton fichier d'entrée est bien formaté ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
nicolas@localhost ~/tmp $ cat valeurs.log 
machine1 256
machine1 94597
machine3 41123
machine2 3
machine1 36
nicolas@localhost ~/tmp $ awk '{ total[$1] += $2 } END { for (i in total) { print i " = " total[i] } }' valeurs.log 
machine1 = 94889
machine2 = 3
machine3 = 41123

[spartiates59]

Re,

effectivement ça fonctionne correctement ! une erreur de ma part

Encore merci pour votre aide.

Bonne soirée

[spartiates59]

Bonjour,

Grâce à vos différentes réponses, j'arrive désormais à avoir dans mon fichier la liste des machines et leurs valeurs.

J'aimerai dans un second temps insérer les résultats dans une base de données MySQL. Pouvez-vous me conseiller sur la méthode à utiliser ?

- Est-ce préférable d'utiliser un script php ?
- Est -ce possible de le faire avec un script shell ?


Par avance merci

Cordialement

[frp31]

php ? pour quoi faire ? pas besoin
bha oui tu fais en shell

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
mysql -u user -p base -h host "insert into table values(....................)
...
...
...
exit"

n'oublies pas de bien faire attention à la gestion des caractères ',", et des variables ; c'est tout ce à quoi il faut faire attention.

[spartiates59]

Merci pour ta réponse frp31 mais par rapport à ma demande ci-dessus comment puis-je faire pour insérer mes données dans une base de données MySQL.

Pour rappel j'obtiens un fichier comme ceci :

Machine1 = valeur
Machine2 = valeur
....

avec la commande suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat fichier.log | awk '{ total[$1] += $2 } END { for (i in total) { print i " = " total[i] } }' > monfichier

Machine1/2/... est le nom de la machine. Le nom peut être en MAJUSCULE, minuscule, avec un certains nombre de caractères.

J'ai une table avec deux champs (Nom, Valeur). Je dois donc insérer le contenu du fichier "monfichier" dans ma base de données. Comment dois-je faire ?

Est-ce possible comme cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

N=$(cat fichier.log | awk '{ total[$1] += $2 } END { for (i in total) { print i " = " total[i] } }' > monfichier)

puis

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mysql -u user -p base -h host "insert into table values ($N)

Par avance merci

[spartiates59]

Voila ce que je viens d'essayer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
J=$(cat monfichier | awk '{print $1}')
K=$(cat monfichier | awk '{print $3}')
 
mysql -u root -p mabase "insert into matable VALUES ('$J','$K')

mais j'obtiens le message d'erreur suivant :


line 62: unexpected EOF while looking for matching `"'
line 64: syntax error: unexpected end of file

[spartiates59]

J'ai trouvé mon erreur ! J'ai oublié un guillemet à la fin !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mysql -u root -p mabase "insert into matable VALUES ('$J','$K')"

Par contre ça ne fonctionne toujours pas à la place du message d'erreur j'ai :

mysql Ver 14.12 Distrib 5.0.77, for redhat-linux-gnu (x86_64) using readline 5.1
Copyright (C) 2000-2008 MySQL AB
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license
Usage: mysql [OPTIONS] [database]
-?, --help Display this help and exit.
-I, --help Synonym for -?
--auto-rehash Enable automatic rehashing. One doesn't need to use
'rehash' to get table and field completion, but startup
and reconnecting may take a longer time. Disable with
--disable-auto-rehash.
-A, --no-auto-rehash
No automatic rehashing. One has to use 'rehash' to get
table and field completion. This gives a quicker start of
mysql and disables rehashing on reconnect. WARNING:
options deprecated; use --disable-auto-rehash instead.
-B, --batch Don't use history file. Disable interactive behavior.
(Enables --silent)
--character-sets-dir=name
Directory where character sets are.
--default-character-set=name
Set the default character set.
-c, --comments Preserve comments. Send comments to the server. The
default is --skip-comments (discard comments), enable
with --comments
-C, --compress Use compression in server/client protocol.
-#, --debug[=#] This is a non-debug version. Catch this and exit
-D, --database=name Database to use.
--delimiter=name Delimiter to be used.
-e, --execute=name Execute command and quit. (Disables --force and history
file)
-E, --vertical Print the output of a query (rows) vertically.
-f, --force Continue even if we get an sql error.
-G, --named-commands
Enable named commands. Named commands mean this program's
internal commands; see mysql> help . When enabled, the
named commands can be used from any line of the query,
otherwise only from the first line, before an enter.
Disable with --disable-named-commands. This option is
disabled by default.
-g, --no-named-commands
Named commands are disabled. Use \* form only, or use
named commands only in the beginning of a line ending
with a semicolon ( Since version 10.9 the client now
starts with this option ENABLED by default! Disable with
'-G'. Long format commands still work from the first
line. WARNING: option deprecated; use
--disable-named-commands instead.
-i, --ignore-spaces Ignore space after function names.
--local-infile Enable/disable LOAD DATA LOCAL INFILE.
-b, --no-beep Turn off beep on error.
-h, --host=name Connect to host.
-H, --html Produce HTML output.
-X, --xml Produce XML output
--line-numbers Write line numbers for errors.
-L, --skip-line-numbers
Don't write line number for errors. WARNING: -L is
deprecated, use long version of this option instead.
-n, --unbuffered Flush buffer after each query.
--column-names Write column names in results.
-N, --skip-column-names
Don't write column names in results. WARNING: -N is
deprecated, use long version of this options instead.
-O, --set-variable=name
Change the value of a variable. Please note that this
option is deprecated; you can set variables directly with
--variable-name=value.
--sigint-ignore Ignore SIGINT (CTRL-C)
-o, --one-database Only update the default database. This is useful for
skipping updates to other database in the update log.
--pager[=name] Pager to use to display results. If you don't supply an
option the default pager is taken from your ENV variable
PAGER. Valid pagers are less, more, cat [> filename],
etc. See interactive help (\h) also. This option does not
work in batch mode. Disable with --disable-pager. This
option is disabled by default.
--no-pager Disable pager and print to stdout. See interactive help
(\h) also. WARNING: option deprecated; use
--disable-pager instead.
-p, --password[=name]
Password to use when connecting to server. If password is
not given it's asked from the tty.
-P, --port=# Port number to use for connection or 0 for default to, in
order of preference, my.cnf, $MYSQL_TCP_PORT,
/etc/services, built-in default (3306).
--prompt=name Set the mysql prompt to this value.
--protocol=name The protocol of connection (tcp,socket,pipe,memory).
-q, --quick Don't cache result, print it row by row. This may slow
down the server if the output is suspended. Doesn't use
history file.
-r, --raw Write fields without conversion. Used with --batch.
--reconnect Reconnect if the connection is lost. Disable with
--disable-reconnect. This option is enabled by default.
-s, --silent Be more silent. Print results with a tab as separator,
each row on new line.
-S, --socket=name Socket file to use for connection.
--ssl Enable SSL for connection (automatically enabled with
other flags). Disable with --skip-ssl.
--ssl-ca=name CA file in PEM format (check OpenSSL docs, implies
--ssl).
--ssl-capath=name CA directory (check OpenSSL docs, implies --ssl).
--ssl-cert=name X509 cert in PEM format (implies --ssl).
--ssl-cipher=name SSL cipher to use (implies --ssl).
--ssl-key=name X509 key in PEM format (implies --ssl).
--ssl-verify-server-cert
Verify server's "Common Name" in its cert against
hostname used when connecting. This option is disabled by
default.
-t, --table Output in table format.
-T, --debug-info Print some debug info at exit.
--tee=name Append everything into outfile. See interactive help (\h)
also. Does not work in batch mode. Disable with
--disable-tee. This option is disabled by default.
--no-tee Disable outfile. See interactive help (\h) also. WARNING:
option deprecated; use --disable-tee instead
-u, --user=name User for login if not current user.
-U, --safe-updates Only allow UPDATE and DELETE that uses keys.
-U, --i-am-a-dummy Synonym for option --safe-updates, -U.
-v, --verbose Write more. (-v -v -v gives the table output format).
-V, --version Output version information and exit.
-w, --wait Wait and retry if connection is down.
--connect_timeout=# Number of seconds before connection timeout.
--max_allowed_packet=#
Max packet length to send to, or receive from server
--net_buffer_length=#
Buffer for TCP/IP and socket communication
--select_limit=# Automatic limit for SELECT when using --safe-updates
--max_join_size=# Automatic limit for rows in a join when using
--safe-updates
--secure-auth Refuse client connecting to server if it uses old
(pre-4.1.1) protocol
--show-warnings Show warnings after every statement.

Default options are read from the following files in the given order:
/etc/my.cnf ~/.my.cnf
The following groups are read: mysql client
The following options may be given as the first argument:
--print-defaults Print the program argument list and exit
--no-defaults Don't read default options from any options file
--defaults-file=# Only read default options from the given file #
--defaults-extra-file=# Read this file after the global files are read

Variables (--variable-name=value)
and boolean options {FALSE|TRUE} Value (after reading options)
--------------------------------- -----------------------------
auto-rehash TRUE
character-sets-dir (No default value)
default-character-set latin1
comments FALSE
compress FALSE
database (No default value)
delimiter ;
vertical FALSE
force FALSE
named-commands FALSE
local-infile FALSE
no-beep FALSE
host (No default value)
html FALSE
xml FALSE
line-numbers TRUE
unbuffered FALSE
column-names TRUE
sigint-ignore FALSE
port 0
prompt mysql>
quick FALSE
raw FALSE
reconnect TRUE
socket (No default value)
ssl FALSE
ssl-ca (No default value)
ssl-capath (No default value)
ssl-cert (No default value)
ssl-cipher (No default value)
ssl-key (No default value)
ssl-verify-server-cert FALSE
table FALSE
debug-info FALSE
user root
safe-updates FALSE
i-am-a-dummy FALSE
connect_timeout 0
max_allowed_packet 16777216
net_buffer_length 16384
select_limit 1000
max_join_size 1000000
secure-auth FALSE
show-warnings FALSE

[spartiates59]

Je viens d'essayer la méthode ci-dessous :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
J=$(cat monfichier | awk '{print $1}')
K=$(cat monfichier | awk '{print $3}')
 
mysql -u root -p mabase <<EOF
insert into matable values ("$J","$K")
EOF

Je n'ai plus de message d'erreur mais lorsque je regarde dans ma BDD c'est du n'importe quoi ! J'ai seulement deux noms de machines d'insérés et quelques valeurs. De plus l'affichage est complètement décalé !

Avez-vous une idée ?

[matafan]

Peut-être parce qu'il te manques les simple quotes autour des valeurs ? Essaie avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

insert into matable values ('$J','$K')

[al1_24]

Avec ça, tu devrais pouvoir tout faire en une seule passe

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
awk '{ total[$1] += $2 }
    END { for (i in total) 
            { print "insert into matable values ('" i "', " total[i] ");"}
        } ' fichier.log | mysql -u root -p mabase