Gérer une base de données avec un script shell!

Salut à tous!

J'ai un projet pour lequel je coince un peu, et j'ai besoin de votre aide.
En fait je dois ecrire un script shell sh qui émule les fonctionnalites basiques d'une base de données, qui sera contenue dans un fichier nomé sh.db par exemple. Le script doit être écrit en sh et s'exécuter sous UNIX. Vu le délai très court pour rendre mon projet(ce weekend) et que je ne suis pas très callé en programmation shell, je viens vers vous.

Voici les fonctionnalités demandées: Pouvoir insérer une clé dans le fichier via la commande(put) ./script.sh put <key> <valeur> (si la clé existe déjà la valeur est écrasée); supprimer une entrée de la base : ./script.sh del <key> <valeur>; afficher les valeurs qui matchent avec une expression(comme avec un grep): ./script.sh select <expr>; vider la base de donnees sans supprimer le fichier: ./script.sh flush; passer le fichier en parametre avec l'option -f; creer le fichier s'il est passe en parametre et n'existe pas. Donc le script prendra des options et des parametres; et les entrees sont juste Clé=Valeur.
Pour l'insertion et la suppresion, rien ne dois être affiché à l'écran.

J'ai donc defini mon format de base de donnees sous la forme : Clé | Valeur; une entrée par ligne du fichier.
J'ai ensuite écrit mon parser d'option et les fonctions à appeler en fonction des options si la syntaxe est bonne.
Là je bloque sur la fin de mon script.
En fait pour ce script je ne dois utiliser que du sh et pas d'exécutable.
Alors voici mon problème:

Je ne peux pas ajouter les entrées en fin de fichier en faisant par exemple un echo "$key | $value" >> fichier.db, car cela ne vérifie pas l'existance de l'entrée et il y a des doublons dans les entrées de la bd; j'aimerais savoir par quelle commande interne au shell(builtin) je peux faire des check sur les lignes du fichier comme dans un tableau avant l'insertion, ceci me permettrait donc de bien gérer la commande "put" de mon sgdb(mon script).
Pour la commande "del", il faut supprimer l'entrée sans produire aucun affichage, et si le nom de la clé est juste passé en argument sans sa valeur, la clé doit restée présente mais sans contenu. J'aimerais aussi dans la mesure du possible que vous m'aidiez à ce niveau.
Pour le select il s'agit de recupérer l'expression passer en paramètres et lister toutes les valeurs de clés comportant des caractère de l'expression; de la même manière qu'un grep; seulement je n'ai pas droit au grep. Je ne sais pas si un "sed" ferais l'affaire....

J'aimerai aussi savoir quelle builtin appeler pour la création du fichier le cas échéant, et comment supprimer tout le contenu du fichier sans le supprimer lui même.

Enfin si vous avez pu répondre à mes préoccupation et que vous disposer encore d'un peu de temps, j'aimerais savoir procéder pour stocker la base de données dans le programme lui même et non plus dans un fichier externe; de quelle manière puis-je stocker les entrées et les manipuler dans ce cas? c'est une option que je devrais pouvoir gérer, mais la priorité est aux premières questions.

Merci infiniment pour votre aide précieuse.

Citation:

---

En fait pour ce script je ne dois utiliser que du sh et pas d'exécutable.

---

Echo, sed, grep, sont déjà des exécutables...

Citation:

---

Je ne peux pas ajouter les entrées en fin de fichier en faisant par exemple un echo "$key | $value" >> fichier.db, car cela ne vérifie pas l'existance de l'entrée et il y a des doublons dans les entrées de la bd; j'aimerais savoir par quelle commande interne au shell(builtin) je peux faire des check sur les lignes du fichier comme dans un tableau avant l'insertion, ceci me permettrait donc de bien gérer la commande "put" de mon sgdb(mon script).

---

Pour savoir s'il y a des doublons, tu peux faire un

Code:

---

grep "clef" | wc -l

---

Ensuite pour écraser une valeur, un coup de sed :

Code:

---

sed -i "s#\(clef_de_recherche|\).*#\1$NEW_VAL#" tonfichierbdd.txt

---

Citation:

---

Pour la commande "del", il faut supprimer l'entrée sans produire aucun affichage, et si le nom de la clé est juste passé en argument sans sa valeur, la clé doit restée présente mais sans contenu. J'aimerais aussi dans la mesure du possible que vous m'aidiez à ce niveau.

---

Pour supprimer une ligne, encore un coup de

Code:

---

sed -i "/clef/d"

---

Pour supprimer juste la valeur, tu reprend la commande sed de remplacement, mais tu remplace la valeur par rien du tout pour l'effacer.

Citation:

---

Pour le select il s'agit de recupérer l'expression passer en paramètres et lister toutes les valeurs de clés comportant des caractère de l'expression; de la même manière qu'un grep; seulement je n'ai pas droit au grep. Je ne sais pas si un "sed" ferais l'affaire....

---

Oui, avec

Code:

---

sed -n '/expression/p' tonfichierbdd.txt

---

Par contre ça affiche la ligne complete, alors il te faut un

Code:

---

| awk -F "|" '{print $2}'

---

Pour créer un fichier :

Code:

---

1 2	touch tonfichier ou echo "" > tonfichier

---

pour l'écraser sans le supprimer:

Code:

---

echo "" > tonfichier

---

Bonne chance

Bonjour,

si tu ne l'as pas encore lu, regarde Comment lire/parcourir un fichier

ajoute des test, ou [ ] (c'est pareil)
redirige tout vers un fichier temporaire, puis écrase l'original (après l'avoir sauvegardé)
...
?

edit: ah, tu ne peux pas utiliser cp, et mv :(
mais tu peux stocker le contenu du fichier avec les modifications dans une variable, et,
quand toutes les lignes (mais on peut s'arrêter avant) ont été lues, écrire cette variable dans le fichier tout en l'écrasant (c'est peut-être plus facile ainsi)

Merci infiniment pour vos reponses!

Et justement il est possible d'utiliser des commandes certaines commandes externes, donc merci pour vos reponses.

Par contre j'ai utilise getopts pour gerer mes options, ce qui est proscrit pour le projet. Auriez vous une alternative a me proposer pour gerer mes options courtes et longues (--)?

Et aussi pour awk, ca fait partie des outils a ne pas utiliser.

Merci encore pour collaboration

Citation:

---

j'ai utilise getopts pour gerer mes options, ce qui est proscrit pour le projet. Auriez vous une alternative a me proposer pour gerer mes options courtes et longues (--)?

---

à coup de :

Code:

---

1 2 3 4 5 6 7

while [ -n "$1" ] do case $1 in -o|--option) [ "${2::1}" != - ] && { shift; option="$1"; shift; } ;; ... esac done

---

tu vois l'idée ?

Ouais je vois!

J'ai recuperer toute la ligne dans un tableau avant le parsing d'ailleur , du coup je fais tout a la main.

merci; je reviens si j'ai un souci.


Merci encore.

Citation:

---

Envoyé par sympaval

Et aussi pour awk, ca fait partie des outils a ne pas utiliser.
n

---

Pour remplacer le grep, tu as la commande sed au dessus qui te donne les ligne matchant ton expression.
Si tu n'a pas droit à awk pour récupérer la partie à droite du caractère "|", tu peux utiliser

Code:

---

cut -d"|" -f 2

---

Salut les gars;

Merci vraiment pour votre aide. Je suis pas très loin d'avoir complètement terminé mon projet.
Mais j'ai quelques petits souci surement de syntaxe, puisque le script est teste sur sh(mais en fait c'est interprété en bash derrière).

En fait la substitution ne marche pas bien avec l'utilisation du sed comme indique par apesle. C'est a dire, quand je fais un sed -i "s#\($KEY|\).*#\1$VALUE#" $db_file (ou db_file est la variable contenant mon nom de fichier; VALUE est la variable contenant la valeur qui doit remplacer la valeur de la clé) alors, l'entrée est bien écrasée mais elle garde sa valeur, c'est dire la ligne du fichier ne change pas. Du coup cela a un impact sur la suppression quand j'essaye de supprimer juste la valeur sans supprimer la clé. Donc quand je fais un sed -i "s#\($KEY|\).*#\1#" $db_file, ca ne marche pas, car la clé reste avec sa valeur.

Aussi j'ai un petit souci pour gérer les argument passe sous forme de variable(avec un "$" devant). Ceci indique que si on a '$ke1' en argument, la valeur de l'argument sera égale au contenu de la clé.

Par exemple dans si dans mon fichier sh.db j'ai au moment de l'exécution de la commande (avec "=" comme séparateur dans ce cas):

Code:

---

1 2	clef1=valeur1 clef2 = valeur2

---

si on fait un ./bdsh.sh put '$clef1' '$clef2'

On doit avoir dans le fichier aura dans ton sh.db

Code:

---

1 2 3 4

clef1=valeur1 clef2 = valeur2 valeur1=valeur2

---

Voila un peu le blocus pour le moment; surtout au niveau de l'écrasement de la valeur qui ne marche pas trop avec le sed pour le moment. J'arrive pas a faire marcher avec toutes les syntaxes que j'ai utilisées, la valeur n'est jamais remplacée par la nouvelle valeur


Merci infiniment pour votre aide!

Bonsoir,

Excuse moi, mais ton message n'est pas très clair. J'ai compris que tu n'arrive pas à changer la valeur d'une clef avec le sed. Pourtant la commande sed marche chez moi :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ cat bdd.txt tagada|tsoin piupiu|miaou pif|pafpoum   $ NEW_VAL=wouff $ CLEF=piupiu   $ sed -i "s#\($CLEF|\).*#\1$NEW_VAL#" bdd.txt   $ cat bdd.txt tagada|tsoin piupiu|wouff pif|pafpoum

---

Pour supprimer la valeur :

Code:

---

1 2 3 4 5 6 7

$ sed -i "s#\($CLEF|\).*#\1#" bdd.txt   $ cat bdd.txt tagada|tsoin piupiu| pif|pafpoum

---

La commande sed te retourne un erreur ?

Citation:

---

Envoyé par sympaval

si on fait un ./bdsh.sh put '$clef1' '$clef2'

On doit avroir dans le fichier aura dans ton sh.db

clef1=valeur1
clef2 = valeur2
valeur1=valeur2

---

Il faut que tu regarde si tes arguments commencent avec un dollar. Si c'est le cas, tu l’enlève de la chaîne et tu remplace tes arguments par leur clef respective !

Oui Je m'excuse le pb se trouvait au niveau du formatage de ma bd.

En fait moi je mettais un espace entre la clef, le | et la valeur c a d : $KEY | $VALUE;

Du coup rien ne se passe et rien n'est afficher comme erreur.
j'ai modifie le format en enlevant les espace et ca passe sans pb maintenant.

Alors tu aurais une facon pratique a me proposer pour gerer le cas ou l'argument de la clef vaut le nom d'une clef (avec un "$" devant comme j'ai explique dans l'exemple de mon poste precedent?

Merci encore.

Citation:

---

Envoyé par sympaval

On doit avroir dans le fichier aura dans ton sh.db

---

:koi:

Citation:

---

Envoyé par sympaval

Oui Je m'excuse le pb se trouvait au niveau du formatage de ma bd.

En fait moi je mettais un espace entre la clef, le | et la valeur c a d : $KEY | $VALUE;

Du coup rien ne se passe et rien n'est afficher comme erreur.
j'ai modifie le format en enlevant les espace et ca passe sans pb maintenant.

Alors tu aurais une facon pratique a me proposer pour gerer le cas ou l'argument de la clef vaut le nom d'une clef (avec un "$" devant comme j'ai explique dans l'exemple de mon poste precedent?

Merci encore.

---

Voici comment modifier ton paramètre reçu si son premier caractère est un dollar.
Apres, il ne te reste plus qu'a appeler ta fonction qui permet de récupérer la valeur de la clef !

Code:

---

1 2 3 4 5 6 7

PARAM='$clef' $ echo $PARAM $clef $ if [ "${PARAM:0:1}" == "$" ] ; then PARAM="${PARAM#$}"; fi $ echo $PARAM clef

---

Merci!

j'ai rencontre un autre souci avec le sed dans la subtutition avec le caractere "\"

Voici ce que je tente de faire:

Code:

---

(ngonta_e@pc-NETWORKING=yes 1313)./test.sh put val5 'lol\9'

---

En effet ceci est sense remplacer la valeur de la cle val5 par "lol\9" si la cle existe , si non entrer la nouvelle cle a la fin du fichier.

mais voici l'erreur renvoyer:

Code:

---

sed: -e expression #1, char 22: invalid reference \9 on `s' command's RHS

---

Quand je met 'lol/9' a la place ou quand l'entree n'existe pas, tout se passe bien.

As-tu une idee de comment gerer ce cas specifique?

Merci une fois de plus.

Excuez moi vraiment mais je reviens encore.

En fait un autre souci.
En fait pour le select, je ne dois pas afficher tous les champs valeur des ligne matchant mon expression, mais juste les valeure des cles dont les noms matchent mon expression.
c a d, si j'ai dans mon fichier:

Code:

---

1 2 3

key2|val1 key1|val1 val1|tata

---

et que je fait un slect "val", ca doit m'afficher juste :

Code:

---

1 2 3 4

tata, et non val1 val1 tata

---

comme c'est le cas avec ces deux techniques que j'ai utilisees:

Code:

---

sed -n "/$EXPR/p" $db_file | cut -d "|" -f 2

---

et

Code:

---

grep "$EXPR" $db_file | cut -d "|" -f 2

---

Coment matcher juste le nom de la cle et ensuite afficher la valeur?

Merci.

bonjour,

Code:

---

1 2 3

expr=val sed -n '/^'"$expr"'/s/.*|\(.*\)/\1/p' fichier.db tata

---

sed retient ce qui est entre \( \), et l'affiche dans \1.

c'est pour ça que tu obtiens l'erreur

Citation:

---

sed: -e expression #1, char 22: invalid reference \9 on `s' command's RHS

---

dans ton message précédent : sed croit qu'il doit afficher ce qui est entre les neuvièmes \( \), mais il n'y en a pas.

Il faut vérifier que tes expressions ne contiennent pas des caractères spéciaux pour sed, et les protéger avec un \ supplémentaire.

J'en vois trois : le délimiteur choisi, \, &...

Code:

---

echo "$var" | sed 's/[\&\/]/\\&/g'

---

Merci pour ta reponse!

Du coup j'ai egalement trouve le moyen de faire les bon match sur les nom de cle avant pour substutition; j'avoue que j'ai realise a partir de vos indication, un tres gros boulot.

mais a propos de la protection du sed contre les caracteres speciaux, je n'ai pas bien compris tes recoomandations. Peux-tu etre un peu plus explicite a partir de cet example de mon script?
sed -i "s#\($KEY|\).*#\1$VALUE#" $db_file; Comment proteger les caracteres speciaux dans ce cas? (Il faut remplacer ce qui est a droite du "|" apres $KEY par $VALUE, sans rien afficher bien sur!)

Merci infiniment une fois de plus, le projet comporte tellement de contrainte, mais en meme je les ai presque toutes couvertes deja, et ce grace a vous en plus de certains secrets du script shel qui se sont reveles a moi.

Merci.

utilise une autre variable, tout simplement :

Code:

---

1 2 3 4 5 6 7

Key='val5' Value='lol\9' sedValue=$(echo "$Value" | sed 's/[\&\/]/\\&/g') # en bash, on ferait # sedValue="${Value//\\/\\\\}" # sedValue="${sedValue//\&/\\&}" sed -i "s#\($Key|\).*#\1$sedValue#" $db_file

---

c'est plus clair ?

et, ne mets pas le nom des variables tout en majuscules; ça évitera des conflits avec des variables d'environnements, qui porteraient le même nom, et qui elles sont toujours en majuscules.

Ok!
Bien note.

Et ceci protege carement tous les caracteres speciaux contenus dans la chaine, sans affecter la chaine si elle n'en contient pas? Car c'est un programme qui effectura ensuite des unitaires avec plusieurs combinaisons de commandes et d'argument possible.

Merci encore!

Ca ne marche toujours pas; toujours la meme erreur pour la meme commande.

J'ai esayer les deux syntaxe pour sedValue que tu m'as donnees!

Merci

Re-Salut!

En fait j'ai passe mon script a la moulinette de test, il passe presque tous les test sauf dans certains cas:

-Je récupère mes argument dans tableau que je parcours pour le parsing et pour ce faire j'exécute ceci TAB_ARGS=( $(echo $*) ); mes arguments sont bien récupérés et tout marche bien auf quand on me passe un argument contenant un ou plusieurs espace. Dans ce cas le tableau prend chaque partie de l'argument séparée par des espaces, comme un une chaine a part, et ce parce que echo lui passe la liste des éléments tous séparés par des espaces et sans mette les "" autour des argument contenant les espaces.
Donc par exemple un ./bdsh.sh put key1 "je fais un put", va ranger dans le tableau des arguments :

Code:

---

1 2 3 4 5 6

put key1 je fais un put

---

au lieu de :

Code:

---

1 2 3

put key1 je fais un put

---

Pour contourner cela, puisque je tiens a conserver mon tableau qui me facilite les manipulations, je fais ceci:
TAB_ARGS[$#]=UFOS (pour déclarer mon tableau), pui

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

echo -n "" > my.back while [ -n "$1" ] ; do echo "$1" >> my.back shift done   i=0 while read line do { echo -n ${ligne} > my_store read chaine < my_store TAB_ARGS=([$i]=$chaine) i=$((i+1)) } done < my.back

---

pour le remplir. Alors tout se passe bien
Tout se passe bien dans les boucles, mes fichiers de stockage sont remplis et avec les ligne correspondants aux arguments, mais une fois sorti de la boucle ou je rempli mon tableau, celui est vide; car en fait il ne fait plus qu'une taille de 1 et contient juste la chaine vide "", et ce quelque soit le nombre d'arguments. Les test sur chaque itération montre bien que l'offset du tableau est bien set a chaque passage, et le fichier my.back contient exactement le nombre d'argument passer, sans segmenter les arguments contenant des espaces.
Alors sortie de la boucle toutes ms variables ont leur valeur, sauf le tableau qui est vide. Et quel que soit la méthode employée, lorsque le tableau est remplie dans une boucle, son contenu n'est valable que dans cette boucle. Alors je pense quelque chose doit certainement m'échapper. J'aimerais utiliser mon tableau comme une variable globale a l'instar de toutes les autres variables

- L'autre souci se situe au niveau de mon fameux select, j'utilise des fois un grep pour matcher des expression, mais quand l'expression en elle même est une option de la commande grep, ca foire non pas a cause de mon programme mais l'erreur est renvoyée par la commande grep elle même. Voici un exemple:

Code:

---

value=`grep "$EXPR" store.txt | cut -d "|" -f 1`

---

Si l'expression vaut "-e", ou "-v" ou toute autre chose je reçoit une erreur de grep. Je n'ai pas encore pu trouver la syntaxe qui ferais que grep voye l'expression comme un pattern et non comme une option.
J'ai essaye comme ceci:

Code:

---

value=`grep -- "$EXPR" store.txt | cut -d "|" -f 1`

---

Pour inhiber les options du grep lui même, mais je reçoit toujours l'erreur.

-Le dernier point est bien celui de la protection du sed contre les caractères spéciaux auquel on a essaye de trouver une solution dans le précédent post. La syntaxe ne passe toujours pas.
sedValue=$(echo "$Value" | sed 's/[\&\/]/\\&/g')
ou

Code:

---

1 2 3

sedValue="${Value//\\/\\\\}" sedValue="${sedValue//\&/\\&}" sed -i "s#\($Key|\).*#\1$sedValue#" $db_file

---

Ça ne passe pas dans tous les cas.

Je vous prie bien vouloir une fois de plus user de votre mobilité et votre générosité pour m'aider a peaufiner mon projet.

Merci a tous.

voici trois exemples :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

$ maFunc() { arr=( $* ); printf '%s\n' "${arr[@]}"; } # ce serait pareil avec $@ $ maFunc foo 'bar baz' baz\ bar foo bar baz baz bar # autant d'arguments qu'il y a d'espaces $ maFunc() { arr=( "$*" ); printf '%s\n' "${arr[@]}"; } $ maFunc foo 'bar baz' baz\ bar foo bar baz baz bar # un seul argument $ maFunc() { arr=( "$@" ); printf '%s\n' "${arr[@]}"; } $ maFunc foo 'bar baz' baz\ bar foo bar baz baz bar # trois arguments

---

cf. man bash /Paramètres spéciaux
ça devrait résoudre le point 1 et 2, car plus de recours à /tmp/store.txt

quant au point 3, :koi:, pour moi ça fonctionne.

Bonsoir,

Pour ton 3iem point, ceci marche chez moi pour protéger la valeur :

Code:

---

1 2 3

$ echo "valeur_|_avec_&_caracteres_\_#_speciaux..." | sed 's#[\#\&|]#\\&#g' valeur_\|_avec_\&_caracteres_\\_\#_speciaux...

---

Code:

---

[#\&|]

---

indique de rechercher
- # le caractère dieze car c'est le delimiteur du sed,
- \ l'antislash, qui nest pas spécial dans une liste
- le &, qui nest pas spécial dans cette partie du sed,
- le caractere |, ton délimiteur

Code:

---

\\&

---

Indique de remplacer par un anti-slash, suivi de l'expression matchant le pattern.


Si tu veux protéger ta clef de recherche, c'est plus dur. Comme tu utilise sed pour remplacer le grep, je vois d'autre caractères spéciaux : ^, $ , [, -, ], *, ., \
Cette commande marche, mais elle a quelques subtilités...

Code:

---

1 2	$ echo "clef_|_avec_&_^_$_*_._[a-z]_caracteres_\_#_speciaux..." | sed 's#[]^\#$\.*&|[-]#\\&#g' clef_\|_avec_\&_\^_\*_\._\[a\-z\]_caracteres_\\_\#_speciaux\.\.\.

---

La position de certains caractères dans le pattern de recherche est importante !
Pour plus d'info,

Code:

---

info sed

---

;)

Salut a tous!

Merci pour vos reponses, mais on a oublie le "grep", ou je bloque encore. Pour le sed, je comprends qu'il faut chercher et ajuster a chaque utilisation.

Mais la pour le grep, j'aimerais juste que lorsqu'il rencontre une expression semblable a une de ses options possibles(-v, -n, -e.....), qu'il ne renvoie pas d'erreur comme c'est le cas pour le moment, mais qu'il considere bien l'expression comme un patern de recherche.

Si vous pouvez m'aider pour ce dernier cas du sujet, merci vraiment, je suis proche de l'heure de endu du projet.

J'ai essayer `grep -- "$expression"` qui marche bien directement dans la console quelque soit l'expression passeer, mais des que je mets dans lefichier script ca ne marche pas.

Merci .

Bonsoir,

Si ça marche en console, il n'y a pas de raison que ca ne marche pas en script ! Tu dois avoir une différence entre les deux..

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ cat bdd.txt tagada|tsoin piupiu| pif|pafpoum pe-e|tsoin   $ cat test.sh #!/bin/bash expr="-e" res=$(grep -- "$expr" bdd.txt) echo $res   $ ./test.sh pe-e|tsoin

---

Ca doit vraiment se jouer au niveau de la syntaxe tout ca!

En fait je vois que chez toi tu as mis la commande entre parenthese et ca passe.

Or moi je mets tout entre simple cotte "`" et ca pourrait etre ca le probleme.

Je verifie et je te fais signe.

Merci

Salut les gars!

juste pour vous dire merci pour votre aide.

J'ai réalisé a 98% mon projet et ce grâce a vous. J'ai surtout découvert beaucoup de coins caches du script shell.

merci encore et a très bientôt

:ccool: