Discussion :

[semayat]

Bonjour à tous,

Je poste ce message, qui est le premier, et j'en profite pour vous souhaiter une bonne année.
Je viens ici car je suis confronté à une problématique de gestion de gros fichiers (fichiers de 8Go de + de 15M de lignes)

But: Faire une jointure entre deux fichiers sur une clé commune

Problème: Mes fichiers ne disposent pas de colonnes sur lesquels faire un awk + les clés sont à des positions différentes

exemple :
Fichier 1 ->
85130000000160000000000000000050001328
85130000000260000000000000000050000004
85130000000360000000000000000050000001
85130000000460000000000000000050000002
85130000000560000000000000000050000007

Fichier 2 ->
20170122850200000100612000000000012340000000000000015000000151333000151333000000000050001328000000019908031000000000000000000F
20170122850200000101612000000000012350000000000000015000000151333000151333000000000050000004000000019908031000000000000000000F
20170122850200000102612000000000012360000000000000015000000151333000151333000000000050000001000000019908031000000000000000000F
20170122850200000103600000000000012370000000000000007622500156416000156416000000000050000002000000020641285000000000000000000F
20170122850200000104612000000000012380000000000000045000000151333000151333000000000050000007000000019908031000000000000000000F

J'ai mis en bleu les deux zones à "jointer"

Mes idées :
- J'ai pensé à syncsort mais je n'ai pas (visiblement) la licence dans mon entreprise
- J'ai pensé à insérer des ";" dans les deux fichiers de sorte à pouvoir dire qu'il s'agit d'une colonne 1 ou 2, etc. mais je n'y arrive pas.

Auriez-vous une idée à me suggérer svp?

Je vous remercie par avance
cdt
GM

[frp31]

la façon de faire la plus simple (sera lent) mais facile a maintenir et a comprendre

puisque te pattern est en fin de ligne dans le fichier 1

dans une boucle de lecture ligne a ligne
--charger le pattern dans une variable
--le reste dans une autre
--rechercher ça dans fichier 2
----quand trouve => construire le format de sortie
----faire ce que tu veux en faire
fin de boucle < fichier_1

c est lent mais c est faisable sans trop se faire iech et sans saturer la ra puisque tu traites par lots

tu peux donner un format de ligne de sortie finale paur qu on te fasse un exemple end-to-end si tu n y arrives pas comme ca

[semayat]

bonjour,

Merci pour ta réponse.
J'ai travaillé le sujet avec un collègue de la maîtrise d'oeuvre.
Il m'a expliqué la même chose que toi...j'ai quelques exemples de scripts.
Je vais tenter.
Si je n'y arrive pas, je demanderai de l'aide!

@+