IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

API standards et tierces Java Discussion :

[JavaMail] Parcourir le contenu d’une grosse boite mail et java.lang.OutOfMemoryError: Java heap space


Sujet :

API standards et tierces Java

  1. #1
    Membre confirmé Avatar de TheBlue
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    167
    Détails du profil
    Informations personnelles :
    Âge : 41
    Localisation : France

    Informations forums :
    Inscription : Septembre 2005
    Messages : 167
    Par défaut [JavaMail] Parcourir le contenu d’une grosse boite mail et java.lang.OutOfMemoryError: Java heap space
    Bonjour,
    j’ai une boite de réception exchange 2010 en local qui contient 2500 messages, et chaque message contient une ligne texte et une pièce jointe de 500Ko env.
    Quand je veux parcourir cette boite je reçois l’exception suivante :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    	at java.util.Arrays.copyOf(Arrays.java:2786)
    	at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:71)
    	at com.sun.mail.pop3.Protocol.multilineCommand(Protocol.java:530)
    	at com.sun.mail.pop3.Protocol.retr(Protocol.java:338)
    	at com.sun.mail.pop3.POP3Message.getContentStream(POP3Message.java:141)
    	at com.sun.mail.pop3.POP3Message.loadHeaders(POP3Message.java:464)
    	at com.sun.mail.pop3.POP3Message.getHeader(POP3Message.java:264)
    	at com.sun.mail.pop3.POP3Folder.fetch(POP3Folder.java:405)
    	at lambda.util.mail.ExchangeUtilities.printAllMessages(ExchangeUtilities.java:141)
    	at lambda.util.mail.MailTools.testPOP3(MailTools.java:1589)
    	at lambda.util.mail.MailTools.main(MailTools.java:1690)
    J’ai essayé d’optimiser le code et diviser la boite en des lots de 100 messages, mais l’exception persiste toujours.
    voici la classe "ExchangeUtilities" :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    136
    137
    138
    139
    140
    141
    142
    143
    144
    145
    146
    147
    148
    149
    150
    151
    152
    153
    154
    155
    156
    157
    158
    159
    160
    161
    162
    163
    164
    165
    166
    167
    168
    169
    170
    171
    172
    173
    174
    175
    176
    177
    178
    179
    180
    181
    182
    183
    184
    185
    186
    187
    188
    189
    190
    191
    192
    193
    194
    195
    196
    197
    198
    199
    200
    201
    202
    203
    204
    205
    206
    207
    208
    209
    210
    211
    212
    213
    214
    215
    216
    217
    218
    219
    220
    221
    222
    223
    224
    225
    226
    227
    228
    229
    230
    231
    232
    233
    234
    235
    236
    237
    238
    239
    240
    241
    242
    243
    244
    245
    246
    247
    248
    249
    250
    251
    252
    253
    254
    255
    256
    257
    258
    import com.sun.mail.pop3.POP3Store;
     
    import java.util.Date;
    import java.util.Properties;
     
    import javax.mail.Address;
    import javax.mail.FetchProfile;
    import javax.mail.Folder;
    import javax.mail.Message;
    import javax.mail.MessagingException;
    import javax.mail.Part;
    import javax.mail.Session;
    import javax.mail.Store;
    import javax.mail.URLName;
    import javax.mail.internet.ContentType;
    import javax.mail.internet.ParseException;
     
    public class ExchangeUtilities {
     
    	private Session session = null;
    	private Store store = null;
    	private String username, password;
    	private Folder folder;
     
    	public ExchangeUtilities() {
     
    	}
     
    	public void setUserPass(String username, String password) {
    		this.username = username;
    		this.password = password;
    	}
     
    	public void connect() {
    		try {
    			int port = 110; // 995
     
    			Properties pop3Props = new Properties();
     
    			URLName url = new URLName("pop3", "exchange2010.exch.com", port,
    					"", username, password);
     
    			session = Session.getInstance(pop3Props, null);
    			this.store = new POP3Store(session, url);
    			System.out.println("Sore : " + store.getURLName().toString());
    			this.store.connect();
    		} catch (MessagingException e) {
    			e.printStackTrace();
    		}
    	}
     
    	public void openFolder(String folderName) throws Exception {
     
    		// Open the Folder
    		folder = store.getDefaultFolder();
    		// folder = folder.getFolder(folderName);
    		folder = folder.getFolder(folderName);
     
    		if (folder == null) {
    			throw new Exception("Invalid folder");
    		}
     
    		// try to open read/write and if that fails try read-only
    		try {
    			folder.open(Folder.READ_WRITE);
    		} catch (MessagingException ex) {
    			folder.open(Folder.READ_ONLY);
    		}
    	}
     
    	public void closeFolder() throws Exception {
    		folder.close(false);
    	}
     
    	public int getMessageCount() {
    		int messageCount = -1;
    		try {
    			messageCount = folder.getMessageCount();
    		} catch (MessagingException e) {
    			// TODO Auto-generated catch block
    			e.printStackTrace();
    		}
    		return messageCount;
    	}
     
    	public int getNewMessageCount() throws Exception {
    		return folder.getNewMessageCount();
    	}
     
    	public void disconnect() throws Exception {
    		store.close();
    	}
     
    	public void printMessage(int messageNo) throws Exception {
    		System.out.println("Getting message number: " + messageNo);
     
    		Message m = null;
     
    		try {
    			m = folder.getMessage(messageNo);
    			dumpPart(m);
    		} catch (IndexOutOfBoundsException iex) {
    			System.out.println("Message number out of range");
    		}
    	}
     
    	public void printAllMessageEnvelopes() throws Exception {
     
    		// Attributes & Flags for all messages ..
    		Message[] msgs = folder.getMessages();
     
    		// Use a suitable FetchProfile
    		FetchProfile fp = new FetchProfile();
    		fp.add(FetchProfile.Item.ENVELOPE);
    		folder.fetch(msgs, fp);
     
    		for (int i = 0; i < msgs.length; i++) {
    			System.out.println("--------------------------");
    			System.out.println("MESSAGE #" + (i + 1) + ":");
    			dumpEnvelope(msgs[i]);
    		}
     
    	}
     
    	public void printAllMessages() throws Exception {
     
    		// Attributes & Flags for all messages ..
    		Message[] msgs = folder.getMessages();
     
    		// Use a suitable FetchProfile
    		FetchProfile fp = new FetchProfile();
    		fp.add(FetchProfile.Item.ENVELOPE);
    		folder.fetch(msgs, fp);
     
    		for (int i = 0; i < msgs.length; i++) { 
    			// i++
    			System.out.println("--------------------------");
    			System.out.println("MESSAGE #" + (i + 1) + ":");
    			dumpPart(msgs[i]);
    		}
    	}
     
    	public void printAllMessages3() throws Exception {
    		try {
    			Message[] msgs;
    			int messageCount = folder.getMessageCount();
    			int nbr = messageCount;
    			int lot = 100;
    			int i = 0;
    			int start, end;
    			// Use a suitable FetchProfile
    			FetchProfile fp = new FetchProfile();
    			fp.add(FetchProfile.Item.ENVELOPE);
    			while (nbr > 0) {
    				int x = Math.min(lot, nbr);
    				start = i * lot;
    				end = ((i * lot) + x) - 1;
    				i++;
    				System.out.println("Start : " + start + " | End : " + end); // FT
    				msgs = folder.getMessages(start + 1, end + 1); 
    				folder.fetch(msgs, fp);
    				for (int j = start, k = 0; j < start + msgs.length; j++) {
    					System.out.println("--------------------------");
    					System.out.println("MESSAGE #" + (j + 1) + ":");
    					dumpPart(msgs[k]);
    					dumpEnvelope((Message) msgs[k]);
    					String ct = msgs[k].getContentType();
    					try {
    						pr("CONTENT-TYPE: " + (new ContentType(ct)).toString());
    					} catch (ParseException pex) {
    						pr("BAD CONTENT-TYPE: " + ct);
    					}
    					/*
    					 * Using isMimeType to determine the content type avoids
    					 * fetching the actual content data until we need it.
    					 */
    					if (msgs[k].isMimeType("text/plain")) {
    						pr("This is plain text");
    						pr("---------------------------");
    						System.out.println((String) msgs[k].getContent());
    					} else {
    						// just a separator
    						pr("---------------------------");
    					}
    					k++;
    				}
    				nbr -= lot;
    				msgs = null;
    			}
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
     
    	public static void dumpPart(Part p) throws Exception {
    		if (p instanceof Message)
    			dumpEnvelope((Message) p);
     
    		String ct = p.getContentType();
    		try {
    			pr("CONTENT-TYPE: " + (new ContentType(ct)).toString());
    		} catch (ParseException pex) {
    			pr("BAD CONTENT-TYPE: " + ct);
    		}
     
    		/*
    		 * Using isMimeType to determine the content type avoids fetching the
    		 * actual content data until we need it.
    		 */
    		if (p.isMimeType("text/plain")) {
    			pr("This is plain text");
    			pr("---------------------------");
    			System.out.println((String) p.getContent());
    		} else {
     
    			// just a separator
    			pr("---------------------------");
     
    		}
    	}
     
    	public static void dumpEnvelope(Message m) throws Exception {
    		pr(" ");
    		Address[] a;
    		// FROM
    		if ((a = m.getFrom()) != null) {
    			for (int j = 0; j < a.length; j++)
    				pr("FROM: " + a[j].toString());
    		}
     
    		// TO
    		if ((a = m.getRecipients(Message.RecipientType.TO)) != null) {
    			for (int j = 0; j < a.length; j++) {
    				pr("TO: " + a[j].toString());
    			}
    		}
     
    		// SUBJECT
    		pr("SUBJECT: " + m.getSubject());
     
    		// DATE
    		Date d = m.getSentDate();
    		pr("SendDate: " + (d != null ? d.toString() : "UNKNOWN"));
     
    	}
     
    	static String indentStr = "                                               ";
    	static int level = 0;
     
    	/**
             * Print a, possibly indented, string.
             */
    	public static void pr(String s) {
     
    		System.out.print(indentStr.substring(0, level * 2));
    		System.out.println(s);
    	}
    }
    et voici la méthode d'appel :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    // Méthode d'appel
    	public static void testPOP3() {
     
    		try {
    			String user = "exch.com\\nom.prenom";
    			String password = "password";
     
    			ExchangeUtilities exchange = new ExchangeUtilities();
    			exchange.setUserPass(user, password);
    			exchange.connect();
    			exchange.openFolder("INBOX");
     
    			int totalMessages = exchange.getMessageCount();
    			int newMessages = exchange.getNewMessageCount();
     
    			System.out.println("Total messages = " + totalMessages);
    			System.out.println("New messages = " + newMessages);
    			System.out.println("-------------------------------");
     
    			exchange.printAllMessages();
    			// exchange.printAllMessages3();
     
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
    Avez-vous une idée pour contourner ce problème ?

    Merci

  2. #2
    Modérateur

    Profil pro
    Inscrit en
    Septembre 2004
    Messages
    12 577
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2004
    Messages : 12 577
    Par défaut
    Par exemple, ne pas les charger tous en mémoire en même temps, mais un par un ? S'ils font jamais moins de 500ko pièce, ça me semble pas franchement déconnant.
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  3. #3
    Membre confirmé Avatar de TheBlue
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    167
    Détails du profil
    Informations personnelles :
    Âge : 41
    Localisation : France

    Informations forums :
    Inscription : Septembre 2005
    Messages : 167
    Par défaut
    Bonjour thelvin,
    Je n’ai pas bien saisi votre réponse. L’objectif du programme n’est pas de charger les messages dans la mémoire, mais de les afficher. Et comme si ce n’est pas possible de charger toute la boite en mémoire, je me demande comment faire pour afficher le contenu par pages, chose que j’ai essayé en développant la méthode ‘printAllMessages3() ‘ mais qui n’a pas marché.

  4. #4
    Modérateur

    Profil pro
    Inscrit en
    Septembre 2004
    Messages
    12 577
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2004
    Messages : 12 577
    Par défaut
    Par exemple, en faisant en sorte que dans folder.fetch(msgs, fp);, la variable msgs décrive autre chose qu'absolument tous les messages de la boîte ? Genre, par exemple, un seul message à la place ? Ça aurait pas l'air malin, ça ?
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  5. #5
    Membre confirmé Avatar de TheBlue
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    167
    Détails du profil
    Informations personnelles :
    Âge : 41
    Localisation : France

    Informations forums :
    Inscription : Septembre 2005
    Messages : 167
    Par défaut
    C'est ça ce que j'ai essayé de faire, de ne parcourir qu'une partie des messages (un lot de 100 dans cet exemple) que j'ai récupéré par :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    msgs = folder.getMessages(start + 1, end + 1);

  6. #6
    Modérateur

    Profil pro
    Inscrit en
    Septembre 2004
    Messages
    12 577
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2004
    Messages : 12 577
    Par défaut
    D'accord, je n'avais pas vu que tu avais gardé côte à côte deux méthodes de même nom qui servent à la même chose.

    Mais je rappelle que ce que j'ai suggéré moi, c'est 1 par 1, pas 100 par 100. 500Ko la pièce, tu te rappelles ?
    Ça donne quoi, ça ?
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  7. #7
    Membre confirmé Avatar de TheBlue
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    167
    Détails du profil
    Informations personnelles :
    Âge : 41
    Localisation : France

    Informations forums :
    Inscription : Septembre 2005
    Messages : 167
    Par défaut
    Je ne vois pas les deux méthodes dont tu parles

    J’ai essayé de parcourir les messages 1 par 1 au lieu de 100 par 100, et ça donne toujours la même exception.

    Sinon à la base je ne veux pas faire le programme en JavaMail, mais plutôt avec une bibliothèque basée sur JavaMail et Exchange Web Services (EWS). Dans cette bibliothèque il y a des objets (ItemView et FindItemsResults) qui traitent cette fonctionnalité (de parcours en des lots). Donc j’ai surchargé la méthode getMessages(int start, int end), et j’y ai utilisé ces objets là et du coup j’arrive à parcourir les 2500 sans avoir la fameuse exception. La définition de la méthode getMessages(int start, int end) et l’utilisation des objets dont j’ai parlé est comme suit :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    @Override
    public synchronized EWSMessage[] getMessages(int start, int end)
    		throws MessagingException {
    	EWSMessage[] tabMessages = null; // variable de retour
    	EmailMessage emailMessage;
    	List<EWSMessage> messages = null;
    	if (!exists()) {
    		throw new FolderNotFoundException();
    	}
    	try {
    		// Parcours de la boite par des lots de 100
    		ItemView itemView = new ItemView(100);
    		folder = Folder.bind(getService(), folder.getId());
    		FindItemsResults<Item> findResults = getService().findItems(
    				folder.getId(), itemView);
    		messages = new ArrayList<EWSMessage>(findResults.getTotalCount());
    		List<Item> items = findResults.getItems();
    		for (int i = 0; i < items.size(); i++) {
    			Item item = items.get(i);
    			if (item instanceof EmailMessage) {
    				log.trace("Fetching item {}", item.getSubject());
    				emailMessage = (EmailMessage) item;
    				messages.add(new EWSMessage(this, i, emailMessage));
    			} else {
    				log.warn("Skipping item {} as it is a {}",
    						item.getSubject(), item.getClass());
    			}
    		}
    		tabMessages = messages.toArray(new EWSMessage[messages.size()]);
    	} catch (Exception e) {
    		e.printStackTrace();
    	}
    	return tabMessages;
    }
    Donc je reviens au sujet de JavaMail (en utilisant le POP3) et je continue à essayer de résoudre le problème, l’objectif est de faire le parcours avec les deux manières, càd POP3 et EWS et faire un comparatif de performances entre les deux.

    Je reviendrai ici si je trouve une idée.

    Merci pour tes réponses thelvin.

  8. #8
    Modérateur

    Profil pro
    Inscrit en
    Septembre 2004
    Messages
    12 577
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2004
    Messages : 12 577
    Par défaut
    Je reconnais que si EWS fait ça sans problème avec les mêmes données, on pourrait logiquement s'attendre à ce que JavaMail le fasse bien plus simplement.
    Désolé, j'ai pas les ressources dispos pour tester JavaMail dans les mêmes conditions. Je le sais juste très peu économe avec les pièces attachées ce qui n'est guère surprenant vu son API. Mais en principe j'imaginais mal un webservice en WSDL faire mieux que ça.

    Bon courage.
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  9. #9
    Expert éminent
    Avatar de tchize_
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2007
    Messages
    25 482
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 45
    Localisation : Belgique

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2007
    Messages : 25 482
    Par défaut
    Donne nous le code que tu utilise pour 1 par 1 et l'exception que tu obtiens dans ce cas là. Ce n'est jamais "la même exception" ou alors tu continue de tout charger comme avant, puisque l'exception d'avant mention l'appel printAllMessages et non pas printAllMessages3

  10. #10
    Membre confirmé Avatar de TheBlue
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    167
    Détails du profil
    Informations personnelles :
    Âge : 41
    Localisation : France

    Informations forums :
    Inscription : Septembre 2005
    Messages : 167
    Par défaut
    C’est bon j’ai résolu le problème, dans la méthode printAllMessages3() j’ai ajouté folder.close(false); juste avant la boucle while, et folder.open(Folder.READ_ONLY); comme première instruction à l’intérieur de la boucle while. Et ça marche. La méthode est alors déclarée comme suit :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    public void printAllMessages3() throws Exception {
    	try {
    		Message[] msgs;
    		int messageCount = folder.getMessageCount();
    		int nbr = messageCount;
    		int lot = 100; // 100
    		int i = 0;
    		int start, end;
    		// Use a suitable FetchProfile
    		FetchProfile fp = new FetchProfile();
    		fp.add(FetchProfile.Item.CONTENT_INFO);
    		folder.close(false);
    		while (nbr > 0) {
    			folder.open(Folder.READ_ONLY);
    			int x = Math.min(lot, nbr);
    			start = i * lot;
    			end = ((i * lot) + x) - 1;
    			i++;
    			msgs = folder.getMessages(start + 1, end + 1);
    			folder.fetch(msgs, fp);
    			for (int j = start, k = 0; j < start + msgs.length; j++) {
    				System.out.println("--------------------------");
    				System.out.println("MESSAGE #" + (j + 1) + ":");
    				dumpPart(msgs[k]);
    				dumpEnvelope((Message) msgs[k]);
    				String ct = msgs[k].getContentType();
    				try {
    					pr("CONTENT-TYPE: " + (new ContentType(ct)).toString());
    				} catch (ParseException pex) {
    					pr("BAD CONTENT-TYPE: " + ct);
    				}
    				/*
    				 * Using isMimeType to determine the content type avoids
    				 * fetching the actual content data until we need it.
    				 */
    				if (msgs[k].isMimeType("text/plain")) {
    					pr("This is plain text");
    					pr("---------------------------");
    					System.out.println((String) msgs[k].getContent());
    				} else {
    					// just a separator
    					pr("---------------------------");
    				}
    				k++;
    			}
     
    			nbr -= lot;
    			msgs = null;
    			folder.close(false);
    		}
    	} catch (Exception e) {
    		e.printStackTrace();
    	}
    }
    Une petite rectification de la méthode getMessages(int start, int end) que j’ai mentionné dans le message précédent : pour l’utilisation de l’objet ItemView il faut le déclarer comme suit : ItemView itemView = new ItemView(end - start, start); sinon le programme va afficher 25 fois les 100 premiers messages.

    Merci thelvin et tchize pour votre aide, je vous en suis reconnaissant.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [XL-2010] Récupérer le contenu d'une boite mail sur serveur Exchange
    Par Mut dans le forum Macros et VBA Excel
    Réponses: 0
    Dernier message: 18/04/2013, 13h35
  2. [JavaMail] Extraction de contenu de mail
    Par MackZ dans le forum API standards et tierces
    Réponses: 4
    Dernier message: 22/03/2009, 11h13
  3. Réponses: 3
    Dernier message: 04/12/2007, 22h32
  4. Réponses: 2
    Dernier message: 08/04/2005, 14h23
  5. Centrage du contenu d'une boite
    Par Gruik dans le forum Mise en page CSS
    Réponses: 2
    Dernier message: 19/01/2005, 15h46

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo