capacité G2013 Prestige

[jakesp]

Je cherche à savoir qu'elle est la capacité de G2013 Prestige en individus, Mo, ... J'ai une banque de plus de 326 000 individus sur un autre logiciel qui semble plafonner. Avant de la convertir via gedcom, je voudrais être sûr que ce sera possible et que j'aurai une certaine marge de croissance.

 

[predigny]

Peu de personnes ont une telle quantité d'individus dans leur généalogie ! aussi les réponses vont être rares. J'essaierai d'importer artificiellement les 80000 individus de ma généalogie 5 fois dans une autre généalogie ce qui fera ~400000. Il est probable que la saisie de nouveaux individus se fasse sans ralentissement mais certaines fonctions vont souffrir ; la recherche de personne est indexée ça devrait donc se passer assez bien, mais les restructurations seront longues ; les sauvegardes dureront sans doute de l'ordre de 2 ou 3 mn mais c'est surtout la quantité d'images qui définie la durée des sauvegarde.
Le niveau de la machine intervient certainement et il vaut sans doute mieux avoir du 64 bits avec un max de mémoire.
Je vais faire l'essai (sur ma modeste machine), mais ça va être long ...

 

[jakesp]

Ma banque ne contient aucune image, aucune note; les simples faits généalogiques. J'ai déjà importé ma banque il y quelques mois, quand elle n'avait que 320 000 individus. Disons que le temps de lecture du gedcom était raisonnable. J'ai une machine 64 bits.
Ce qui m'intéresse est le futur de ma banque. Certains logiciels ont des contraintes de structure, par exemple leur système d'indexage des individus ne peut pas excéder nnn individus, l'OS ne peut pas manipuler des fichiers de plus de mm Mo que sais-je... Il y a donc des barrières fixes quelque part. Quelles sont elles?

 

[Michel P.]

Bonsoir,
Voilà une réponse partielle.
Puisqu'aujourd'hui Généatique gère plus de 65536 (2^16) individus sans problèmes, cela laisse penser que l'on peut gérer 2^32 soit plus de 4 miliards d'individus.

Cependant pour faire cela il faut de la mémoire donc c'est probablement votre machine qui limitera.
Pour la taille de fichier que l'OS peut gérer, le fait d'avoir une machine 64 bits ne veut rien dire. Il y a longtemps que les processeurs sont en 64 bits mais les OS étaient encore en 32 bits. Il faut voir les possibilités de votre OS qui est certainement en 64 bits.
Avec une gestion des fichiers en FAT32, la limite de taille de fichier est à 4Go pour des partirions à 2To. Il y a donc un peu de place.

 

[predigny]

Pour l'instant j'en suis à 317136 personnes et ça se passe bien pour l'utilisation "normale" de Généatique (ajout de personnes, Recherche, ..) Mais pour une restructuration il vaut mieux prévoir une longue sieste.
Ce soir le lancerai l'ajout de 158000 personnes et on verra le résultat demain matin.

 

[jakesp]

Ayant fait des recherches un peu partout, je me suis rendu compte que les réponses nettes ne semblent pas être courantes en effet. Dans un cas (ELIE) la réponse est claire 99 999 indivivius ... Dans un autre, la réponse semble reflèter la situation la plus récente (OS 64 bits, FAT32). Ce serait la taille du fichier même (2 gig) qui serait la seule limite "prévisible" (Legacy 7.5).
J'accepte donc votre réponse de la taille du fichier comme étant l'obstacle prévisible. Je suppose que dans ce cas-ci, il faut aller regarder la taille du plus grand fichier dans le dossier de la banque (.prs 205 Mo pour 330 000 personnes), et non le total du dossier (344 Mo). Je crois bien que je pourrai loger d'ici 2020 mes 500 000 que je m'attends avoir !!!

 

[predigny]

Cette nuit la machine a tourné et j'ai une généalogie de 475000 personnes ! La taille du fichier .adb est de ~1Go et 300Mo pour le .prs . le fichier de sauvegarde (.zip) pèse 240Mo.

Je suis assez impressionné par la rapidité de la recherche de personnes qui trouve 50 personnes personnes en moins de deux secondes.
- Temps pour une sauvegarde (sans images) : 2 minutes.
- Ouverture de la généalogie (après redémarrage du pc) : ~10s
- Ajout d'une nouvelle fiche : entre 1 et 5 secondes
- Liste des équivalences de noms : ~20 secondes
- Temps pour la réalisation d'un gedcom de toute la généalogie : Première tentative : Erreur au bout de 20mn.
En fermant toutes les autres applications, le second essai semble mieux se passer, l'étape de sélection des personnes est passée, mais il faudra sans doute plusieurs heures pour obtenir le gedcom,... à suivre

Je vais essayer de regarder de plus près les temps d'exécution pour les fonctions principales.

 

[predigny]

La seconde tentative pour faire un (gros) gecom a aussi échoué, c'était pourtant bien parti ! Y a un problème pour les très grosses généalogie. La mémoire ne semblait pas utilisée à plus de 65%.

 

[predigny]

J'ai le même problème avec 150000 personnes. Il est curieux que le programme commence le traitement des couples avant d'avoir terminé à 100% les personnes. Il est possible qu'après l'ajout des nombreuses fiches qui m'a permis d'avoir ces grosses généalogies, il faille faire une restructuration, pourtant le test de l'index ne voyait pas de faute. Je la ferai cette nuit car il faudra sans doute plusieurs heures.

 

[jakesp]

Votre essai m'a intrigué car un gedcom est vital pour certaines de mes opérations. Alors j'ai essayé avec mes 327 000 personnes. Temps total 15 minutes.
Je ne vois pas de raison à un temps croissant exponentiellement avec la taille. Il doit y avoir d'autre raison que la taille même. Peut-être que vous n'avez pas le bon clavier (hahaha!!!)

 

[predigny]

...Alors j'ai essayé avec mes 327 000 personnes. Temps total 15 minutes....

15 mn pour 327000 personne me parait être un temps incroyablement court, mais il est possible que ce temps dépende beaucoup du contenu en information de chaque chaque fiche, d'ailleurs le fait que votre fichier .prs soit le plus gros de tous les fichiers de votre généalogie, confirmerait cela. Typiquement quelles informations mettez vous pour chaque personne ? Je sais déjà qu'il n'y a pas de Note individuelles ni Illustrations ; qu'en est-t-il des Sources, des liens entre chaque personne (père-mère-enfants), Personnes citées, Professions,.... Si c'est un dossier du type "relevé systématique d'actes" le contenu des fichiers peut êtres assez différent d'une généalogie "normale".
Combien de Ram avez vous dans votre pc ? car si Windows est obligé d'utiliser la mémoire virtuelle, la vitesse de traitement peut chuter dramatiquement.

 

[predigny]

En n'exportant pas les Notes, les Sources, j'ai réussi à faire (en 2 heures !) un gedcom de ces 475000 personnes, mais au premier essais même cet export limité a été un échec. La différence avec le second essai qui a réussi, c'est que j'ai supprimé le "screen saver" et le délai de mise en veille de l'écran. Normalement il ne devrait pas y avoir d'influence ...
Le problème c'est que ces essais sont très longs.
Tant mieux pour vous, mais je ne comprend toujours pas comment vous avez pu faire un export de toute votre généalogie (327000p) en 15 mn, ou alors vous utilisez le super NEC SX-9 de Météo-France :lol:

 

[jakesp]

J'ai un fichier le plus simple possible, typiquement dates et lieux pour naissances, mariages, décès, bien des mariages multiples, pas mal de grandes familles. Je ne fais pas de documentation généalogique et je n'ai aucune image.
Ceci dit j'ai relevé le déroulement des opérations (heure locale GMT+6). Début 17:29 préslection environ 1 minute, traitement des personnes 13 minutes, des mariages 2. fin 17:45. Désolé cela ressemble plus à 16 miutes.

Je crois qu'il ne faut pas regarder à la machine (elle a déjà plus de deux ans) mais au principe même du Gedcom. On essaie de lui faire faire un travail d'archivage (toutes les images par ex.) pour lequel il n'était vraiment pas conçu, description linéaire et textuelle essentiellement et mise à plat de toutes les relations familiales. Pour moi, c'est une conception totalement dépassée pour ce que l'on trouve maintenant dans les banques de données généalogiques intégrées. Il faudrait penser à inventer un nouveau standard de transfert ou à accepter de ne traduire en gedcom que les données essentielles.

 

[predigny]

...Il faudrait penser à inventer un nouveau standard de transfert ou à accepter de ne traduire en gedcom que les données essentielles.

Pour cela on est bien d'accord !
Pour la vitesse de réalisation de votre gedcom je suis tout de même étonné que ce soit si rapide ; il est vrai que même si je n'exporte pas tous les données, elles sont présentes dans la généalogie et doivent pas mal ralentir le processus ; du coup je galère, le moindre essai durant des heures.

 

[predigny]

Ouf ! J'ai enfin pu avoir le gedcom complet de la grosse généalogie de 475000 personnes. Il semble bien que ce bon résultat soit dû au fait que j'ai supprimé le "screen saver" et l'arrêt automatique de la cartes graphique, Mais il a fallu plus de cinq heures pour obtenir le gedcom (147 Mo et 25 Mo zippé).