Mauvais doublon (encore une fois!)

[jakesp]

Ces fameux "Mauvais doublons. Groupe pas créé" me hantent depuis un bon bout de temps. J'ai essayé de les ignorer car en général ils ne créent pas de problème dans les "produits" (documents, listes..) et disparaissent lors d'une exportation en Gedcom. Mais ils restent là avec un majeur handicap : les personnes impliquées sont ignorées dans certaines fonctions internes comme la recherche de cas semblables lors de l'ajout de données. Donc quoi faire?

J'ai mis au point une petite technique qui permet d'en éliminer; il s'agit simplement de tuer l'enregistrement et de le recréer à neuf. Cela requiert naturellement la conservation des informations indispensables à la recréation (enregistrement des données personnelles, sur le(s) mariage(s) éventuel(s), les parents, ou une copie du fichier faite avant de commencer).

J'ai préféré une telle solution au cas par cas aux manipulations suggérées impliquant tout le fichier d'un coup, d'abord parce que je ne suis pas disposé à leur faire confiance, ensuite parce que ce type de manipulations sur des fichiers d'une certaine taille prennent un temps inacceptable (avec en plus tous les risques d'arrêt impromptu).

Mais elle ne résout pas tous les problèmes, dont un de taille :
----Comment détecter systématiquement de tels doublons?

Ensuite, ne sachant pas bien comment ils apparaissent (toutes les histoires d'implexes ne sont que chimères), il n'est pas possible de les éviter. Il y a bien longtemps G2014 créait des records erronés avec "ajout d'un enfant" (par ex. le premier créé ne se mettait pas dans l'ordre des naissances à l'ajout de frères/sœurs). Il fallait détruire et recréer. Je suis sûr qu'il y a ainsi des opérations créant des enregistrements avec de mauvais indices (par exemple lors de fusions) mais je n'en ai aucune preuve d'autre que le "méfiez-vous des fusions" que j'ai eu alors.

Finalement j'ai remarqué qu'il apparaît des enregistrements fantômes au nom de "XXX" impossibles à détruire et souvent associés à un mauvais doublon. Y-aurait-il une certaine parenté entre les deux types?

 

[jmambro]

Oui pour "jmambro"

Vous avez 2 patronymes séparés par un ";", c'est normal que les lignes soient doublées
et redoublées pour les 2 prénoms différents.
Vous, pas de problème...

Mais ce n'est pas le cas de "jakesp" où il n'y a qu'un seul patronyme !

J'ai testé sur une autre fiche avec la même config, dans la même généàlogie, et ce n'est pas le cas.

Mon cas est sans doute lié à une combinatoire avec deux personnes partageant le même prénom et avec deux possibilités d'orthographe du nom. Dans le cas qui marche, un seul individu.
Cela mis à part, rien de génant

 

[predigny]

Quand il y a un nom sous la forme "DUPOND ; DUPONT" Généatique affiche effectivement (depuis toujours) la personne en double, c'est pourquoi je n'aime pas cette façon d'introduire une équivalence de nom. Cet affichage aurait un intérêt si ce n'était pas exactement la même ligne ; il faudrait avoir "DUPOND ; DUPONT" sur une ligne et "DUPONT ; DUPOND" sur l'autre ; la justification de la duplication serait alors de pouvoir classer par ordre alphabétique sur les deux variantes du nom.
Le problème qu'avait G2017 c'était une duplication, même avec un nom simple ; ça a peut-être été résolu car je ne parviens plus a retrouver un exemple dans ma généalogie.
Remarques :
- Cet affichage en deux lignes (ou plus) ne se crée que si l'option "Utiliser les équivalences dans la recherche de personnes" est activée dans la fenêtre de gestion des équivalences.
- Un nom sous la forme "DUPOND ; DUPONT" ne donnera pas deux lignes de résultat si une équivalence n'a pas été créée ; c'est le cas par exemple si j'ai une fiche avec pour nom "DUPOND" et que par la suite j'ajoute " ; DUPONT" car dans ce cas l'équivalence n'est pas créée.

 

[jmambro]

Quand il y a un nom sous la forme "DUPOND ; DUPONT" Généatique affiche effectivement (depuis toujours) la personne en double, c'est pourquoi je n'aime pas cette façon d'introduire une équivalence de nom. Cet affichage aurait un intérêt si ce n'était pas exactement la même ligne ; il faudrait avoir "DUPOND ; DUPONT" sur une ligne et "DUPONT ; DUPOND" sur l'autre ; la justification de la duplication serait alors de pouvoir classer par ordre alphabétique sur les deux variantes du nom.
Le problème qu'avait G2017 c'était une duplication, même avec un nom simple ; ça a peut-être été résolu car je ne parviens plus a retrouver un exemple dans ma généalogie.
Remarques :
- Cet affichage en deux lignes (ou plus) ne se crée que si l'option "Utiliser les équivalences dans la recherche de personnes" est activée dans la fenêtre de gestion des équivalences.
- Un nom sous la forme "DUPOND ; DUPONT" ne donnera pas deux lignes de résultat si une équivalence n'a pas été créée ; c'est le cas par exemple si j'ai une fiche avec pour nom "DUPOND" et que par la suite j'ajoute " ; DUPONT" car dans ce cas l'équivalence n'est pas créée.

Si ce n'est que dans mon second exemple
la requete Nom=ALLEGRETTO / Prénom=Gio Paolo ne sort qu'une ligne :
ALLEGRETTO;ALLEGRITTO Gio Paolo

Mais comme je l'ai déjà dit, ça ne satisfait pas l'esprit mais ce n'est pas trop grave. Enfin, c'est juste mon avis.

 

[predigny]

Si ce n'est que dans mon second exemple
la requete Nom=ALLEGRETTO / Prénom=Gio Paolo ne sort qu'une ligne :
ALLEGRETTO;ALLEGRITTO Gio Paolo...

C'est ce que je dis : si il ne sort qu'une ligne c'est que l'équivalence ALLEGRETTO == ALLEGRITTO n'est pas créée ; facile à vérifier dans "Utilitaires/Equivalences/Noms", ou que l'option "Tenir compte des équivalences dans le résultat de la recherche " n'est pas activée (cochée).
Mais tout ça, ce n'est pas le problème de l'auteur de ce fil ; lui, semble avoir de vrais doublons "pathologiques" dans sa généalogie.

 

[jmambro]

Si ce n'est que dans mon second exemple
la requete Nom=ALLEGRETTO / Prénom=Gio Paolo ne sort qu'une ligne :
ALLEGRETTO;ALLEGRITTO Gio Paolo...

C'est ce que je dis : si il ne sort qu'une ligne c'est que l'équivalence ALLEGRETTO == ALLEGRITTO n'est pas créée ; facile à vérifier dans "Utilitaires/Equivalences/Noms", ou que l'option "Tenir compte des équivalences dans le résultat de la recherche " n'est pas activée (cochée).
Mais tout ça, ce n'est pas le problème de l'auteur de ce fil ; lui, semble avoir de vrais doublons "pathologiques" dans sa généalogie.

On est bien d'accord.

 

[Philippe Gauthier]

Bonjour,
Je reviens sur l'exemple de doublon que donne "jakesp" en page 2 de ce fil, le doublon Tremblay Abel :

Pour ce que je vois, il n'y a pas doublon mais mais bien deux fiches distinctes puisque le premier est décédé après 1877 et le second après 1880 !

 

[predigny]

...Pour ce que je vois, il n'y a pas doublon mais mais bien deux fiches distinctes puisque le premier est décédé après 1877 et le second après 1880 !

Au sens premier du mot, si, il y a doublon mais ils ne sont pas forcément "pathologiques".

 

[jakesp]

Après des essais infructueux et une nuit de travail (pour le PC pas pour moi heureusement), j'ai obtenu après une Restructuration avec Réindexation, un fichier dans lequel je n'ai pas retrouvé les quelques cas de faux-doublons que j'avais repérés. Enfin, un remède apparemment efficace si coûteux en temps.

Mais cette opération ne supprime pas les "XXX". Le premier exemple semble indiquer que le XXX est en quelque sorte associée à une "Marie Tremblay" (résultat d'une recherche avec "Tremblay, Marie") et montre un véritable faux-doublon même si les dates paraissent différentes, ce ne sont que des estimations de Gxxxx et non de vraies données.


Le deuxième semble concerner une Julie Bouchard (résultat d'une recherche avec "Bouchard, Julie"). Par curiosité j'ai supprimé la fiche de Bouchard Achille( facilement accessible à l'encontre des XXX de cet exemple) et le résultat a été qu'un nouveau XXX l'a remplacé dans la liste des époux.


Est-ce que vous auriez une suggestion? Merci

 

[dfx]

Bonjour, on avance

Donc vous restructurez :
Utilitaire/Réparer/Restructurer...avec le 2ème choix ...

Je vous avais demandé de faire une restructuration avec le 2ème choix (réenregistrement avec classement et symétrie), vous l'avez fait avec le 3ème choix (Réindexation), c'est pour cela que vous avez toujours ces "XXX" !

Allez encore un petit effort, ça devrait le faire ....

 

[predigny]

Il m'est arrivé d'avoir ces XXX et pour autant que je m'en souvienne, il m'a fallu couper les liaisons d'avec les parents et refaire les liens de la fratrie. Je ne suis pas aussi sûr que l'est dfx, que la restructuration (2ème choix) supprime ces XXX mais c'est possible.

 

[dfx]

Ces XXX sont apparus avec la fonction "Ajout d'enfants" il y 4 ans ou 5 ans.
Effectivement on peut couper les liens sur le cas en présence, mais les autres cas où des liens parents/enfants sont aussi en anomalie sont passés sous silence.
Pour régler le problème avec exhaustivité c'est la restructuration 2ème niveau, là je suis formel.
D'ailleurs il n'est pas rare de voir cette anomalie resurgir, c'est vrai que je suis toujours en G2015

 

[jakesp]

Merci, dfx, d'avoir insisté. Il s'agit bien de faire une restructuration avec réenregistrement avec classement et symétrie. Les XXX ont disparu. Cela prend un temps fou mais cela marche.

Donc, pour moi, le problème est résolu.

 

[dfx]

Bonjour cher cousin d'Amérique

Heureux pour vous que tout soit rentré dans l'ordre.
Pour info combien de temps la restructuration pour 400/500.000 fiches ?

Au plaisir de vous lire ...

 

[jakesp]

Je ne peux faire qu'une estimation, au moins 6 heures pour 470 000 fiches. Je l'ai lancé vers 18:00 mais vers 23:00 j'ai abandonné la surveillance. Il indiquait une fin estimée vers 24:00 (il restait encore 100 000 fiches à traiter) mais son estimation était régulièrement repoussée à plus tard. Vers 170 000 j'ai fait une estimation d'une vitesse de traitement à environ 1000 fiches/minutes, mais cette vitesse baisse progressivement le plus on avance, ce qui explique la "fuite en avant" de l'estimation de la fin.

C'est un vrai "travail de nuit", peu contraignant car il ne demande pas d'intervention, pas comme une extraction de fiches qui attend une confirmation du nombre de fiches à extraire une fois toutes les phases de préparation terminées (cela au "début" relativement, de 30 à 60 minutes; par la suite je n'ai pas trouvé d'autres interventions, mais il est vrai que je ne suis pas allé au bout).

 

[alainjo]

Bonjour,
Confronté au même pb avec une base de 90000 fiches. Toutes les manip recommandées par le CDIP y sont passées. Le "mauvais doublon groupe non créé" a effectivement disparu......pour réapparaître quelques ouvertures de logiciel plus tard. Au passage, il y avait eu interruption du programme de régénération (cause indéterminée) et perte d'une grande partie des informations complémentaire dont le cadre en bas à droite est devenu vide de toutes informations y compris les têtes de rubriques.
Moi aussi j'étais passé à la version 2017 espérant que ces dysfonctionnements de fin 2016 cesseraient et ben non! Rien gagné et même perdu le montant de l'achat de la version suivante pour rien.
Depuis un mois, la recherche sur les patronymes contenant une lettre accentuée est totalement défaillante. Alors bien le bonjour pour trouver les fiches adéquates en passant par les critères orthographiques.
Alors merci par avance à celui d'entre vous qui a la solution perenne pour :
----ces doublons intempestifs
----ces XXX intempestifs
--- ces accents disparus
---- etc.
Usager depuis la naissance de Geneatique, à l'époque avec disquettes et sous DOS, l'usine à gaz qu'est devenu le logiciel devrait bientôt être classé "SEVESO" (désolé pour les lettres sans accent, moi j'y suis habitué).
Bien cordialement.

 

[predigny]

Pour l'accumulation de fonctionnalités peu utiles et surtout mal achevées, je suis d'accord. Pour les faux doublons, les XXX, les accents disparus, je n'ai pas observé ces problèmes depuis longtemps et ils sont sans doute le signe d'un problème dans votre généalogie. Vous avez sans doute déjà essayé l'extraction totale, mais une fois, j'ai dû passer par un export-import gedcom pour remettre les choses en place. Si on exporte tout, il y a extrêmement peu de pertes de données.
Pour la Recherche avec les accents, il est vrai que j'ai peu de nom accentués, mais ceux que j'ai sont trouvés apparemment comme si les accents n'existaient pas. Avez-vous un exemple de noms où ces accents perturbent la recherche ?

 

[dfx]

Pour les ... XXX, ... je n'ai pas observé ces problèmes depuis longtemps et ils sont sans doute le signe d'un problème dans votre généalogie....

Sans doute un pb dans la généalogie, oui, mais quelle en est la cause ? Je l'ai déjà dit, c'est la fonction ajout d'enfant qui pose problème. Mais "predigny", comme vous nous l'avez dit, vous ne l'utilisez pas donc ...
Je suis toujours en G2015 et d'après "alainjo" c'est toujours le cas en G2017. D'ailleurs la semaine dernière j'ai constaté de nouveau cette anomalie.
L'extraction totale des fiches ne règle rien. Il faut restructurer

 

[jakesp]

La procédure que j'ai suivie (proposé par dxf) a très bien marché mais elle ne prévient pas l'apparition de nouveaux "faux doublons". Heureusement le traitement cas par cas que j'ai trouvé permet leur élimination dès qu'ils détectés. Mon dernier est apparu suite à une manipulation douteuse essayant de corriger une erreur de branchement d'une petite branche (coupure de liens, recréation de personnes, fusions). Tout cela pouvant être peut-être associé à l'ajout d'un enfant.

En ce qui concerne les lettres accentuées, le seul problème que je rencontre est avec le tri alphabétique dans les listes de résultats. Si Durand Émile est bien placé avant Durand Ernest, Durand Joseph Émile est placé derrière Durand Joseph Zotique. Autrement dit, le tri est correct sur le premier prénom mais la correction apportée pour la version 16 (pour corriger Durand Émile après Durand Zotique) n'a pas touché le deuxième prénom.

 

[predigny]

...L'extraction totale des fiches ne règle rien. Il faut restructurer

On est bien d'accord, l'extraction est à essayer quand les autre restructurations/réparations n'ont rien améliorées ; et c'est en tout dernier recours que l'on peut tenter l'export+import gedcom.
C'est vrai que certaines "fausses manœuvres" peuvent créer des problèmes : c'est le cauchemars des développeurs ces fausses manœuvres car il y a un grand nombre de fausses manœuvres possibles.

 

[jmambro]

...L'extraction totale des fiches ne règle rien. Il faut restructurer

On est bien d'accord, l'extraction est à essayer quand les autre restructurations/réparations n'ont rien améliorées ; et c'est en tout dernier recours que l'on peut tenter l'export+import gedcom.
C'est vrai que certaines "fausses manœuvres" peuvent créer des problèmes : c'est le cauchemars des développeurs ces fausses manœuvres car il y a un grand nombre de fausses manœuvres possibles.

La combinatoire est difficile à prévoir. Autant pour le dev que pour la redaction du cahier de tests unitaires et d'intégration.