• Bienvenue sur la nouvelle version du forum Guide de généalogie,

    Si vous avez du mal à vous connecter, faites une demande de réinitialisation de mot de passe : Réinitialiser mon mot de passe
  • Découvrez la nouvelle section du forum : Réalisations dans Généatique. Montrez et partagez vos créations d'arbres dans Généatique !
    Et participez au concours !

Aide import d'un fichier Gedcom HEREDIS dans GENEATIQUE

Membre actif
BétaTesteur Généatique
Bonjour,

Suite à plusieurs questions sur l'import d'un fichier gedcom produit par HEREDIS dans GENEATIQUE, j'ouvre ce sujet pour permettre de centraliser les différentes questions qui se posent

Il faut savoir que chaque logiciel de généalogie à des spécificités qui rendent les transferts gedcom entre logiciels sujets à des pertes d'informations. En quelque sorte chaque logiciel à son dialecte gedcom qu'il fait que certaines informations peuvent être perdues lors d'un import dans Geneatique.

Certaines informations sont donc perdues ou mal comprises lors de l'import d'un gedcom HEREDIS. Pour éviter cela l'idée est de modifier le fichier gedcom avant import dans GENEATIQUE

Pour ceux qui en aurait besoin, la modification à réaliser sur un gedcom HEREDIS n'étant pas aisée, ci-joint un script Windows permettant la conversion avant import dans Genéatique. Ce script ne traite pas tous les cas mais seulement les cas courants nécessitant une adaptation. (voir script post suivant)

Ce que fait ce script, principalement :
Il convertit
- Les informations de la structure (onglet) de recherche HEREDIS et le tag spécifique _FNA en NOTE de recherche (si valeur différente de NO)
- Les informations de transcription en NOTE de transcription
- les sources structurées vers des sources simples (dépôts non traités) et/ou des notes sources suivant le cas.
- les structures d'objet multimédia pour éviter d'importer des sous-tags inutiles (_PRIM, ...)
- Les causes /description HEREDIS (tag CAUS) en note ou en info si l'événement est de type Geneatique est de type info et qu'il n'est pas surchargé dans HEREDIS
Il traduit
- les dates de création (tags _CREA en _DCT)
- les père/mère introuvables (INDI._FNF/_MNF) en NOTE de recherche
- l'absence d'alliance (INDI._ULS) en NOTE de recherche
- l'absence de descendance (INDI._CLS) en rubrique S_P
- les âges (tag AGE) sont mis en note (non géré par Geneatique)
- certains informations d'adoption (non géré par Geneatique) en NOTE
- les booléens YES/NO en O/N pour certains tags GEDCOM (cas SIGN pour signature)
- les évènements génériques (EVEN) sont traduits en fonction de la valeur du tag TYPE :
-- Types Résidence/Domicile en RESI (et s/tag CAUS en ADDR)
-- Type Honors en DECO (et CAUS en info de DECO)
-- évènements de types Militaire vers rubriques MILI ou _REGISTREMATRICULE
-- certains actes sous le tag _DOC (certificats)
-- les inventaires en _IVD
-- en évènement de tag _EVT (et non en rubrique dédiée trop spécifique)
- Status Union (_UST Traduit ou ignoré (cas marié) en fonction du cas)
- Filiation (tag _FIL) : Traduit en note suivant le type
- partiellement les relations (parrain/marraine/témoins/...) en qualité et parentés courantes
- les restrictions (INDI.RESN) en _CFT O (confidentiel)
- Prise en compte des ADDR pour la rubrique contact (traduction ADR1 et ADR2)
- traduction des noms des dépôts en note de type #source# avec les informations additionnelles des sources structurées.
Il élimine certains tags pouvant créer des tags (peu) utiles à importer

Il permet aussi de vérifier la présence ou pas des fichiers appelés par le gedcom (entité OBJE.FILE) . Il crée un fichier .CSV importable sur tableur avec la liste des fichiers. Il signale les fichiers manquants.
le format CSV est "Taille;Ligne;xRef gedcom;Info;Evt;Nom du fichier"
- la taille vaut ? si fichier manquant
- ligne = n°ligne dans le fichier gedcom
- xRef = Référence entité gedcom de niveau 0
- Info = type entité (INDIvidu/FAMille) et soit le nom de l'individu soit les XREF (cas famille, ...)
- evt = tag gedcom de l'événement d'appartenance de l'objet multimédia

Suivant votre utilisation d'HEREDIS, les tags suivants peuvent apparaitre comme tags inconnus lors de l'import. Ils sont à ajouter suite à l'import du nouveau Gedcom
Tag (5.5.1)Signification (libellé Généatique)
CONFConfirmation (Cérémonie religieuse)
FCOMPremière communion (Evènement religieux)
ORDNOrdination (Evènement religieux)
PROPPropriété/Possession
REFNRéférence utilisateur
_SOURSource générale au niveau 1 mise en événement (car Geneatique n'a pas ce niveau de structure)
SLGSScellement (mariage éternel) entre un mari et sa femme (Evénement LDS - Mormons)
_ETIEtiquette : tag propriétaire HEREDIS (>2025) contenant une étiquette mise par l'utilisateur.
_ETI Mort pour la France est traduit en _MPLF (spécifique Généatique)
_ETI pour les individus est conservé.
Les autres étiquettes (niveau 2 ou famille) sont supprimées (pollution structure généatique)
_FSFTIDIdentifiant d'un individu dans l'arbre familial de FamilySearch (FamilySearch Family Tree ID)
(champ texte)

Si un de ces tags apparait au niveau 1 lors de l'import gedcom, les ajouter et ouvrir la structure de la généalogie pour modifier le texte des libellés/libellés écran avec la signification ci-dessus
Si des tags au niveau 2 apparaissent, le signaler, normalement le script aurait du les adapter/filtrer

A noter que HEREDIS permet, conformément à la spécification gedcom;
- d'indiquer des sources globales pour un individu ou une famille (tag SOUR au niveau 1), dans ce cas Geneatique va créer un évènement fictif appelé _SOURCE avec les informations de source comme un événement.
- d'indiquer des relations entre individus (tag ASSO au niveau 1), dans ce cas Geneatique va traduire cela en évènement relation (tag _REL)
Si réimport dans HEREDIS, ces cas seront donc vu comme des rubriques événements et non des sources/relations au niveau d'un individu.
- d'indiquer les heures; d'une manière générale les heures sont perdues faute de champ correspondant dans Geneatique.
- en cas d'import d'un tag Geneatique spécifique, généralement HEREDIS créé une structure FACT.TYPE avec le tag d'origine. Si c'est le cas le script reconstitue la structure gedcom d'origine si non modifiée;
- si des images sont présentes dans les sources ou les citations de sources elles sont mises au niveau de l'individu, de la famille ou de l'évènement (généatique ne sait pas gérer les autres niveaux)
- les transcriptions incluses dans les citations de source ou la source elle mêmes sont reprises en note de catégorie transcription.
- le cas des événements partagés n'est pas traité. (codage Geneatique/Heredis différent)

Cordialement
Thierry
 
Dernière édition:
Bonjour
Je n'ai pas autant de personnes, mais pour 16 000 environ, il m'a fallu 15 mn
Par contre je rencontre des problèmes ...
La première fois, plus de dates... Je recommence.
La deuxième j'ai les dates mais pas un seul média...

Curieux.

Je continue mes essais. Je dois me planter quelque part, encore que pour un import Ged, je ne vois guère...

Dans mon Ged d'origine j'ai :
1 OBJE
2 FORM jpg
2 FILE D:\genealogie heredis vanderesse\trombinoscope\vanderesse_francois.jpg
etc.

et dans le fichier converti rien.


Ce n'est pas simple de passer d'un logiciel à un autre...
 
Si je puis me permettre, c'est étudié pour. Plus le passage est difficile et moins on a envie de le faire. Donc on reste sur le logiciel qu'on a et on ne va pas à la concurrence :)
Pourtant, si j'étais le cdip, je ferais des efforts pour que les gedcom d'Heredis soit accueillis avec amour :)
 
Pourtant, si j'étais le cdip, je ferais des efforts pour que les gedcom d'Heredis soit accueillis avec amour :)
Bonjour; et pourtant ce n'est pas par manque d'avoir demandé depuis de nombreuses années, j'ai même fourni plusieurs GedCom Heredis... Je n'ai jamais compris pourquoi le CDIP ne crée pas un utilitaire pour faire ça, évidemment juste dans le sens Heredis vers Geneatique, il me semble quand même que ce serait le minimum pour attirer des personnes utilisant Heredis :cool:
 
Bonjour,

J'ai mis à jour le script : Version 2024.11.2
A récupérer depuis le post en tête de fil - Aide import d'un fichier Gedcom HEREDIS dans GENEATIQUE

Correctifs :
- Correction transcodage entité OBJE venant des anciennes version d'HEREDIS (structure OBJE ignorée au lieu d'être traitée; cas individuel + famille)
- Correction du traitement du tag _FNA (état de recherche) et de sa traduction en note (inversion de lignes lors de la traduction en note dans certains cas)
- Correction du traitement des parrains/marraines dans les relations (traduction partielle avec les anciennes versions d'HEREDIS)
- Correction d'un espace en trop en fin de certaines lignes

Evolutions et améliorations :
- Ajout d'un % d'avancement du script et estimation du temps de traitement (environ 10000 lignes/minutes suivant les performances du PC); Il faudrait le coder dans un langage plus performant pour l'accélérer
- Affichage informations sur le contenu du gedcom HEREDIS
- Transcodage EVEN Inventaires en tag _IVD Généatique
- Possibilité de lancer le script en ligne de commande avec des paramètres; Liste des possibilités avec ConvH2G /?
- Détection de la plus récente version de Geneatique installée pour déterminer les tags à utiliser.
- Prise en compte et traduction des types de sources suivant : Family Bible, Tombstone, Publishing, Internet document
- Suppression du tag _PRIM pour les images favorites (non utilisé par geneatique)
- Prise en compte des témoins de type Participant, Acheteur et Vendeur
- Prise en compte des status d'union HEREDIS : Extra conjugal, inconnu, pacs, divorcé
- Prise en compte évènements personnalisés : Acte de vente, Vie professionnelle, Loisirs
- Prise en compte des adresses au niveau d'un individu vers la rubrique contact généatique
- Prise en compte des dépôts (non géré par Geneatique) vers une note de type source (pour le nom du dépôt seulement)

Cordialement
Thierry
 
Dernière édition:
Bonjour,
Nouvelle version 2024.11.11
Correctifs :
- non exécution du script si renommé en utilisant des parenthèses dans le nom.
- non exécution du script si le fichier gedcom contient des espaces ou d'autres caractères particuliers
les noms de fichiers peuvent maintenant contenir des espaces ou des parenthèses
- Correction du calcul du % d'avancement (bug si gedcom de grandes tailles); A noter que l'estimation de temps restant peut être très variable.

Evolutions et améliorations :
- Ajout d'une option pour tester la présence des fichiers multimedias appelés par le script (tag FILE),
les fichiers manquants seront mémorisés dans le fichier .log (afin d'éviter un import avec des fichiers manquants). Le test est effectué en fin de traitement sur le nouveau gedcom.
- Affichage des informations sur le système d'exploitation
- Traduction type de source : Census et Letter
- Prise en compte type évènement "property sale"
- Empêche la mise en veille du PC durant l'execution en simulant l'appui sur une touche
- Détecte les événements indéfinis (il est possible de coder dans HEREDIS EVEN.TYPE vide)
dans ce cas le script créé un événement avec en info "non défini" et affiche un warning dans le log
- Traduction du type de témoin : Heir, Notary, Householder
- Traduction _UST ENGAGEMENT en tag ENGA (fiancailles)
- Traduction _UST SEPARATED en note de couple (dernier status = couple séparé)
- Détection de RamDisk (*) pour y copier les fichiers temporaires (accélère le script notamment pour les gedcom comprenant plusieurs millions de lignes)
- A noter que les nouvelles étiquettes de H2025 (tag _ETI) sont conservées en l'état;
A l'utilisateur de les supprimer à l'import si nécessaire (supprimer le tag _ETI qui indique une étiquette (texte libre) pour une fiche ou un point particulier)

(*) nécessite l'utilisation d'un utilitaire tiers (IMdisk Toolkit, etc...) pour installer un lecteur de disque en mémoire vive. Configurez de préférence un RamDisk de 256 ou 512Mo (au moins 3 à 4 fois la taille du gedcom d'origine) (cf ImDisk Toolkit par exemple)
Le script détectera la lettre du lecteur à partir du moment où le nom du volume s'appelle RamDisk
Les fichiers temporaires seront alors écrits en RAM sans passer par un disque dur/SSD plus lent.

Cordialement
Thierry
 
Dernière édition:
Je viens de tester la version du 11/11/2024.
Aucun import de nom, la liste des noms et prénoms lors de l'import du gedcom créé est complétement vide.
 
Fichiers joints
  • Capture-1.jpg
    Capture-1.jpg
    37.3 KB · Affichages: 5
Je viens de tester la version du 11/11/2024.
Aucun import de nom, la liste des noms et prénoms lors de l'import du gedcom créé est complétement vide.
Bonjour JR,
Désolé, je pense avoir trouvé le bug, il s'agit du traitement de _UST SEPARATED qui provoquait cela; J'avais supprimé un caractère malencontreusement dans le script...

J'ai corrigé le script, dites moi si OK maintenant.

Le problème n'arrive que si le gedcom Heredis contient donc un couple séparé (sous Heredis c'est indiqué "séparation" pour le status) :
1731479494514.png

A noter la dernière version prend en compte également
- Traduction EVEN Union Libre en tag _CCB (Concubinage)
- Prise en compte des événements de type Pension, Cessions, Fondation

Cordialement
Thierry
 
Dernière édition:
Traitement d'un petit fichier de 780 personnes effectué sans souci.

Par contre lors traitement d'un fichier d'environ 65000 personnes. Blocage au traitement des médias.
 
Fichiers joints
  • Capture-1.jpg
    Capture-1.jpg
    144.3 KB · Affichages: 8
Bonjour JR,
En fait le script ne bloque mais il prend un temps très très très grand pour faire une conversion UTF-8 / ANSI ( nécessaire pour détecter les noms de fichiers qui sont codés en caractères Windows-1252/ANSI lorsque qu'ils utilisent des caractères accentués). Il n'est pas très utilisable avec cette fonction pour les gros fichiers.
Je vais essayer de trouver une méthode plus performante ce WE; en attendant j'ai débrayé cette fonctionnalité de vérification de présence de fichier dans le script. (bien reçu le fichier de test)

Cordialement
Thierry
 
Dernière édition:
Nouvelle version 2024.11.16 en attendant de faire une modification plus performante pour la liste des fichiers multimédia :

Correctifs :
- Amélioration du temps de traitement de l'option de vérification des fichiers (pour les gros fichiers)
(Le temps, malgré l'amélioration, peut être important mais reste raisonnable : environ 0,5M de lignes gedcom finales par minute)
- Dans certains cas les calculs du temps restant pouvait être erronés (débordement variables batch)

Evolutions et améliorations :
- Option "vérification fichier" par défaut (débrayable)
- Création d'un fichier .CSV (nom_gedcom-files.csv) indiquant la liste des fichiers multimédia appelés par le fichier gedcom (si option vérification fichier)
format CSV produit = Taille;Ligne;xRef gedcom;Info;tag evt associé;Nom du fichier
la taille vaut ? si le fichier n'est pas été trouvé (manquant)

Cordialement
Thierry
 
Dernière édition:
Mise à jour pour version 2024.11.17
Correctifs :
- Correction % avancement pour vérification présence fichier (prenait la taille du gedcom d'origine); Or la taille du gedcom finale est généralement différente.
- Correction calcul % si heure < 10h du matin (régression avec une erreur de syntaxe dans 2024.11.16)

Evolutions et améliorations :
- Affichage % d'avancement dans la 1er passe plutôt qu'un décompte du nombre de ligne
 
Dernière édition:

gratuit

Retour
Haut