Bienvenue, Invité

SUJET : Scrap de romsets Arcade type FBNeo et Mame

Scrap de romsets Arcade type FBNeo et Mame 23 Jan 2020 04:05 #781

  • Andearoid
  • Portrait de Andearoid
  • Hors Ligne
  • Posteur du Dimanche
  • Messages : 28
  • Remerciements reçus 10
  • Karma: 0
Bonjour,

J'espère que vous allez bien.
Pour moi tout a scrapé plutôt bien grâce à vous :)

Je me suis penché dernièrement sur le scrap des fullsets FinalBurn Neo 0.2.97.44 et MAME 0.214 (uniquement les "working") que j'utilise dans ma Batocera 5.24. Ce sont des romsets très récents et un bon nombre de jeux ne sont pas identifiés par ScreenScraper ou par le système de Core interne dans ARRM qui s'appuie (si je ne me trompe pas) sur la base Access "bestarcade4recalbox".

Du coup, j'ai écrit une petite moulinette sans prétention en C# pour retrouver le nom exacte et complet de toutes les roms. Elle parse et modifie le fichier gamelist.xml généré par ARRM en se référant au fichier .dat des émulateurs.

Dans le fichier .dat (c'est du XML) on peut retrouver le nom de toutes les roms de la librairie lr-mame 0.214 de la Batocera 5.24. Il suffit de télécharger l'émulateur Mame en version 0.214 et d'utiliser cette commande "mame.exe -listxml >Mame.dat" pour créer le fichier .dat qui correspond au Core 0.214. Même chose pour FinalBurn Neo sauf que la commande est "fba.exe -listinfo >FBNeo.dat".

Sachant que RetroArch supporte déjà la lr-mame 0.217, il est fort probable que la Batocera 5.25 en propose de même. On peut alors facilement retrouver tous les nouveaux noms du Core 0.217 sans avoir besoin d'attendre que les jeux soient référencés sur ScreenScraper ou ajouté à la "bestarcade4recalbox".

J'ai mis cette moulinette en téléchargement ici : s000.tinyupload.com/index.php?file_id=04219223141620947175

Dans le fichier .7z il y a :
. le code source de la moulinette
. le binaire compilé
. les fichiers .dat des 2 émulateurs FBNeo et Mame
. les fichiers gamelist.xml de mes romsets généré par ARRM (sans scraper)
. les fichiers gamelist.xml de mes romsets après la moulinette
. des fichiers .bat pour montrer comment utiliser la moulinette en ligne de commande

On peut facilement comparer les fichiers .xml avec Beyond Compare pour voir les modifications apportées par la moulinette.

Les sources peuvent être compilées avec Visual Studio. Ma version est une 2012 et le code est très simple, il n'y a pas d'appel vers des librairies exotiques pour explorer le XML. Donc ça doit pouvoir se compiler/débugger directement sur des Visual Studio plus récents.

Le principe est très simple. Un nom de fichier ZIP correspond au nom du jeu. Ex : garouha.zip <=> Garou - Mark of the Wolves (NGH-2530). On mémorise tout ça dans un tableau de correspondance et quand on parcourt le fichier gamelist.xml, lorsqu'on trouve le nom du fichier .zip, on remplace le nom par celui qui lui correspond.

Inconvénient, si on a modifié manuellement le nom d'un jeu dans ARRM, la moulinette écrase la modification par le nom précis fourni par l'émulateur. Normalement ça ne devrait pas faire souci, mais ça peut avoir son importance.

Je pense avoir tout dit... si ça peut rendre service, c'est à qui veut ;)
L'administrateur a désactivé l'accès en écriture pour le public.
The following user(s) said Thank You: nex

Scrap de romsets Arcade type FBNeo et Mame 23 Jan 2020 17:27 #782

  • nex
  • Portrait de nex
  • Hors Ligne
  • Administrateur
  • Messages : 81
  • Remerciements reçus 15
  • Karma: 3
Bonjour

Beau travail votre moulinette, félicitations. Et de plus sans passer par les librairies dédiées xml.
Effectivement je n'avais plus touché à la database_mame depuis la création d'ARRM.
J'en ai profité pour la mettre à jour avec les donnés issues de votre fichier .dat. (j'ai un bouton caché qui permet cela). La database mame/arcade est donc passée de 9800 entrées à environ 40000.

J'en profite pour vous faire passer la dernière beta : 1816.

* Ajout d'un bouton 'Forcer cet ordre ->' (dans l'onglet Scrap Options) permettant de forcer la recherche de media/textes dans l'ordre des pays indiqués dans le textbox associé. Les options 'force media / Seulement' restent cependant actives. Voir les infos bulles pour plus d'infos.
* Ajout d'un bouton 'Affectation des media 'Screenscraper' (dans l'onglet Options générales) amenant à une fenêtre permettant d'affecter le media screenscraper voulu aux tag de la gamelist.xml
* Désormais ARRM récupère les videos normalisées (video-normalized) de Screenscraper à la place des videos (video), qui sont pour la plupart de taille inférieure et l'utilisateur peut ainsi choisir de ne pas les compresser.
* Trouve un peu plus de bezels/overlays
* Mise à jour de la database Mame interne. Utilisée pour retrouver les noms des jeux Mame/Fb/Neogeo lors du chargement initial avant scrap (demande d'Andearoid)

lien de téléchargement : ARRM 1.8.1.6 Beta 1

Le fichier 'recalbox_gamelist.mdb' doit remplacer celui du répertoire %appdata%\Nexouille Soft\arrm\Database\

cdlt
Franck
Better them than me !!
Dernière édition: 23 Jan 2020 20:21 par nex.
L'administrateur a désactivé l'accès en écriture pour le public.
The following user(s) said Thank You: Andearoid

Scrap de romsets Arcade type FBNeo et Mame 24 Jan 2020 03:53 #783

  • Andearoid
  • Portrait de Andearoid
  • Hors Ligne
  • Posteur du Dimanche
  • Messages : 28
  • Remerciements reçus 10
  • Karma: 0
Les librairies XML c'est très carré et bien pratique mais ça mouline beaucoup. Pour ma moulinette très basique ce n'était pas justifié. Maintenant, si j'avais su que vous aviez un petit bouton sous votre bureau pour mettre le fichier Access à jour en 2 4 6, je ne me serai même pas donné ce mal^^ tout est déjà là :silly:

J'ai testé la 1.8.1.6 beta en remplacant bien le fichier .mdb. Au premier chargement du dossier "mame", tous les noms de mon romset lr-mame 0.214 ont bien été trouvés. Plus besoin de ma moulinette. Seul petit reproche, on perd les majuscules sur les noms.

Par contre je n'ai pas testé avec d'autres romsets plus anciens comme le lr-mame 2003 (0.78) ou lr-mame 2010 (0.139). Je ne les utilise plus. Mais je sais que parfois il faut faire attention. D'une version à l'autre de Mame, le nom des jeux et de leurs fichiers .zip évoluent et peuvent changer. Je dis ça parce que je crois que ces très anciennes versions de Mame sont plus adaptées aux performances matérielles du Raspberry Pi. Et qu'il y a de nombreux utilisateurs.

Concernant la 1.8.1.6 beta je vois qu'il est maintenant possible d'affecter le média au tag XML que l'on veut dans le fichier gamelist.xml. Je trouve cette fonctionnalité très intéressante. Notamment pour le thème design.

J'ai laissé une trace sur le forum Batocera concernant la balise <video> d'EmulationStation (pour avoir la vidéo incrustée dans la TV comme sur le thème Next Pixel) : forum.batocera.org/d/3053-how-to-set-a-b...ationstation-s-theme

Et j'ai réussi a avoir un échange avec un certain Fabrice Caruso autour de ce sujet : github.com/batocera-linux/batocera-emulationstation/issues/321

Mais il ne semble pas très réceptif... en revanche pour ce qui est des tags XML ça pourrait vous intéresser.
L'administrateur a désactivé l'accès en écriture pour le public.
The following user(s) said Thank You: nex

Scrap de romsets Arcade type FBNeo et Mame 24 Jan 2020 12:14 #784

  • nex
  • Portrait de nex
  • Hors Ligne
  • Administrateur
  • Messages : 81
  • Remerciements reçus 15
  • Karma: 3
Bonjour et merci pour cet échange.
J'ai donc modifié le programme pour prendre en compte le tag Thumbnail.
Via le formulaire 'Affectation des media 'Screenscraper', il est désormais possible d'affecter au TAG thumbnail un des éléments suivants BOXART, SCREENSHOT, CARTRIDGE, MARQUEE, MIX, IMAGE. Thumbnail sera créé lors de la sauvegarde de la gamelist.xml

J'en ai profité pour indiquer dans la form ' Affectation des media 'Screenscraper' les TAGs officiels et les non officiels qui me servent pour alimenter la database et comme vous l'avez mentionné dans le thread, pour recomposer les mix.




Au sujet d'EmulationStation, des personnes ajoutent des fonctionnalités, et comme vous le signalez il serait peut être utile qu'ils ajoutent des tags supplémentaires (tels que ceux que j'utilise, ou d'autres) en plus d'image, thumbnail et marquee.

Vous trouverez la mise à jour ici (exécutable seul) : jujuvincebros.fr/telechargements2/file/7...ta-3-executable-only
Mirror link : cutt.ly/hrWdO28


cdlt
Franck
Better them than me !!
Dernière édition: 24 Jan 2020 18:30 par nex.
L'administrateur a désactivé l'accès en écriture pour le public.

Scrap de romsets Arcade type FBNeo et Mame 25 Jan 2020 04:48 #785

  • Andearoid
  • Portrait de Andearoid
  • Hors Ligne
  • Posteur du Dimanche
  • Messages : 28
  • Remerciements reçus 10
  • Karma: 0
Bonjour,

Je viens de tester la nouvelle Beta 3. Et dans mon cas, la prise en compte du tag <thumbnail> c'est trop bien. J'ai assigné le screenshot et ça fonctionne.

Par contre j'ai un problème avec le tag <image> ?! Quand je scrape, la cellule "image" du DataGrid est bien alimentée. J'ai le même chemin que dans la cellule "mix". Par contre dans le fichier gamelist.xml la balise XML <image></image> n'est pas enregistrée.

Ex. pour le jeu 005 (Mame) :
<game>
    <path>./005.zip</path>
    <name>005</name>
    <desc>Un jeu d'infiltration de Sega sorti bien avant Metal Gear, quels précurseurs ! 
Vous jouez le rôle d'un voleur, voir espion qui doit dérober des mallettes au contenu mystérieux. 

Vous pouvez vous déplacer dans toutes les directions et tirer, ce qui aura pour effet d'assommer vos ennemis, simple et efficace. 
Vous commencez dans une petite ville qui fait office de sélecteur de mini-jeux, les 2 disponibles sont les suivants: 

- dans un entrepôt où vous devez esquiver des veilleurs de nuit et leur lampe torche 
- dans une patinoire (?!?) où vous serez poursuivi par la police 

Le but de ces mini jeux est de s'échapper en hélicoptère, dès que vous aurez terminé ces 2 niveaux vous aurez accès à une phase où vous dirigerez l'hélico. 7 mallettes à récupérer en tout, courage !</desc>
    <rating>0.2</rating>
    <releasedate>19810101T000000</releasedate>
    <developer>Sega</developer>
    <publisher>Sega</publisher>
    <genre>Action / Labyrinthe, Shooter Small, Action</genre>
    <players>1-2</players>
    <marquee>./#snaps/005_screenscraper_wheel_arrm.png</marquee>
    <boxart>./#snaps/005_screenscraper_boxart_arrm.png</boxart>
    <screenshot>./#snaps/005_screenscraper_screenshot_arrm.png</screenshot>
    <mix>./#snaps/005_screenscraper_mix_arrm.png</mix>
    <thumbnail>./#snaps/005_screenscraper_screenshot_arrm.png</thumbnail>
    <video>./#records/005_screenscraper_video_arrm.mp4</video>
    <playcount>0</playcount>
    <lastplayed />
    <md5 />
    <region>wor</region>
  </game>

Du coup dans EmulationStation l'image Mix ne s'affiche plus.
Dans mes anciens fichiers gamelist.xml générés avec d'anciennes versions d'ARRM j'ai bien le tag <image> avec le chemin de l'image Mix.

Y'a t'il une option que j'aurai oubliée d'activer dans cette nouvelle version ? Dans l'onglet Images Options j'ai coché : Mix, Box 3D et Récupérer la vidéo. Et dans la fenêtre Screenscraper media, Image est setté sur Mix (grisé non modifiable). Dans la fenêtre Extra Tag, j'ai essayé de remplacer mix par image sous MIX Tag mais j'ai un message "mix doit être présent sur un des tags" qui m'en empêche quand je clique sur Valider.

Sinon concernant la gestion des tags dans EmulationStation, je pense que oui il faudrait plus de tags officiels. Ca serait plus simple pour tout le monde de gérer les média séparément. Aussi bien pour ceux qui veulent créer des thèmes plus étoffés, que pour scraper. Plus besoin de rescraper des media qu'on a déjà ou de les recomposer pour faire un mix. Avec ARRM on peut déjà scraper que les média manquants en triant la colonne qui nous intéresse du DataGrid ou en utilisant les filtres.
L'administrateur a désactivé l'accès en écriture pour le public.

Scrap de romsets Arcade type FBNeo et Mame 25 Jan 2020 08:04 #786

  • nex
  • Portrait de nex
  • Hors Ligne
  • Administrateur
  • Messages : 81
  • Remerciements reçus 15
  • Karma: 3
Bonjour
Pour le tag image j'ai du oublier se le remettre :(
Je m y attele dans la journée
Je pense aussi ajouter un champ thumbnail dans la database . Car le systeme actuel fonctionne en mode 4 images mais dans l autre cas les gamelists ne possede pas les autres tags et de ce fait e tag thumbnail ne sera pas renseigné :(
Pensez à restaurer votre gamelist valide, celle avec le tag image

Franck
Better them than me !!
L'administrateur a désactivé l'accès en écriture pour le public.

Scrap de romsets Arcade type FBNeo et Mame 25 Jan 2020 10:27 #788

  • nex
  • Portrait de nex
  • Hors Ligne
  • Administrateur
  • Messages : 81
  • Remerciements reçus 15
  • Karma: 3
Bonjour
Problème corrigé dans la 1.8.1.6. beta 4 en ligne :
jujuvincebros.fr/telechargements2/catego...rrm-update-correctif

Le problème se produisait lors d'une sauvegarde de la gamelist.xml sans les roms cachées coché.
En ce qui concerne les TAG dans le formulaire 'Extra TAG + Defaut image + video', il est préférable de ne pas y toucher. Cela peut être source de problème. A terme il faudrait que je retire cette fonctionnalité, qui j'espère n'est pas utilisée :)

Je m'attaque à l'ajout du Tag Thumbnail dans la database.
Better them than me !!
L'administrateur a désactivé l'accès en écriture pour le public.

Scrap de romsets Arcade type FBNeo et Mame 25 Jan 2020 18:00 #790

  • nex
  • Portrait de nex
  • Hors Ligne
  • Administrateur
  • Messages : 81
  • Remerciements reçus 15
  • Karma: 3
Bonsoir
j'ai terminé la 1.8.1.7 beta 1 (qui intègre le champ thumbnail dans la database)
dans le fichier joint : cutt.ly/krEoX3M

vous trouverez l'exécutable seul , ainsi que la database et des fichiers textes (à placer dans %appdata%\Nexouille Soft\arrm\Database

* Le tag thumbnail est désormais pris en compte lors du chargement d'une gamelist provenant d'autres scrapers. Lors de la sauvegarde de la gamelist, le tag prendra le media définit dans le forumulaire 'Affectation des media Screenscraper'
* Correction de l'API TheGamesDB qui est de nouveau en ligne
* Correction du tag image qui ne s'écrivait pas dans la gamelist lors d'une sauvegarde de roms sans les roms cachées

Je vous laisse essayer, vous êtes bien meilleur beta testeur que je ne le suis.

cdlt
Franck
Better them than me !!
L'administrateur a désactivé l'accès en écriture pour le public.

Scrap de romsets Arcade type FBNeo et Mame 25 Jan 2020 19:04 #791

  • Andearoid
  • Portrait de Andearoid
  • Hors Ligne
  • Posteur du Dimanche
  • Messages : 28
  • Remerciements reçus 10
  • Karma: 0
Bonsoir,

Je n'ai même pas eu le temps de me reconnecter qu'il y a déjà 2 nouvelles beta dans les tuyaux.
Vous êtes redoutable :evil:

Je vais essayer cette 1.8.1.7 dans la soirée et je vous tiens informé.

Sinon dans la fenêtre Extra Tag j'utilise les options Activation de la récupération des 4 images et Récupérer la vidéo (vidéo TAG). Par contre je n'utilise pas l'Activation des images par défaut quand il manque des images. Ça me permet de savoir s'il me manque des média. Et éventuellement de les ajouter sur ScreenScraper. Par contre je n'ai jamais modifié le nom des tags. A plus tard.
L'administrateur a désactivé l'accès en écriture pour le public.

Scrap de romsets Arcade type FBNeo et Mame 26 Jan 2020 02:21 #792

  • Andearoid
  • Portrait de Andearoid
  • Hors Ligne
  • Posteur du Dimanche
  • Messages : 28
  • Remerciements reçus 10
  • Karma: 0
Pour mon cas... impeccable. J'ai maintenant le bon fichier .png pour chaque tag XML. Et tout s'affiche bien dans mon thème personnalisé pour EmulationStation. :silly:

Voilà ce que ça donne brièvement en vidéo :


Pour générer l'image Mix principale j'utilise les templates NextPixel inclus dans ARRM. Je pense que cela pourra aussi intéresser les auteurs de ce thème pour EmulationStation dès que la version 1.8.1.7 sera confirmée.

C'est trop fort !! Merci beaucoup pour votre outil clairement indispensable.
Dernière édition: 26 Jan 2020 02:21 par Andearoid.
L'administrateur a désactivé l'accès en écriture pour le public.
The following user(s) said Thank You: nex