Bonjour,

Je gère mes roms consoles avec ClrMamePro et les fichiers .DAT du site No-Intro. C'est un bon moyen de vérifier que les fichiers des roms sont exactes. Et je les archive en .ZIP pour que ces roms prennent un minimum d'espace sur mon disque dur. Ensuite je scrape les roms zippées avec ARRM pour récupérer les infos et les snapshots des jeux. Et là j'ai constaté que certaines roms pourtant valides ne matchaient pas avec la base de connaissance du site ScreenScraper alors que le jeu y est bien référencé.

Pour forcer le scrap et récupérer les renseignements, je force le MD5 provenant du site ScreenScraper dans ARRM pour chaque jeu qui n'a pas été trouvé (ou erroné) avec la méthode traditionnelle MD5 + nom du fichier. Et là ça marche… mais pour un fullset c'est très long.

Aussi, quand je compare le MD5 calculé par ARRM et le MD5 du jeu sur ScreenScraper, ils n'ont pas la même signature. Par contre si je dézippe la rom et que je rescrape le jeu, ARRM et ScreenScraper trouvent le même MD5. Et les renseignements provenant de ScreenScraper sont exactes.

Si ARRM requêtait l'API du site ScreenScraper en indiquant également le MD5 de la rom contenue dans les fichiers compressés, je pense que cela améliorerait le taux de roms trouvées. Je sais que ScreenScraper enregistre aussi la signature MD5 des fichiers compressés en ZIP ou 7Z. Seulement un même fichier compressé avec telle version de tel logiciel n'aura pas forcément le même MD5 qu'avec une autre version ou un autre logiciel de compression. Et donc leur base de connaissance ne sera jamais suffisamment exhaustive. Alors que la signature MD5 d'une rom valide, elle est immuable.

Bonjour Andearoid,

Avez-vous coché l'option 'dans ZIP' dans le panel 'Scrap options' comme indiqué dans le WIKI ? jujuvincebros.fr/wiki/arrm/doku.php?id=s...ngs-fr#scrap_options

Dans l'affirmatif, pouvez-vous m'envoyer qq roms qui posent soucis que je fasse des tests de mon côté svp (via dl.free.fr ou autres sites)

cdlt

Arff !! Et bien non j'avais loupé cette option. Pas bien malin
Je ne sais pas pourquoi je suis passé devant sans la voir ?!

Merci à vous de m'avoir mis le nez dessus. Ca devrait grandement arranger les choses.
Je vais scraper maintenant comme ça. Je vous tiens au courant.

il y a bcp (trop) d'options, c'est facile de s'y perdre ou d'en oublier
Avec l'options du zip activé, est-ce que cela améliore la précision de la recherche ?

Pour info, seuls les .zip sont gérés avec cette option (pas les .7z, .rar etc)

Il vaut mieux avoir plus d'options que pas assez. Juste faire attention et ne pas se précipiter. Par rapport aux autres logiciels de scraping j'apprécie avec ARRM de pouvoir scraper juste une rom ou une sélection de roms précise et pas tout le dossier de roms à chaque fois

Du coup, depuis j'ai rescrapé un petit romset Megadrive 32X de 77 roms. Et avec l'option "dans .ZIP" cochée, ARRM a pu me retrouver 3 roms zippées supplémentaires sur ScreenScraper :
. Brutal - Above the Claw (USA).32x
. Golf Magazine Presents - 36 Great Holes Starring Fred Couples (Europe).32x
. Golf Magazine Presents - 36 Great Holes Starring Fred Couples (Japan, USA).32x

Il reste 2 roms "Ecco the Dolphin (USA) (Demo) (Developer Cart).32x" et "Pinocchio (Europe) (Proto) (1995-06-12).32x" qui ont une jaquette Megadrive au lieu de 32X. Mais ce n'est pas un défaut d'ARRM.

J'ai ensuite scrapé un romset Master System un peu plus gros. 568 roms. Et là aussi j'ai 27 roms supplémentaires trouvées :
. Aventuras da TV Colosso, As (Brazil).sms
. Baku Baku (Brazil).sms
. Battle Out Run (Europe, Brazil).sms
. Blade Eagle ~ Blade Eagle 3-D (World).sms
. Bubble Bobble ~ Dragon Maze (Europe, Brazil).sms
. Columns ~ Shapes and Columns (USA, Europe, Brazil).sms
. Danan - The Jungle Fighter (Europe, Brazil).sms
. Enduro Racer ~ Super Cross (USA, Europe, Brazil).sms
. F-16 Fighter ~ F-16 Fighting Falcon (USA, Europe, Brazil).sms
. Fantasy Zone II (USA, Europe, Brazil).sms
. Great Golf ~ Masters Golf (World).sms
. Hwarang-ui Geom (Korea).sms
. Jogos de Verao II (Brazil).sms
. Ppang Gongjang (Korea) (Unl).sms
. Pro Yakyuu , The - Pennant Race (Japan).sms
. Putt & Putter ~ Minigolf (Europe, Brazil).sms
. Sagak-ui Bimil (Korea) (Unl).sms
. Samgukji 3 (Korea) (Unl).sms
. Shadow Dancer - The Secret of Shinobi ~ Shadow Dancer (Europe, Brazil).sms
. Slap Shoot (USA) (Beta).sms
. Space Harrier 3-D ~ Space Harrier 3D (USA, Europe, Brazil).sms
. Summer Games ~ Jogos Olimpicos (Europe, Brazil).sms
. Super Wonder Boy ~ Wonder Boy (Japan, Europe).sms
. Tennis Ace ~ Super Tennis (Europe, Brazil).sms
. Wimbledon II ~ Wimbledon (Europe, Brazil).sms
. World Cup Italia '90 ~ Super Futebol II (Europe, Brazil).sms
. World Soccer ~ Great Soccer ~ Super Futebol (World).sms

Et 6 roms qui n'avaient pas le bon snapshot et/ou la bonne description qui ont été corrigées :
. E-SWAT (USA, Europe, Brazil) (Beta 1).sms
. E-SWAT (USA, Europe, Brazil) (Beta 2).sms
. E-SWAT (USA, Europe, Brazil) (Beta 3).sms
. E-SWAT (USA, Europe, Brazil) (Rev 1).sms
. E-SWAT (USA, Europe, Brazil).sms
. Great Soccer (Taiwan) (Unl).sms

Donc dans l'ensemble c'est plutôt efficace.

Par contre j'ai encore des erreurs sur certaines roms :
. Excellent Dizzy Collection, The (Europe) (En,Fr,De,Es,It) (Proto).sms
. Simpsons, The - Bart vs. the Space Mutants (Europe, Brazil).sms
. Simpsons, The - Bart vs. the World (Europe, Brazil).sms
. Smurfs, The (Europe, Brazil) (En,Fr,De,Es).sms
. Spider-Man (USA, Europe, Brazil).sms
. Tom & Jerry (Europe, Brazil) (Beta).sms
. Winter Olympics (Brazil) (En,Fr,De,Es,It,Pt,Sv,No).sms
. Winter Olympics (Europe) (En,Fr,De,Es,It,Pt,Sv,No).sms

Pour ces roms, ARRM recherche sur ScreenScraper avec le MD5 du .Zip alors que l'option "dans .ZIP" est bien cochée.
MD5 vérifié de mon côté avec Md5Checker et comparé à la valeur indiquée dans scrape_log.txt.

Mais petite remarque qui a peut-être son importance : si dans ROM informations je clique sur le bouton MD5, ARRM m'affiche le MD5 du fichier .Zip dans le champ MD5 du jeu. Puis 2 à 3 secondes après une popup s'ouvre "Changer le nom ? Le nom correspondant au MD5 du fichier est le suivant : Winter Olympics - Lillehammer '94 Souhaitez-vous modifier le nom du jeu [oui] [non]". Et au même moment le champ MD5 du jeu s'autocorrige avec le MD5 de la rom contenue dans le fichier .Zip. A partir de là, si je sauvegarde et que je scrape sur ScreenScraper, descriptions, images et jaquettes sont correctes.

Je me dis que pour calculer le MD5 du fichier contenu dans le fichier compressé, il y a peut-être un délais maximum. Et que si celui-ci expire, ARRM envoie sa requête à ScreenScraper avec le premier MD5 trouvé (celui du Zip) pour ne pas pénaliser les performances.

J'ai mis ces roms zippées à cette adresse si besoin : ufile.io/tne547sj
C'est une archive 7Z avec un mdp pour éviter qu'il soit supprimé par les sniffeurs.
Le mdp pour décompresser le fichier 7Z est : gringole

Je vais continuer à scraper mes autres sets de roms. Si je vois des choses particulières, je vous dis.

merci pour ce retour bien détaillé.
Grâce à vos tests, j'ai pu débusquer un bug : Lors du calcul du MD5, je faisais la recherche sur screenscraper avec le MD5 seul sans passer la plateforme (console) en paramètre ce qui pouvait engendrer des erreurs.
J'ai ainsi pu récupérer les bonnes informations sur les jeux que vous m'avez envoyé.
Je suis en train de corriger tout cela et d'intégrer également la gestion des archives en .7z
Je vous ferai passer au plus tôt une version de test.

Je viens de tester avec l'implémentation de .7z. : Ca marche bien. je me suis amusé à 7zipé le Winter Olympics - Lillehammer '94 en donnant au fichier sms un nom bidon et un nom d'archive .7z bidon avec d'autres fichiers dans l'archive et la recherche par MD5 a bien fonctionné.
Je pense vous mettre à dispo la version de test, demain jeudi en fin de journée


Encore merci
Cdlt

Je vous ai envoyé sur votre adresse gmail une version de test, qui devrait corriger les soucis de recherche avec MD5.

Cdlt

Bonjour,

J'ai scrapé dur tous mes romsets No-Intro ces derniers jours avec la toute dernière version 1.8.0.x. La pertinence et le nombre de roms trouvées est grandement amélioré. Par rapport à la version précédente de ARRM mais aussi par rapport aux autres logiciels de scrap que j'ai pu utiliser auparavant.

Pour les tests, mes roms sont zippées et vérifiées avec ClrMamePro.
Les sets No-Intro datent du mois de septembre et sont tous complets (ou presque).

Master System = 580 roms
. ARRM 1.8.0.x = 0 manquant
. ARRM 1.7.7.x = 22 manquants
. Skraper = 30 manquants
. UXS = 31 manquants

Megadrive = 2373 roms
. ARRM 1.8.0.x = 2 manquants
. ARRM 1.7.7.x = 53 manquants
. Skraper = 75 manquants
. UXS = 32 manquants

Megadrive - 32X = 87 roms
. ARRM 1.8.0.x : 4 manquants
. ARRM 1.7.7.x : 11 manquants
. Skraper : 10 manquants
. UXS : 13 manquants

Game Gear = 512 roms
. ARRM 1.8.0.x : 1 manquant
. ARRM 1.7.7.x : 16 manquants
. Skraper : 20 manquants
. UXS : 20 manquants

NES = 2840 roms
. ARRM 1.8.0.x : 8 manquants
. ARRM 1.7.7.x : 79 manquants
. Skraper : 96 manquants
. UXS : 115 manquants

NES - Family Disk System = 325 roms
. ARRM 1.8.0.x : 2 manquants
. ARRM 1.7.7.x : 4 manquants
. Skraper : 3 manquants
. UXS : 3 manquants

Super NES = 3725 roms
. ARRM 1.8.0.x : 9 manquants
. ARRM 1.7.7.x : 52 manquants
. Skraper : 17 manquants
. UXS : 63 manquants

Super NES - Sufami = 13 roms
. ARRM 1.8.0.x : 0 manquant
. ARRM 1.7.7.x : 0 manquant
. Skraper : 0 manquant
. UXS : 0 manquant

Super NES - Sattelaview = 256 roms
. ARRM 1.8.0.x : 18 manquants
. ARRM 1.7.7.x : 57 manquants
. Skraper : 48 manquants
. UXS : 50 manquants

Nintendo 64 = 1027 roms
. ARRM 1.8.0.x : 43 manquants
. ARRM 1.7.7.x : 74 manquants
. Skraper : 63 manquants
. UXS : 72 manquants

Game Boy = 1645 roms
. ARRM 1.8.0.x : 5 manquants
. ARRM 1.7.7.x : 65 manquants
. Skraper : 72 manquants
. UXS : 81 manquants

Game Boy Color = 1468 roms
. ARRM 1.8.0.x : 14 manquants
. ARRM 1.7.7.x : 56 manquants
. Skraper : 81 manquants
. UXS : 85 manquants

Game Boy Advance = 3154 roms
. ARRM 1.8.0.x : 55 manquants
. ARRM 1.7.7.x : 94 manquants
. Skraper : 81 manquants
. UXS : 97 manquants

Pokemon Mini = 44 roms
. ARRM 1.8.0.x : 0 manquant
. ARRM 1.7.7.x : 0 manquant
. Skraper : 0 manquant
. UXS : 0 manquant

PC Engine = 409 roms
. ARRM 1.8.0.x : 3 manquants
. ARRM 1.7.7.x : 14 manquants
. Skraper : 24 manquants
. UXS : 3 manquants

SuperGrafx = 5 roms
. ARRM 1.8.0.x : 0 manquant
. ARRM 1.7.7.x : 0 manquant
. Skraper : 1 manquant
. UXS : 0 manquant

NeoGeo Pocket = 11 roms
. ARRM 1.8.0.x : 0 manquant
. ARRM 1.7.7.x : 2 manquants
. Skraper : 2 manquants
. UXS : 2 manquants

NeoGeo Pocket Color = 119 roms
. ARRM 1.8.0.x : 0 manquant
. ARRM 1.7.7.x : 18 manquants
. Skraper : 21 manquants
. UXS : 18 manquants

De manière globale il n'y a plus d'erreur de snapshot (capture écran du jeu) et de description. Par contre sur certains romsets, j'ai pu observer rapidement qu'il restait encore quelques erreurs de boxart. Comme par exemple des jeux japonais qui affichent une jaquette US que l'on utilise l'option "Force Media Japan" ou non.

Je vais essayer d'approfondir ça en identifiant toutes les roms qui n'affichent pas le bon boxart. Mais il est probable que le problème ne vienne pas de ARRM mais de la base ScreenScraper.

Je vous tiens au courant.

Bonjour Andea,

Un grand merci pour ce test très détaillé !!!
M'autorisez-vous à l'utiliser dans le WIKI ?

En ce qui concerne les medias le choix du média se fait ainsi :

Le media récupéré est celui de la langue de l'interface d'ARRM donc fr, us, de, sp, pt.
Dans le cas de l'interface en FR, la recherche se fait dans cet ordre (le premier trouvé):
fr, eu, wor, us, uk, jp, sp, ss

Si le media JAP est coché et que le media est présent sur screenscraper, il sera sélectionné, sinon le choix sera celui indiqué au-dessus.
Donc il est tout à fait possible d'avoir JAP coché et de se retrouver avec un media Europe ou World ....


Je vous envoie par mail dans la journée une nouvelle version dont voici le changelog (la recherche de jeux n'est pas impactée)

* Modification du panel filter : désormais c'est un panel avec onglet : 'Filtres', 'Recherches'
* Ajout dans le panel filtre des cases à cocher 'sans screenshot', 'sans boxart', 'sans marquee', 'sans manuel'
* Ajout d'un champ 'Manual' dans la database
* Ajout d'un champ 'Région' (de la forme 'us,eu,jp...) dans la database contenant les régions d'un jeu donné .
* Affichage des drapeaux de régions dans les mix si la balise <region> est à 'true'. Paramètrable dans les fichiers template (balise region1 et region2). Tous les templates ont été mis à jour pour permettre l'affichage des drapeaux.
* Si pas de régions disponibles, possibilité d'afficher le drapeau 'World' via la checkbox 'World Flag ?' dans l'onglet Outils
Si vous souhaitez les afficher, éditer le xml du template modifier la balise <region> à TRUE (demande de foclabroc sur discord jujuvincebros)
* Bouton 'Add Flag' dans onglet 'Outils' permettant d'ajouter les drapeaux à l'image sans avoir à rescraper. Il faut que le template sélectionné soit celui utilisé à l'origine sur l'image existante.
* Modification du panel filter + ajout cases à cocher 'sans screenshot', 'sans boxart', 'sans marquee', 'sans manuel'
* La recherche par mot clef sur les roms peut se faire independamment sur le nom du jeu, nom de rom ou description
* Ajout d'un bouton 'Récupére Media' dans le panel 'Outils' permettant de récupérer les wheels des systèmes présents : Pour affichage de la wheel du système séléctionné dans le Panel 'ROM informations'
* Case à cocher devant les éléments textuels du panel 'ROM Information'. Seuls les éléments cochés sont actualisés lors d'un scrap. (demande de Jay sur forum Recalbox)
* Suppression du bouton 'Template auto association' du panel 'Systèmes', redondant avec le bouton 'Auto template'


cdlt
Franck

Bonsoir Franck,

Je vois encore beaucoup de nouvelles fonctionnalités... nous sommes encore décidément fort gâtés^^

J'ai bien installé la préversion 1.8.0.4 et j'ai quelques premières remarques qui me sont venues à l'esprit :

. Les boutons "tout sélection" et "tout déselectionner" sont présents uniquement sur l'onglet "Filtres". Je me sert aussi de ces boutons après une recherche. Les placer au-dessus du tableau au niveau de "XML/Fichiers/Sélectionnés" pourrait-être une solution plus ergonomique.

. J'ai une popup (probablement de debug) qui s'ouvre pendant le scrap pour m'afficher un MD5 et qui attend que je clique sur OK pour continuer la tâche en cours. Il faudra penser à la désactiver sur la release finale.

. J'aime bien l'idée d'afficher le drapeau des langues disponibles pour le jeu sur le snapshot. Pour les roms "No-Intro" ces informations sont directement précisées dans le nom du fichier ex: AirForce Delta Storm (USA) (En,Ja,Fr,De) pour Rom=Américaine + Langues additionnelles=Anglais,Japonais,Français,Allemand. Et j'ai l'impression qu'elles sont souvent plus fiables que les infos de la database ScreenScraper.

Vous pouvez réutiliser mes résultats comparatifs sans restriction. Notez que les scrapes avec UXS et Skraper ont été effectués entre début septembre et la fin octobre. J'ai aussi réalisé plus récemment d'autres tests avec Skraper sur certains de mes romsets, mais je n'ai pas noté les nouveaux scores dans mon fichier Excel parce qu'ils n'étaient pas meilleurs qu'avant. Aussi depuis l'intervention technique sur le serveur Screenscraper fin septembre, les résultats sont beaucoup plus mauvais avec Skraper ?! D'une fois à l'autre, parfois le même jour, on obtient pas toujours le même taux de jeux trouvés pour le même romset. Mais bon... tout ça c'était avant ARRM