OiDbReunion21Mar2014 < Jmmc/Software

Présents

Patrick Bernaud, Laurent Bourgès, Gilles Duvert, Xavier Haubois, Jean-Baptiste !LeBouquin, Guillaume Mella, Johan Olofsson

%TOC%

---+ Etat des lieux
   * Formulaire de recherche
      * combinaison multiple (mecanisme en place offrant a terme possibilité de combinaisons AND + OR )
      * conesearch
      * erreurs remontées, mise en page à définir
   * integration des données L0 VEGA a partir de vega obs
   * amelioration de la soumission
   * extraction des données affichées a travers les menus en debut de ligne : download votable/collection...     

Remarques: 
   * signalement  sur les problemes de coordonnées (collection [[http://apps.jmmc.fr/exist/apps/oidb/search.html?collection=~J%2FA%2BA%2F544%2FA91][J/A+A/544/A91]]):
      * definir le niveau de validation a retenir pour accepter ou pas les fichiers: validation de fichier FITS, application automatique de règles pour rejet, signalement ou passage à administrateur pour revue (backoffice) ([[http://trac.jmmc.fr/jmmc-sw/ticket/551][Ticket #551]])
   * rajouter un champ libre requete adql + demander au cds leur validateurs
   * todo :
      * déplacer l'instance sous http://jmmc.fr/oidb et si possible oidb.jmmc.fr en vue d'un passage sous vm indépendante. 
      * mettre un lien vers l'applauncher si samp n'est pas la (+ menu grisé)
      * ajout d'un mime-type associé à l'oifitsexplorer
      * affiner la notion de subset pour permettre la transmission de la requete posée dans le portail à travers les fichiers oixp (nom étoile, instruments, date...)
      * <strike>classer par colonnes</strike> rajouter interface pour trier/classer par colonnes (déjà possible par paramètres URL, non documenté)
      * ajouter un test de validité de bibcode dans l'injection de de données L3
      * OIFits Explorer devrait pouvoir sauvegarder les fichiers téléchargés par une collection dans un répertoire choisi. On peut imaginer à terme que le service d'extraction (avec filtrage....) soit implementé dans le portail directement.

---+ Echanges points à traiter cours et moyen terme / definition des priorités

---++ Granularité  Priorité n°1
1 fichier, 1 étoile, 1 instrument, 1 unité de temps
   * probleme d'identification de l'étoile: utiliser target_name ou bien utiliser ses coordonnées après resolution Simbad (5 arcsecs) ? si non trouvée => problème à remonter en back-office
   * reste decoupage par nuit MJD+1
      * peut dependre de la longitude du site
   * la notion d'ID (observation) prendra tout son sens en rapport avec la notion de granularité; faut-il utiliser cet ID dans les URL / liens au lieu du nom de fichier OIFITS pour à terme simplifier la notion d'extraction de données pour une observation ?
   * comment traiter les données sans MJD (distinction fichier bien formé / valide) ? utiliser le keyword OBS_DATE ?


---++ infrastructure
Cette action monopolisera le groupe technique en parallele de l'implementation:
   * mise en place d'un cache L1/L2 (analyse local, checksum)
   * clarifier l'architecture avec les archives externes (quelles interfaces)
   * anticiper sur les questions archives a poser avant l'interop
   * montage d'une machine virtuelle dédiée, remplacement de certaines briques obsoletes (DSA/TAP)

---++ metadonnées
   * quid de la gestion des keywords FITS (primary HDU): pour faciliter l'injection de données (detection auto de l'instrument...) ou permettre leur utilisation comme criteres de recherche
   * définir des marqueurs de qualité (valeurs à extraire des fichiers OIFits): calcul du SNR, min/max, moyenne... ([[http://trac.jmmc.fr/jmmc-sw/ticket/579][Ticket 579]])

---++ acces privatif (pas prioritaire pour les 3 mois)
---+++ gestion des droits
   * compliqué si les regles sont trop personnalisées 
   * revenir a la vrai notion de propriété PI de run: ou trouver cette information (la base des observations VEGA connait le PI du run) ?
   * voir besoin gestion personnelle ou par groupe etc ...

---+++ gestion des metadonnées
   * elles sont par principe publiques
   * approfondir quelles méta données sont manquantes çàd quelles informations sont nécessaires pour: 
      * réaliser des requetes avancées (TAP Obscore extension OI) ?
      * les afficher dans une vue détaillée d'une observation et aider à choisir parmi N observations distinctes (mode comparateur)

---++ Back Office:
   Doit-on faire un backoffice: OUI

   Fonctionnalités:
   * gestion des utilisateurs et leurs droits (seulement web master pour l'instant) et des groupes (futur lointain)
   * voir les observations en attente de validation (upload) ou qui ont eu des problemes (OIFits validator, meta données manquantes)
   * vérifier les données saisies par les utilisateurs (champs supplémentaires, commentaires ...)
   * configurer les accès vers les archives externes (CDS, VEGA OBS, ESO?, CHARA ...): URL, périodicité, contact ...
   * vérifier les erreurs d'imports à partir des archives externes (erreurs des traitement automatisés, gestion des doublons/conflits de MAJ)

   Taches de fond du portail (jobs): 
   * interrogation des archives externes: téléchargement des fichiers + BDD externes
   * extraction des meta données à partir des fichiers OIFits + validation
   * résolution des targets SimBad  => ID observation
   * MAJ du cache local
   * MAJ BDD TAP (meta données)

   Attention à la sauvegarde des fichiers et des données propres BDD (saisies des utilisateurs)

   A détailler et approfondir ...

---+ Calendrier
   * venue de Theo 28-30 avril
   * Interop 18-23 Mai Madrid
   * SPIE - Montréal, Quebec, Canada 22 - 27 June 2014
      * un creneau sera libéré pour un talk SPIE meme si actuellement c'est un poster qui est proposé
   * prevoir une réunion fin avril avant arrivée de Theo

---+ Questions
   * quelles sont les statistiques de consultations ? mettre en place les statistiques apache comme pour les autres accès aux serveurs *.jmmc.fr

---+ Infos 
   * l'ESO relance sur le chantier oifits V2 vis a vis de leur futur offre phase3 (pas d'echange avec nous)
   * faut-il faire une communication liste olbin.vo ?

-- Main.GuillaumeMella - 21 Mar 2014
This topic: Jmmc/Software > WebHome > OiDb > OiDbReunion21Mar2014
Topic revision: r5 - 2014-03-26 - LaurentBourges