25
Projet 13 Interaction audio sur le site web du LIA

Projet 13 Interaction audio sur le site web du LIA

Embed Size (px)

Citation preview

Page 1: Projet 13 Interaction audio sur le site web du LIA

Projet 13

Interaction audio sur le site web du LIA

Page 2: Projet 13 Interaction audio sur le site web du LIA

Plan Présentation du projet Les différentes voies La solution retenue Fonctionnement général Session cliente Organisation du projet Bilan et conclusion Perspectives Remerciements Démonstration

Page 3: Projet 13 Interaction audio sur le site web du LIA

Présentation du projet

Démonstrateur : Vitrine du LIA

Utilisable depuis un navigateur web

Pérennité et évolutivité

Echec les deux années précédentes

Page 4: Projet 13 Interaction audio sur le site web du LIA

Les différentes voies

Voie proposée : Flash Plugin Flash Serveur RED5

Autres voies : Java Media Framework Java et HTTP (notre proposition)

Page 5: Projet 13 Interaction audio sur le site web du LIA

La voie Flash

ServeurRED 5

ServeurSPEERAL

Flux audio

CORBA

Flux texte

CORBA

Flux texte

Flash

Navigateur webet

plugin Flash

Retour

Voix

Utilisateur

Flux audio

Flash

Page 6: Projet 13 Interaction audio sur le site web du LIA

La voie Flash

ServeurRED 5

ServeurSPEERAL

Flux audio

Flux texteFlux texte

CORBA

CORBAFlash

Navigateur webet

plugin Flash

Voix

Retour

Codec Nellymoser inexploitable car

propriétaire

Flux audio

Flash

Utilisateur

Page 7: Projet 13 Interaction audio sur le site web du LIA

La voie Java Media Framework

Technologie Java Permet aux médias audio, vidéos et

autres d'être ajoutés aux applets Permet la capture, relecture, flux et

conversion vers divers formats Problème : échecs les années

précédentes A priori instable Configuration réseau spécifique

Page 8: Projet 13 Interaction audio sur le site web du LIA

Recherche d’une nouvelle voie

Existant :

Java Sound API en standard dans le JRE Java API HTTP en standard dans JRE HTTP port 80 exploitable sur toute machine

Solution ?

Page 9: Projet 13 Interaction audio sur le site web du LIA

La voie JAVA et HTTP

JAVA API SOUND

JAVA API HTTP

Notre solution !

Page 10: Projet 13 Interaction audio sur le site web du LIA

Solution retenue :Java et HTTP

Injection flux audio dans méthode POST

Contenant : méthode POST multipart

Contenu : format SPEERAL

Validation sur une ligne remontante à 256 Kb/s

Page 11: Projet 13 Interaction audio sur le site web du LIA

Fonctionnement général de l’application

Page 12: Projet 13 Interaction audio sur le site web du LIA

Fonctionnement de la session cliente

Ouverture session Calibration du silence Découpage du flux en séquences Transcriptions récupérées

Détection silence importante

Page 13: Projet 13 Interaction audio sur le site web du LIA

Fonctionnement de la session cliente

Page 14: Projet 13 Interaction audio sur le site web du LIA

Implémentation

Sous forme d’applet intégrée dans une page HTML (modèle MVC) Modèle : Applet Vue : Page HTML Contrôleur : Applet

Sous forme d’application Java Web Start

Page 15: Projet 13 Interaction audio sur le site web du LIA

Modèle MVC

Page 16: Projet 13 Interaction audio sur le site web du LIA

Applet : interface

Page 17: Projet 13 Interaction audio sur le site web du LIA

Applet : interface

Page 18: Projet 13 Interaction audio sur le site web du LIA

Applet : les interactions

Page 19: Projet 13 Interaction audio sur le site web du LIA

Applet : sécurité

Applet non signée : pas d’accès aux ressources du client (sandbox)

Solution : signer l’applet

Problème depuis Java 2 : Certificat certifié Modification du fichier .java.policy en local

Page 20: Projet 13 Interaction audio sur le site web du LIA

Java Web Start

Application utilisable à partir du web

Plus de contraintes de sécurité

Peu de réécriture de code => modèle MVC

Page 21: Projet 13 Interaction audio sur le site web du LIA

OrganisationFrançois Jean-Charles Daniel

- Installation du serveur RED5 à l'IUP - Installation du serveur RED5 à l'IUP - Installation du serveur RED5 à l'IUP- Installation du serveur SPEERAL à l'IUP - Installation de Java sur le serveur - Installation de Java sur le serveur- Développement d'une version de test en Flash

- Documentation interactions Javascript > Flash

- Tests réseau (vitesse d'upload sur le serveur...)

- Travail sur l'interface graphique

- Tentative de conversion flv > flash : Point bloquant

- Mise en place d'une première page HTML avec interaction entre Javascript et Flash

- Expérimentation de JMF, étude faisabilité - Expérimentation de JMF, étude faisabilité - Expérimentation de JMF, étude faisabilité

- Tests en local puis "grandeur nature" - Tests en local puis "grandeur nature" - Tests en local puis "grandeur nature"

- Solution trouvée : applet Java + requêtes HTTP

- Travail sur l'interface graphique Java - Travail sur l'interface graphique HTML

- Etude faisabilité - Travail sur le contrôleur - Interactions Javascript > Java- Développement du modèle - Travail sur le contrôleur- Développement du dispatcher- Test d'une version ligne de commandes - Travail sur l'interface graphique Java - Travail sur le contrôleur- Premiers tests - Premiers tests - Travail sur l'interface graphique HTML- Mise en place d'un premier prototype (applet et webstart)

- Mise en place d'un premier prototype (applet et webstart)

- Assemblage Modèle-Vue-contrôleur

- Développement d'un prototype basé sur des commandes

- Rédaction du rapport et présentation powerpoint

- Premiers tests

- Rédaction du rapport et présentation powerpoint

- Mise en place d'un premier prototype (applet et webstart)- Mise en place interface Web pour prototype basé sur des commande- Rédaction du rapport et présentation powerpoint

Janvier

Février- Tests réseau (vitesse d'upload sur le serveur...)

Fin février : Abandon de Flash, recherche d'une alternative

Mars

Début mars : Abandon de JFM, recherche d'une alternative

Avril

Mai

Page 22: Projet 13 Interaction audio sur le site web du LIA

Bilan et conclusion Beaucoup de mauvaises surprises

Malgré les difficultés : objectif atteint Prototype fonctionnel Facilement réutilisable Documentation technique

Nous avons réalisé 3 déclinaisons : Applet Java de transcription de la parole Application Java Web Start Applet Java de commandes vocales interactives

Page 23: Projet 13 Interaction audio sur le site web du LIA

Perspectives Un certificat de sécurité pour le LIA ? Amélioration de l’application :

Codage SPEEX Serveur HTTP spécifique …

Croisement avec d’autres projets (ex : voyageur de commerce…)

Navigation vocale à travers un proxy dédié (handicapés)

Page 24: Projet 13 Interaction audio sur le site web du LIA

Remerciements

Georges Linares pour son aide dans la mise en oeuvre de SPEERAL et IWSRV

Benoît Favre pour son rôle de tuteur et son apport au projet (calibration du silence)

Pascal Nocéra et Anthony Larcher pour leur rôle de tuteur

Page 25: Projet 13 Interaction audio sur le site web du LIA

Démonstration

en salle PC 1