Vous êtes sur la page 1sur 4

Prévisions météo pour 2019

LOG
● Entrainement des objets
○ Plateforme avec couleur unie
○ Soustraction du fond
○ Détection contour objet
○ Avantages
■ Bounding box seraient automatisées
■ Permet d’appliquer différents fonds
■ Permet de prendre facilement plusieurs angles
○ Désavantages
■ None

● Text-to-speech local
○ Trouver une solution avec un son clair et fort
○ Explorer les solutions payantes :
https://www.nuance.com/mobile/mobile-solutions/vocalizer-expressive.html
Essayer d’avoir une commandite

● Speech-to-text local
○ Ajouter hotword detection pour minimiser l’utilisation du stt
■ https://medium.com/@genefoxwell/snowboy-hotword-detection-in-ros-47f
28815e1d6
○ Trouver une solution fonctionnelle

● Mini-projecteur
○ Petit projecteur devant sara qui affiche de l’information au sol
■ Path qu’elle compte emprunter
■ Endroit ou l’opérateur doit se mettre
■ Message
■ État du robot
○ Voir :
https://www.researchgate.net/profile/Robert_Krug/publication/280154526_That%
27s_on_my_Mind_Robot_to_Human_Intention_Communication_through_on-boa
rd_Projection_on_Shared_Floor_Space/links/55acefd008aea3d08686265e/Thats
-on-my-Mind-Robot-to-Human-Intention-Communication-through-on-board-Projec
tion-on-Shared-Floor-Space.pdf?origin=publication_detail

● Émotions du robots
○ Favoriser un output via la face principalement pour le debug et facilement
connaître l’état du robot
○ Ajouter des confirmations sonores via wm_soundboard
○ Le mouvement de la tête devrait faire partie des émotions
■ Suivre la face de l’opérateur : à l’écoute
■ Navigation : craintive, prudente
■ Cherche un opérateur : curieuse
○ Le mouvement du bras est override par la prise d’objet
■ S’il n’est pas en cours d’utilisation, peut être utilisé pour les émotions
■ Vérifier aussi si le bras tient un objet
○ Créer un outil pour créer des émotions statiques et dynamiques facilement
exportable pour le arduino et trouver un moyen de configurer le arduino pour
importer et modifier de nouvelles émotions sans modifier le code directement
(assez d’espace dans EEPROM ?)
○ Références
■ https://en.wikipedia.org/wiki/Dialogue_system
■ https://www.ncbi.nlm.nih.gov/core/lw/2.0/html/tileshop_pmc/tileshop_pmc
_inline.html?title=Click%20on%20image%20to%20zoom&p=PMC3&id=3
871074_sensors-13-15549f1.jpg
■ Paper salem2017.pdf
○ Créer un emotion engine qui change l’émotion selon plusieurs facteurs :
■ se sent seule si elle ne voit personne après un certain moment
■ se sent heureuse si elle voit des gens
■ confuse si elle ne comprend pas une question
■ linked à la face, aux mouvement du bras, de la tête, au speech
■ speech sentiment analysis
○ Intégrer la détection d’émotions qui servirait d’input pour l’emotion engine

● Meilleure navigation
○ Trouver quelle nav est utilisée par Puma (UNAM - Mexique)

● Plus centraliser nos messages ros


○ Les messages
○ Les services
○ Les Action messages

● Explorer l’utilisations des Action messages


○ notamment avec wm_tts

● Reconnaissance de pose
○ Openpose
○ Densepose
● Gesture recognition
○ waving

● Détection hauteur table, tablette pour prendre et déposer objets


○ Surface detection
○ méthode hardcodé
○ simple Kmean avec pcl

● Behavior facilement paramétrable pour l’ouverture de porte, du style storing groceries


(détection de porte fermé)

● VizBox qui ne plante pas… ou créer une autre interface

● Sara main behavior

● Behavior pour s’approche d’une table ou d’un objet de façon sécuritaire

● Behavior pour se rendre à un objet hors de portée


○ Exemple, le robot se rend d’un côté de la table pour trouver les pringles, il le
détecte mais il est hors de portée car il est l’autre côté de la table, se rendre au
point le plus proche et accessible par le robot permettant de prendre les pringles

● Natural language
○ Simplification reconnaissance phrases prédéfinies en utilisant des méthodes déjà
développée dans python (string distance)
■ Hamming distance
■ Levenshtein distance
■ Damerau–Levenshtein distance
■ Jaro–Winkler distance

○ Faire un parser pour le générateur GPSRCmdGen


■ Utiliser les fichiers “ressources” pour parser la grammar
■ Permet de générer les phrases pour rasa_nlu de manière automatique

○ Ajouter des tests pour SPR et GPSR

○ Ajouter d’autres phrases non utilisées en compé mais utiles pour des
présentations
■ What is [ subject ] => Query wikipedia, return description

● GPSR
○ Supporter catégorie 2 et 3
○ Find n’implique pas de prendre l’objet
○ Revoir la méthode d’indentification si rasa_nlu ne suffit plus et que cela devient
trop complexe de gérer chaque cas séparémment.

ÉLÉ
● Even better sound system
● Sound source localization
○ 2 micros shotguns pour reconnaissance vocale
■ tests à effectuer lors d’un angle de 90°, exactement entre les 2 micros
■ sinon, 3 micros, voir pour plus petit micros mais tout de même performant
■ cartes son usb
○ microphone array seulement pour la localisation
● Auto power-on Jetson TX2
○ https://devtalk.nvidia.com/default/topic/1007443/jetson-tx2/auto-start-on-power-o
n/
○ Utiliser un des arduino ou la future carte de Jimmy

MEC