Investigadores de la Universidad de Toronto han desarrollado Stargazer, un robot de cámara interactivo para videos tutoriales cautivadores que ayudan a los instructores y creadores de contenido.
El equipo de filmación robótico tiene un importante potencial de mercado de consumo, lo que enfatiza la necesidad de que los robots comprendan mejor a los humanos para una mejor colaboración efectiva. El papel del robot es asistir, no reemplazar, a los humanos.
Investigadores de la Universidad de Toronto han creado Stargazer, un robot de cámara interactivo diseñado para ayudar a los instructores universitarios y creadores de contenido a producir videos tutoriales cautivadores que muestran habilidades físicas. Stargazer permite capturar videos instructivos dinámicos, superando las limitaciones de la cámara estática para aquellos que no tienen un camarógrafo.
El brazo robótico de Stargazer tiene una cámara y siete motores. Realiza un seguimiento autónomo de las regiones de interés moviéndose con el sujeto. Los comportamientos de la cámara se adaptan a las señales del instructor, como movimientos corporales, gestos y habla detectada por sensores. La voz del instructor se graba con un micrófono inalámbrico y se envía a Microsoft Azure Speech-to-Text para el reconocimiento de voz. El texto transcrito y un aviso personalizado se envían a GPT-3, un modelo de lenguaje que determina el ángulo y el encuadre deseados de la cámara. Los investigadores dicen que estas señales de la cámara del instructor guían la atención de la audiencia sin interrumpir la instrucción. Por ejemplo, apuntar a las herramientas hace que Stargazer realice una panorámica mientras indica a los espectadores que observen una acción específica desde arriba, lo que da como resultado un encuadre de ángulo alto para una mejor visibilidad.
El equipo apuntó a encontrar señales sutiles para el vocabulario de interacción, eliminando la necesidad de una comunicación separada con el robot. El objetivo es una comprensión perfecta de las tomas de cámara deseadas, integrándose naturalmente en la experiencia del tutorial. Las capacidades de Stargazer se probaron en un estudio con seis instructores que enseñaban diversas habilidades para videos tutoriales dinámicos. El robot facilitó el seguimiento de sujetos, el encuadre de la cámara y las combinaciones de ángulos, lo que permitió la producción de videos para tareas como el mantenimiento de patinetas, la creación de esculturas interactivas y la configuración de auriculares de realidad virtual. Los participantes practicaron y completaron tutoriales en dos tomas. Los investigadores encontraron que todos los participantes crearon videos exitosamente usando solo los controles de la cámara robótica y estaban satisfechos con la calidad del video. Para entornos más grandes y ángulos diversos, el equipo planea explorar drones con cámara y robots con ruedas. Algunos participantes intentaron usar objetos para disparar disparos, que Stargazer aún no reconoce.
La investigación futura tiene como objetivo detectar intenciones sutiles combinando la mirada, la postura y las señales del habla del instructor, avanzando hacia la meta a largo plazo del equipo. Stargazer se posiciona como una alternativa para quienes no cuentan con equipos de filmación profesionales, pero actualmente depende de un costoso brazo robótico y sensores externos. Sin embargo, los investigadores creen que el concepto Stargazer no está inherentemente restringido por una tecnología costosa.
Referencia: Jiannan Li et al, Stargazer: un robot de cámara interactivo para capturar videos instructivos basados en señales sutiles del instructor, Actas de la Conferencia CHI 2023 sobre factores humanos en sistemas informáticos (2023). DOI: 10.1145/3544548.3580896
Relacionado:
Alrededor de GPS en 100 videos
