104829 - VIDEOMAPPING E INSTALACIONES INTERACTIVAS

Tipo de asignatura: optativa

Coordinador: Maddalena Fedele

trimestre: Segundo trimestre

Créditos: 6

El perfil del nuevo profesional de la industria audiovisual tanto desde un punto de vista de la creación, como desde la gestión y la realización, pasa en muchos casos por la incorporación de nuevas metodologías y tecnologías que apoyan nuevos formatos de producción . En esta asignatura se trabajan distintas técnicas, tecnologías y tendencias con el objetivo principal de ofrecer una formación técnica al alumno. Al mismo tiempo, tiene como objetivo incentivar y orientar al alumno en la creación de diferentes productos audiovisuales y/o interactivos de formato no convencional.

En la primera unidad de la asignatura se trabajará con diferentes herramientas de videomapping con el objetivo de aprender a proyectar imágenes en movimiento sobre superficies no ortogonales, teniendo en cuenta al mismo tiempo tanto conceptos técnicos de planificación de la proyección como las posibilidades interconexión de las diferentes herramientas.

En la segunda unidad de la asignatura, se propone el estudio de distintos sensores de captura de inputs e interacción, como sensores capacitivos, presenciales, de captura de movimiento, etc. Se trabajará también el análisis de diferentes formatos de interconexión de éstos mediante protocolos estándar como pueden ser MiDi, OSC o DMX.

Por último durante la última unidad enlazaremos tanto las videoproyecciones trabajadas en la primera unidad como la captura de entradas que se utiliza en la segunda unidad con un software vehicular como puede ser Processing y/o TouchDesigner para diseñar montajes interactivos complejos.

En las últimas sesiones para completar la consecución de los contenidos, los alumnos tendrán que presentar un proyecto propio donde se integran diferentes tecnologías o técnicas aprendidas. Para conseguir este objetivo tendrán que confeccionar tanto el documento de presentación del proyecto como una versión funcional del prototipo.

Al finalizar la asignatura el alumno debe ser capaz de:

• Diseñar un audiovisual para ser proyectado sobre diferentes superficies y sincronizarlo mediante los protocolos DMX, OSC y/o MiDi.
• Entender y trabajar con distintos dispositivos de entrada como sensores, dispositivos de captura de movimiento, etc.
• Aprender el funcionamiento y la programación sencilla de placas Arduino.
• Comprender el uso de distintas librerías con Processing.org y de la herramienta TouchDesigner para la interacción con distintos dispositivos, redes sociales, etc.

Durante el desarrollo de las dos últimas unidades se utilizará un paradigma de “aula invertida” donde los alumnos de forma previa a la asistencia aprenderán los contenidos que se trabajarán en clase mediante vídeos y cuestionarios autoevaluativos. De esta forma se convierte el aula en un espacio de trabajo activo. En las clases presenciales se trabajará de forma directa la resolución de los problemas planteados o el trabajo en profundidad de conceptos más complejos.

La primera unidad didáctica utilizará una forma metodológicamente más estándar. Se proyectarán ejemplos, se analizarán técnicas prácticas, se revisará brevemente la parte más teórica y se estudiará el funcionamiento de los distintos softwares de warping más usuales.

Como actividades prácticas se han planificado diferentes actividades individuales para cada una de las unidades, así como una última práctica final que puede llevarse a cabo en grupo.

U1: VideoMapping:

• Comprender cómo funcionan las diferentes técnicas existentes para la proyección sobre diferentes superficies, y estudiar los distintos conceptos teóricos para la planificación de proyecciones.
• Aprender el funcionamiento de distintas aplicaciones de warping como Milumin o MadMapper.
• Explorar las distintas posibilidades de interacción.
• Planificación y producción de una proyección.

U2: Computación física y protocolos:

• Conocer el funcionamiento práctico de los actuadores y sensores más usuales para poder realizar instalaciones interactivas simples.
• Comprender el funcionamiento y creación de código para las placas Arduino. Integrar distintos sensores y actuadores con éstas.
•  Interconectar componentes utilizando los protocolos MiDi, OSC y DMX.
• Aprender a diseñar interfaces gráficas con OSC.
• Entender el funcionamiento del protocolo DMX por el control de luces.
• Comprender el funcionamiento de distintos dispositivos como Kinect o LeapMotion para la captura de movimiento.

U3: Computación Creativa:

• Adquirir las habilidades necesarias para realizar montajes interactivos que utilicen audio, imagen y vídeo tanto para su proyección como para la creación de webs o aplicaciones móviles.
• Comprender los conceptos básicos del desarrollo de software y la estructuración de datos con un prisma práctico y simple.
• Experimentar el funcionamiento de una plataforma visual para la confección de interactivos como Processing o Touchdesigner.

U1: Mapeo de proyecciones

Descripción: Esta unidad mostrará cómo combinar el arte y la tecnología mediante el mapeo de proyecciones. Éste es un proceso digital que deforma y combina imágenes perfectamente en cualquier pantalla de forma irregular, como edificios, esculturas, espacios interiores o paisajes naturales.

Actividades vinculadas:

• Práctica 1: Preparación de una proyección a partir de una fotografía.
• Práctica 2: Warping utilizando software específico. Diseño de animaciones específicas para proyecciones con After Effects.
• Examen teórico de la unidad (test autoevaluativo)

U2: Computación física

Descripción: Esta unidad servirá para descubrir las técnicas de computación física para el prototipado rápido. Se estudiarán las diferentes aplicaciones como pueden ser prototipos interactivos, phisybles, wereables o instalaciones artísticas. Se analizarán los elementos de hardware (sensores y actuadores) más comunes y se aprenderá cómo combinarlos utilizando las placas de Arduino. Durante el desarrollo de esta unidad el alumno empezará a diseñar lo que será su proyecto final.

Actividades vinculadas:

• Práctica 1: Interacción de TouchDesigner con Kinect.
• Práctica 2: Instrumento MiDi con sensores capacitivos. 
• Práctica 3: Control de proyección mediante sensores de proximidad. En esta práctica se sincroniza una proyección con distintos sensores de proximidad.
• Test autoevaluativo para demostrar los conocimientos adquiridos

U3: Computación creativa

Descripción: Esta unidad introduce la creación de código como disciplina creativa para generar sonidos, imágenes animaciones y vídeos. Se adquirirán las habilidades técnicas necesarias para escribir software que hace uso de imágenes de audio y gráficos para su aplicación a proyectos creativos.

Actividades vinculadas:

• Práctica 1: Videojuego simple utilizando las herramientas de reconocimiento de imágenes.
• Práctica 2: Implementación de una proyección cromestésica con TouchDesigner
• Test autoevaluativo para certificar los conocimientos adquiridos

U4: Proyecto final de la asignatura

Descripción: Este proyecto final puede estar desarrollado en grupo. Este proyecto debe suponer la concreción de los diferentes conceptos aprendidos durante la asignatura. Tanto en la memoria del proyecto como en el prototipo final deben verse reflejados los diferentes contenidos tratados en la asignatura.

Actividades vinculadas:

• Confección del documento del briefing del proyecto.
• Prototipado y presentación del resultado del proyecto.

Ponderación de la nota:

• U1: 25% de la nota Final [ 5% Test + 20% Prácticas]
• U2: 25% de la nota Final [ 5% Test + 20% Prácticas]
• U3: 25% de la nota Final [ 5% Test + 20% Prácticas]
• U4: 25% de la nota Final

Para cada actividad, los docentes informarán de las normas y condiciones particulares que las rigen. Las actividades unipersonales presuponen el compromiso del estudiante en cuanto a su realización de forma individual. Se considerarán suspendidas todas aquellas actividades en las que el estudiante no se ajuste a este compromiso, independientemente de su papel. Se considerarán suspendidas todas aquellas actividades no entregadas. Se potestad del docente aceptar entregas foros de los plazos establecidos, así como la penalización aplicada. Para aprobar será necesario superar los tres test con una nota mínima de un 5. 

Shiffman, D. (2009). Learning Processing: a beginner s guide to programming imágenes, animation, and interacción. Morgan Kaufmann

Maniello, D. (2015) Augmented reality in public spaces. Basic techniques for video mapping (Nuove tecnológico por el arte). Le Penseur

O'Sullivan, D., & Igoe, T. (2004). Physical computing: sensing and controlling the physical world with computers. Course Technology Press.

Shiffman, D. & Fry, F. & Marsh Z. (2012). The nature of code.

Reas, C., & Fry, B. (2007). Processing: a programming handbook for visual designers and artists (Vol. 6812). Mit Press.

Igoe, T. (2007). Making things talk: Practical methods for connecting physical objects. " O'Reilly Media, Inc.".

Tsai, KH (2011). The application of Projection Mapping for Architecture and space.

An Introduction To TouchDesigner - Elburz Sorkhabi - http://book.nvoid.com/#book