DISEÑO DE ARTE TECNOLÓGICO

Cuerpo, movimiento y Algoritmo

 

Emiliano Causa *

(*) Artista multimedia e Ingeniero en Sistemas de Información. Fundador grupo Proyecto Biopus. Coordinador de los laboratorios MediaLab del CCEBA y EmmeLab de la UNLP. Docente de tecnología multimedia en carreras de grado y postgrado de la UNLP, IUNA y UNTREF. Investigador en área como el arte generativo, bioarte y realidad aumentada.

Fecha de recepción: agosto 2014
Fecha de aceptación: octubre 2014
Versión final: marzo 2015

---

Resumen

Desde 2013 en el Laboratorio EmmeLab (de Experimentación en Artes y Nuevos Medios) de la Facultad de Bellas Artes UNLP y como parte de un programa de investigación, hemos estado explorando la realización técnica y herramientas para vincular la danza/performance y la programación. En este marco se desarrolló una investigación sobre ciertos procesos de videodanza interactiva, una performance en la que una bailarina interactuaba con imágenes proyectadas en una pantalla (semitransparente) ubicada delante de ella. Esta experiencia propició una serie de reflexiones, hallazgos e inquietudes.

Palabras clave: Performer; Sistema; Interacción; Discurso.

Summary

Since 2013 on EmmeLab Laboratory (Experimentation in Arts and New Media), Faculty of Fine Arts UNLP and as part of a research program, we have been exploring the technical realization and tools to link dance / performance and programming. In this context we developed an investigation of certain processes of interactive video dance, a performance in which a dancer interacts with projected images on a screen placed in front of her. This experience led to a series of thoughts, findings and concerns.

Keywords: Performer; System; Interaction; Speech.

Resumo

Desde 2013 no laboratório EmmeLab (de Experimentação em Artes e Novos Médios) da Faculdade de Belas Artes UNLP e como parte de um programa de pesquisa, exploramos a realização técnica e ferramentas para vincular a dança/performance e a programação. Nesta estrutura se desenvolveu uma pesquisa sobre processos de vídeo - dança interativa, uma performance onda uma bailarina interagia com imagens projetadas numa tela (semi transparente) localizada diante dela. Esta experiência gerou reflexões, conclusões e inquietudes.

Palavras chave: Performer; Sistema; Interação; Discurso.

---

 

1. Introducción

Desde 2013 en el Laboratorio EmmeLab (de Experimentación en Artes y Nuevos Medios) de la Facultad de Bellas Artes y como parte de un programa de investigación, hemos estado explorando la realización técnica y las herramientas para vincular la danza/performance y la programación (informática). En este marco se desarrolló una investigación sobre ciertos procesos de videodanza interactiva, una performance en la que una bailarina interactuaba con imágenes proyectadas en una pantalla (semitransparente) ubicada delante de ella. Esta experiencia propició una serie de reflexiones, hallazgos e inquietudes que intentaremos volcar en el presente texto.

2. El ciclo interactivo

Para realizar un análisis ordenado de las problemáticas y reflexiones surgidas en la experiencia, tomaremos como modelo el esquema del Ciclo Interactivo, que he presentado en el libro Interfaces y diseño de interacciones para la práctica artística (publicado por la Universidad de Quilmes en autoría compartida con Federico Joselevich Puigros). En dicho esquema, el ciclo de la interacción transita por siete pasos que van desde el interactor (humano) al sistema (el dispositivo, la o las computadoras, etc.) y vuelve hacia el interactor nuevamente. El ciclo se piensa como un flujo de comunicación que va transitando entre el interactor y el sistema, y en cada una de estas "partes" transita por diferentes etapas. Cada etapa representa una problemática en la que intervienen diferentes elementos y variables, y en las que se producen diferentes fenómenos y tipos de información. En el humano (el interactor) las etapas son tres: Percepción, Interpretación y Acción. En el sistema, pasa por cuatro: Captación, Análisis, Simulación y Representación. Para tomar un punto de partida, en este fenómeno cíclico, podemos iniciar por la Acción, en el humano, pasando por la Captación. A partir de aquí, en el sistema; luego el Análisis, la Simulación, y la Representación, para volver al humano con la Percepción y la Interpretación. Llegados a este punto pasamos nuevamente a la Acción, y así se sigue cíclicamente. Haremos una breve enumeración de los mismos para traerlos al presente texto:

En el Sistema:
- Captación: se relaciona con los dispositivos destinados a sensar la realidad, para relacionar al sistema con el mundo. En esta etapa el fenómeno captado se transforma en datos para el sistema. En nuestro caso, el dispositivo es una cámara especial, capaz de captar el movimiento de un performer y traducirlo en posición de sus extremidades en el espacio.
- Análisis: es la etapa en que los datos (de la captación) son interpretados para obtener información, un significado acerca del fenómeno. En nuestro caso, la información obtenida de la captación se transforma en análisis de los movimientos del performer. El caso ideal sería poder interpretar variables del movimiento equiparables a las de un coreógrafo: interpretar el eje del movimiento, su simetría, los niveles, el foco, etc.
- Simulación: es el momento en el que el sistema construye un modelo de comportamiento para responder al fenómeno captado. En los ensayos de nuestro trabajo se desarrolló una serie de escenas virtuales con elementos que respondían a leyes físicas (simuladas) y que mediante sus colisiones o movimientos producen sonidos o música. Esta simulación incluía replicar el cuerpo del performer mediante un avatar, que puede interactuar "físicamente" con dichos elementos.
- Representación: es la forma en que el modelo se manifiesta al interactor mediante técnicas y dispositivos de representación. En nuestra experiencia se proyectó sobre una tela traslúcida, ubicada en el escenario delante de la bailarina, la imagen bidimensional del mundo virtual simulado.

En el Interactor:
- Percepción: se relaciona con los sentidos y la forma en que estos recortan y construyen la realidad.
- Interpretación: es la etapa en la que el interactor cierra un sentido que vincula sus acciones con las respuestas expresadas por el sistema.
- Acción: es la etapa en la que el interactor actúa, acciona, como respuesta a las representaciones emitidas por el sistema.
En nuestro análisis no abordaremos todas las etapas del ciclo, si bien las nombramos aquí para dar un entendimiento completo de sus relaciones, sino que nos centraremos en aquellos que creemos son el espacio en el que se desarrollaron ciertas problemáticas.

3. Dos interpretaciones

Otra distinción importante que debemos hacer es a quién consideramos "interactor" en esta experiencia. Originalmente, cuando hice el esquema, fue pensando en arte interactivo, en donde el público hacía las veces de "interactor", pero, en la experiencia que estamos evaluando, el lugar del "interactor" lo ocupa el performer, esto nos llevaría a cerrar el ciclo a las relaciones que se tejen entre el performer y el sistema. Sin embargo, creo que sería interesante abrir una derivación del ciclo, un punto en que el flujo se bifurca y analizar, qué sucede cuando la etapa de la Representación, se relaciona con la Percepción e Interpretación del público. Tengamos en cuenta que, en este sentido, las acciones del performer (etapa Acción) también se transforman en representaciones para el público, y por ende son susceptibles de ser interpretadas por este. Avanzaremos más adelante en este aspecto que parece generar una relación triangular entre las acciones del performer, las representaciones del sistema y la interpretación del público.

Figura 1. Esquema del ciclo interactivo extendido

4. Acción-Captación/Espacio de la acción

Ahora nos centraremos en la sección del ciclo que va de la Acción del performer a la Captación del sistema. En este punto, notaremos que se establecen una serie de relaciones entre la acciones que desarrolla el performer, la captación que hace de ellas el sistema y el tipo de espacio que se configura. Cuando hablamos de Captación, estamos hablando de cómo un dispositivo traduce fenómenos (esencialmente físicos) en datos. En este caso, los movimientos del performer así como otros parámetros corporales (la posición de este en el espacio, la ubicación de sus articulaciones, etc.). Uno de los errores más comunes que se establecen, es que el artista (tanto el performer, como el artista programador, ambos roles pueden ser realizados por la misma persona) confunde la captación del fenómeno con el fenómeno en sí, olvidando que la captación es un proceso de modelización de la realidad y por ende conlleva una pérdida, determinada por los límites del dispositivo. Veamos esto en el caso concreto que estamos estudiando: en nuestro caso, el dispositivo utilizado es una cámara Kinect (de las que se utilizan en la consola de videojuegos XBox 360 de Microsoft), un aparato capaz de captar el cuerpo y movimiento de una persona en tiempo-real. La Kinect es capaz de captar una escena de diferentes formas:

a) Capta la imagen bidimensional en colores de la escena, como lo haría una cámara ordinaria
b) Puede ver la escena como una imagen infrarroja, que es representada con escala de grises.
c) Puede ver un cuadro bidimensional de puntos que tienen profundidad en el espacio, es decir, una nube de puntos donde cada uno, además de X e Y tienen una coordenada Z. Si bien esto es una imagen tridimensional, esta sólo se construye desde el punto de vista de la cámara y por ende, no es posible ver "detrás" de los objetos, por esto, es más fácil asociarla con una imagen bidimensional con "relieve".
d) El esqueleto del performer, una representación de los puntos de las articulaciones principales de su cuerpo en el espacio.

Hasta aquí, la Kinect puede parecer un dispositivo maravilloso que nos brinda la información del fenómeno que queremos captar, es decir, podemos confundirnos y creer que "la Kinect captura el movimiento del performer". Pero si ahondamos en cómo funciona este dispositivo, comprenderemos sus límites. Cabe aclarar que no estoy criticando al dispositivo en sí, realmente la Kinect es una gran herramienta, sino que quiero llamar la atención en cómo nos posicionamos como artistas frente estos dispositivos y nos dejamos obnubilar por sus capacidades y perdemos de vista sus limitaciones, que son las que influenciarán y determinaran parte del derrotero del ciclo interactivo. La Kinect trabaja con un as láser infrarrojo que dispara una matriz de puntos en el espacio y calcula hasta dónde llega cada punto en profundidad, de esta información (que es la matriz de punto) interpreta la posición del cuerpo humano en el espacio y la ubicación de cada una de sus articulaciones. Veamos sus límites, el primero, esta captación puede hacerse a distancias (desde la cámara) que van desde el medio metro hasta casi 5 metros, más cerca o más lejos, es difícil y hasta imposible captar algo. Esta cámara necesita aproximadamente un metro de distancia por cada metro de ancho que se desea captar, esto quiere decir que a medio metro de distancia, ve un cuadro de medio metro de ancho y a 5 metros de distancia, ve aproximadamente 5 metros de ancho. Estos datos no son del todo precisos (son aproximaciones obtenidas de la experiencia en su uso, no un detalle oficial del fabricante quien seguramente estaría en desacuerdo con la imprecisión de mi descripción), pero no es la precisión técnica lo que me interesa aquí, sino la naturaleza del problema en cuestión. Muchas de las medidas que di, podrían cambiar drásticamente y el problema en sí seguiría siendo el mismo. El problema en cuestión es que la kinect es capaz de captar un área del espacio equivalente a un pirámide recostada cuya cúspide está en la cámara y su base se aleja desde ella hasta los 5 metros aproximadamente, visto desde el performer esto es como una área triangular en el piso que le permite moverse en aproximademente 3 por 2 metros, un espacio muy chico de trabajo por ejemplo para la danza. El perfomer no puede ver estos límites, pero cuando se sale de ellos, desaparece (virtualmente) para el sistema. A esta restricción se suman otras. Por ejemplo, cuando las superficies en las que incide el as laser son muy oscuras y poco reflectantes, la kinect pierde dichos puntos en su representación del relieve y obtiene una vista errónea de la escena. A la hora de interpretar el esqueleto del performer, si este cruza las extremidades (brazos o piernas), la kinect puede confundir la lateralidad del cuerpo, cambiando un brazo derecho por uno izquierdo y viceversa. Esto en sí parece pertenecer más al ámbito del Análisis (del sistema) que de la Captación. Por último, la kinect tiene un cierto retardo en la captación (que es poco perceptible) y puede captar movimiento hasta cierta velocidad.
La descripción del cuerpo del dispositivo es muy básica, por ejemplo, representa la posición de la mano con un punto, es decir que no tiene conciencia de la ubicación de la palma, los dedos, etc. Por lo tanto, si el performer hace un gesto sutil con su mano, lo más probable es que no sea captado. Todas estas restricciones recién comentadas, hacen que el supuesto propósito de "captar el movimiento del performer" se transforme en una intersección entre lo que el performer hace y lo que el sistema puede captar, que es, por supuesto, un importante recorte del fenómeno en sí. Por otra parte, en tanto el performer sea consciente de estas restricciones en la captación, puede suceder que este empiece a modular sus movimientos y acciones para facilitar la captación, pero en vez de lograr que el sistema capte el fenómeno, lo modifica desde la misma producción del fenómeno, es decir, se degrada la experiencia para que sea aprehensible por el sistema. A esto he decidido llamarlo "encorsetamiento" del cuerpo, porque es como si el cuerpo fuera limitado en sus movimiento por un corset virtual, que el performer se autoimpone para amoldarse al sistema.

5. Simulación-Representación-Percepción/Duplicidad del cuerpo

En nuestra experiencia, la performer se encontraba detrás de una pantalla traslúcida en la que se proyectaba un "avatar", un doble o proyección de su cuerpo en el espacio virtual. Este avatar interactuaba con otros elementos virtuales que producían sonidos y música. El espacio virtual estaba dotado de un sistema de simulación física que regía el comportamiento de los elementos (excepto el del avatar que sólo respondía al movimiento de la performer). Este espacio era bidimensional y el avatar era un proyección bidimensional del cuerpo tridimensional de la performer. Esta propuesta, que resultaba interesante como puesta, trajo como consecuencia un desdoblamiento del espacio y arrastró al cuerpo, ya que el movimiento se producía en el espacio físico, pero la interacción con otros elementos se producía en el espacio virtual. La performer sentía, por ende, desdoblado su movimiento y acciones, en dos espacios con diferentes lógicas: uno tridimensional y tangible (el físico), otro virtual y bidimensional, desplegado en la imagen y el sonido. Este desdoblamiento se tornaba complejo ya que desborda la percepción de la performer, haciendo que esta pudiera por momentos estar consciente del movimiento físico y en otros de su réplica en el espacio virtual, pero sin poder conservar en forma conjunta ambas. Obviamente, este desdoblamiento va en desmedro de la fluidez del desenvolvimiento del movimiento. En la configuración de este espacio virtual ensayamos diferentes procedimientos de simulación. Por ejemplo, una de las primera pruebas fue suspender en el espacio virtual elementos al estilo de péndulos con los que el avatar bidimensional de la bailarina interactuaba, es decir, al moverse colisionaba estos péndulos virtuales que a su vez producían sonidos. Este tipo de propuesta centra la atención de la bailarina en la posición de su avatar en el espacio virtual, es cómo si el avatar fuera una marioneta que la bailarina controla con la posición de su propio cuerpo en el espacio físico. Pronto nos dimos cuenta que este tipo de propuesta aumenta el desdoblamiento perceptivo y dificulta la fluidez del movimiento. Por esto, se ensayaron nuevas propuestas en las que se adosaron elementos virtuales al avatar, de forma que reaccionaran al movimiento del cuerpo, más que a la posición, por ejemplo: se adosaron unos péndulos virtuales a los brazos del avatar, los cuales se mueven impulsados por el movimiento de los brazos. Desde esta propuesta, ya no importa la posición en el espacio del performer, sino el movimiento relativo a su propio cuerpo, lo que centro su atención, justamente, sobre este.

6. Un análisis mejor dirigido

A la hora de diseñar un proceso interactivo, sobre todo si este se basa en interfaces que capturan fenómenos físicos, es de vital importancia partir de datos que posean la mejor precisión respecto del fenómeno en sí. Es decir, si se desea trabajar con el movimiento del cuerpo, como información de entrada en el sistema, es necesario que los procesos de captación y análisis tengan la mejor resolución posible. En el caso de la captación, la cuestión se encuentra determinada por los límites del dispositivos y el margen de maniobra se reduce a la calibración de dicho componente. Aunque pueda parecer una afirmación trivial, lo cierto es que la calibración del sistema de captura es vital ya que si esta no se logra, el sistema completo funciona a partir del ruido que genera esta instancia. Por ende, es regla básica, que cualquier proceso interactivo con sistemas de captación se inician con un adecuado proceso de calibración. La más de las veces, la pericia en esto se relaciona con la experiencia que tenga el programador en trabajar con interfaces físicas (uso de sensores, sistemas ópticos, etc.), es un conocimiento empírico que se adquiere con el hacer.
Paso siguiente, entra en funcionamiento la etapa del análisis y es aquí donde un buen diseño puede traer mayor beneficio en el ciclo. El análisis de los datos que entrega el sistema de captación es fundamental, ya que convierte el dato en "bruto" en información significativa. Por ejemplo, en nuestro caso, los datos arrojados por el sistema de captación son las posiciones en el espacio tridimensional de las articulaciones del cuerpo de la bailarina. Visto de esta forma, el cuerpo pasa a ser un conjunto "desarticulado" ya que se puede saber estas posiciones individuales, pero de esto no se infiere posiciones del cuerpo. Saber que la mano esta en una determinada posición del espacio, no significa mucho hasta que no comparo este dato con otros, por ejemplo, la posición del codo, del hombro, del resto del cuerpo, de la misma mano en los tiempos anteriores. Todo esto puede parecer sencillo desde esta narración, pero en términos matemáticos, cada nuevo lazo comparativo que agregamos empieza a ser un desafío en cuanto a la estrategia necesaria para obtener información significativa. Por ejemplo, ¿qué significa, en términos matemáticos, que la bailarina está agachada? ¿Cómo se calcula un movimiento discontinuo? Etc. Lo cierto es que a la hora de realizar un buen análisis para la captación del movimiento del cuerpo de la danza, habría que trabajar con la interpretación que del movimiento del cuerpo hacen los mismos bailarines, entonces necesitaríamos reconocer variables tales como: el eje del cuerpo, los niveles, la simetría, la dirección, la focalización, etc.. Cada una de estas interpretaciones, son patrones que se pueden desplegar de múltiples formas y que poseen límites borrosos, lo que implica todo un desafío matemático, a la hora de ser modelizados.

7. Conclusión

En este momento podemos tomar un punto de vista más distante y ver el problema de la siguiente manera: el proceso interactivo entre el performer y el sistema, va atravesando una secuencia de etapas (en el ciclo interactivo) que producen y agregan diferentes restricciones en el acoplamiento entre estos. El presente trabajo intenta poner dichas restricciones en evidencia para, que una vez que se es consciente, decidir como abordarlas. El primer abordaje posible podría ser intentar reducirlas, tal como se propone en el apartado anterior, por ejemplo: buscar un mejor análisis que afiance el acoplamiento entre el cuerpo, el movimiento y la respuesta interactiva del sistema. Pero cabe aclarar que este camino necesariamente tendrá un límite, existe un punto a partir del cuál estas restricciones son irreductibles, y es a partir de ahí que se debe buscar la forma en que se trabajará con estas. La forma en que estas restricciones sean tratadas en la puesta en escena, implican un posicionamiento discursivo en sí mismo. Se podría intentar ocultar dichas restricciones, enmascarando las falencias de captación/ análisis mediante la simulación/representación. Un ejemplo de esto sería cuando a una captación/análisis pobre y poco sutil (v.g. captar sólo la altura en la que el cuerpo se mueve, sin importar su posición o la de los miembros implicados) se la viste con una respuesta del sistema que simula delicadeza y complejidad, como sería realizar una simulación física a partir del movimiento de elementos (con inercia, gravedad, colisiones, etc.), lo que haría que la atención del público se derive a estos detalles, en vez de notar la percepción pobre que el sistema tiene del performer. Esta propuesta tendría un posicionamiento ideológico que propone un sistema omnipotente que viene a aumentar, extender las capacidades expresivas del cuerpo. Algo así como un posthumanismo protésico que entiende a la tecnología como mejoradora de las capacidades biológicas del cuerpo. Esta asociación no es obligada, pero sirve para mostrar en qué medida la forma en que nos implicamos con la tecnología en sí, porta un discurso. Otro camino podría ser hacer evidentes al público dichas restricciones y jugar a partir de esta "desentendimiento" entre el sistema y el performer, apropiándose de las falencias en forma discursiva. En esta propuesta el performer jugaría a mostrarle al público lo que el sistema puede (y NO puede) y por ende su posicionamiento sería radicalmente diferente. Aquí se hablaría de lo imposible de esa amalgama entre cuerpo y tecnología, como aquello anhelado pero no del todo alcanzado. El performer podría tomar dichas restricciones como un sistema de reglas a seguir (moverse en el espacio de lo que el sistema percibe) como una forma de construir discurso en sí. De esta forma lo negativo de la falta, se transformaría en lo positivo de una forma de búsqueda. Y así podríamos seguir proponiendo, seguramente, otras posiciones posibles frente al "problema de las restricciones".
En fin, creo que es importante ser consciente del funcionamiento del ciclo de interacción, por que al conocer las restricciones implicadas en cada etapa, su tratamiento pasa a ser un decisión de diseño y no un accidente que genera ruido en el discurso. Por otra parte, si volvemos al esquema del ciclo interactivo, notaremos que muchas de las etapas, y las restricciones que estas generan, se encuentran fuera de la sección marcada en el centro de lo que es "representación" para el público, es decir, lo que el público puede ver del fenómeno. El público puede ver las acciones del performer y las representaciones del sistema, y a partir de estas, tejer una serie de conjeturas causales para asociarlas. Aquí entra en juego la diferencia entre "lo que es" (la forma en que se producen las comunicaciones entre las diferentes etapas del ciclo) y "lo que parece ser" (las asociaciones que el público infiere a partir de lo que ve). Por esto, es una decisión del artista, ver cómo establecer este juego de relaciones, y qué lugar toman las restricciones en este complejo proceso de representación. En fin, esperamos que nuestra experiencia y el análisis que hemos hecho de esta, pueda ser de utilidad en futuros recorridos por estos nuevos territorios de las artes electrónicas y la performance.

Referencias

1. Causa, E. y Joselevich Puiggrós, F. (2013). Interfaces y diseño de interacciones para la práctica artística. Bernal: Universidad Virtual de Quilmes, ISBN 978-987-1856-89-3.         [ Links ]