Sonido kinético

Sonido-Kinetico

Espacio, inmersión, interacción es un proyecto de investigación para el desarrollo de una herramienta educativa en colaboración con LABoral, Centro de Arte y Creación Industrial (Gijón).

Unas de las partes que componen la investigación es el instrumento «Sonido-Kinetico», un instrumento sonoro interactivo controlado por los movimientos de las manos.

La experimentación sonora es una de las partes fundamentales del proyecto, ya que consideramos que muchos modelos de interacción con la tecnología pasan por lo sonoro. Asociar una composición a ciertos patrones de movimiento facilita los procesos de interacción y relación con el entorno, utilizando al mismo tiempo la dinámica del juego para descubrir diferentes formas y dimensiones de llevar a cabo esta relación con el entorno.

Sonido-Kinetico está compuesto por dos componentes de software y un sensor microsoft kinect.

En primer lugar, un programa de seguimiento rastrea el movimiento de los brazos de la jugadora y envía la información de posición por medio de un protocolo de comunicación estándar denominado OpenSoundControl. Actualmente hay varios programas que realizan esta tarea, dependiendo del sistema operativo, y todos ellos están basados en la librería openNI.

En windows puedes usar delicode NI mate, en mac synapse y en linux OSCeleton. Los datos de posición en el espacio de las manos se envía y usan como parámetros de control para dos sintetizadores escritos en el lenguaje de programación visual Pure Data. A través de este lenguaje, especialmente diseñado para la composición sonora en tiempo real, el movimiento de cada mano se convierte en un sonido «ruidista» que a partir de un efecto de «feedback» hecho por el micrfono logra construir una dinámica sonora casi musical.

Consideramos el desarrollo de este instrumento como un primer acercamiento a prácticas de carácter  educativo donde convergen la tecnología y la creación musical. En breve publicaremos el proceso de desarrollo del segundo instrumento, en la misma línea de investigación de «sonido kinetico«, y que pretende abrir líneas de trabajo en colaboración con centros educativos basadas en esta relación.

Durante estas semanas, personas de diferentes colectivos que colaboran con LABoral en el ámbito educativo, han tenido la oportunidad de probar Sonido-Kinetico, resultando en una experiencia enriquecedora, que nos impulsan a seguir trabajando en esta línea.

Sesión complementaria 2016

Acercamiento al proyecto ‘Sonido, Espacio, Inmersión e Interacción‘ del CTI Montevil (Gijón)

Fecha: 16-04-2016

Esta sesión se corresponde con una visita al taller donde se desarrolla el proyecto desde septiembre de 2015. Los pacientes del CTI Montevil, en Gijón, visitan el espacio donde se desarrolla el proyecto, acompañados por las integrantes del TVLab Pía Capisano y Laura Malinverni.

En esta sesión de carácter informal, las personas que visitan el centro tienen la oportunidad de testar varias aplicaciones de realidad virtual, conocer de primera mano el proyecto, o ver aplicaciones de realidad aumentada y reflexionar en torno a su uso y aplicaciones potenciales. También tuvieron la ocasión de probar sensores de movimiento como Kinect o Leap Motion, y ver las diferentes posibilidades de esta tecnología interactiva. Así, pudieron testar la herramienta Sonido Kinético desarrollada, dentro del contexto del proyecto, para tocar instrumentos musicales a partir de la cinética y los movimientos corporales, generando sonidos a partir de este movimiento. También pudieron experimentar diferentes experiencias interactivas a través del dispositivo Leap Motion, incluyendo instrumentos musicales digitales o herramientas de modelado, proyectando el potencial de esta herramienta para divulgar el conocimiento científico.

Tercera sesión 2016

Sesión 10 [15-04-2016]

Granda en LABoral. Instrumentos y experiencias con kinect e historias con videojuegos, con Josué Monchán. Seguimos explorando los mecanismos de desarrollo de videojuegos. Exploramos demos de Oculus – En esta sesión contamos con el guionista de videojuegos Josué Monchán, que explica a los alumnos del colegio de Granda, cómo se desarrolla la estructura narrativa de un videojuego y cómo se crean las historias, mostrando algunos de los trabajos que ha realizado con Pendulo Studios, como Blues and Bullets, y The Next Big Think.

También se realizan pruebas del instrumento musical experimental con Kinect Sonido Kinetico, explorando el potencial de la cinética corporal para fusionar conceptos como la danza y la música gracias a la tecnología y buscar vías para su implementación en proyectos educativos. También se exploran otras aplicaciones de Kinect, como el escaneo en 3D o el uso de juegos abiertos que usan la cinética corporal, profundizando en conceptos como propiocepción.

En la última fase de esta sesión se realiza una asamblea en el hall, en la que se muestran los avances, por parte de las y los alumnos, en el desarrollo conceptual del videojuego que comenzaron en la sesión anterior llevada a cabo en el colegio público Granda, explicando los detalles de los elementos que componen la estructura del juego: título, personajes, entorno, narrativa, rasgos característicos, etc.

Segunda sesión 2016

Reporte de la novena sesión de ‘Sonido, Espacio, Inmersión e Interacción‘.

Sesión 9 [04-04-2016]

Leap Motion, realidad virtual y diseño colaborativo de videojuegos en el Colegio Público de Granda (Siero, Asturias) – Esta sesión continúa el proceso de experimentación con Leap Motion y realidad virtual iniciadas en la fase anterior. También se muestran, en un museo virtual interactivo, las esculturas creadas en sesiones anteriores, y se llevan ejemplares impresos en 3D a la escuela.

Parte del proceso creativo de esta sesión se centra en el diseño, de modo conceptual, de un videojuego. De este modo, los alumnos, divididos en dos grupos, tienen que darle una narrativa y unas características a las piezas creadas en sesiones anteriores con diversos software escultura y modelado 3D.

El proceso consta de la definición de los personajes que crearon con el programa. Así, a través del trabajo grupal, les ponen un nombre (que tienen que argumentar), y le incorporan una serie de características al personaje. También tienen que articular una trama para el videojuego, diseñando (a modo conceptual) el escenario donde se desarrolla, las mecánicas y la narrativa del propio juego, para finalizar poniéndole un nombre y configurar una historia que marca la línea narrativa del funcionamiento de un videojuego.

Esta sesión sirve para comprender, a través de procesos colaborativos, los conceptos y los elementos que forman parte de cualquier trama, ya sea una película, un videojuego, una novela, o, incluso, una experiencia en realidad virtual.

La sesión se complementa con un proceso de inmersión colaborativa, tal y como se había realizado anteriormente, en una serie de entornos de realidad virtual, finalizando con una asamblea posterior para reflexionar en grupo en relación a las experiencias.

Leap Motion y Realidad Virtual en el Cole

Espacio, Inmersión, interacción

Desde octubre de 2015, ARSGAMES colabora con LABoral Centro de Arte y Creación Industrial en investigación en torno al uso de nuevas tecnologías, como la realidad aumentada, virtual, o los controladores como Leap Motion, para generar dinámicas de aprendizaje innovadoras y disruptivas en el aula, dentro del marco del proyecto “Espacio, Inmersión, interacción”. De modo paralelo a la investigación en el desarrollo de contenidos educativos interactivos, estamos realizando una serie de actividades en las que participan centros de educación primaria y secundaria. En este caso, uno de los centros educativos con los que se realizan actividades es el colegio público de Granda, en la Sierra, Oviedo.

A lo largo del transcurso de las actividades, las estudiantes de primaria experimentan la inmersón en otros mundos gracias al uso de la realidad virtual, pero en un espacio abierto a la colaboración, y donde se da especial importancia al uso del espacio del aula. Además, en una de las sesiones programadas, introducimos el uso de la Leap Motion, combinada con las Oculus Rift, para que los alumnos experimentaran nociones como la relación con el espacio y con sus propios sentidos, creando además un espacio de diálogo crítico y reflexivo en torno al potencial de esta tecnología. Las estudiantes podían manipular objetos virtuales o tocar instrumentos musicales imaginarios, además de esculpir o dibujar pequeñas obras de arte interactivas. También experimentaron con nociones como la propiocepción, a través de la relación de la posición de cuerpo en un entorno inmersivo. Seguiremos actualizando las actividades que llevamos a cabo en colaboración con este y otros centros por este medio, las cuales están resultando, sin duda, de gran interés.

Primera sesión 2016

Reporte de la octava sesión de  ‘Sonido, Espacio, Inmersión e Interacción

sesion_008

Sesión 8 [23-03-2016]

Visita a las instalaciones del Instituto del Alto Nalón, en Barredos, para realizar un estudio de campo y conocer la realidad de las cuencas mineras asturianas y articular estrategias en el futuro – En esta sesión se realiza una visita a las instalaciones del IES Alto Nalón Barredos, en las Cuencas Mineras Asturianas. El estudio consiste en un análisis del potencial de los medios tecnológicos disponibles para el desarrollo de sesiones de trabajo en futuros proyectos en el centro. El centro dispone de medios digitales y espacios de gran interés para diseñar talleres y actividades dentro del marco de actividades que se llevan desarrollando en el contexto del proyecto.

También se ha realizado una visita a los talleres mecánicos, donde parte del profesorado desarrolla un proyecto piloto de diseño de vehículos ultraligeros de competición con bajo consumo de combustible. Entre ellos se encuentra el prototipo IES Alto Nalón, como vehículo experimental de bajo consumo, que ha obtenido varios premios y el reconocimiento en diversos eventos nacionales e internacionales, dando una enorme proyección a la región y un impulso en la dinamización de prácticas innovadoras.

Las posibilidades para trabajar en actividades que supongan un salto cualitativo en el uso de una nueva generación de TICs más interactivas y participativas, dentro del marco del proyecto, se hacen patentes en centros de la naturaleza del IES Alto Nalón Barredos, ya que se encuentran en una zona de ciertas peculiaridades socio-económicas que llevan sufriendo un proceso de reconversión industrial sostenido desde hace décadas. En este aspecto, plantear el papel de los centros educativos como proyectos piloto de laboratorios de Arte, Ciencia y Tecnología, puede abrir las puertas a para potenciar procesos de dinamización de nuevas áreas del conocimiento que puedan dar visibilidad a la región y contribuir a paliar problemas estructurales derivados de la reconversión industrial a través de la investigación en tecnología y la inversión en proyectos educativos.

Resumen del proyecto 2015

«Espacio, inmersión, interacción, es un proyecto de investigación ganador de la convocatoria para la producción de una herramienta educativa de LABoral, de aplicación de tecnologías de realidad virtual y aumentada, entre otras, para desarrollar dinámicas de trabajo innovadoras en el campo educativo. Es un proyecto de ARSGAMES en colaboración con  LABoral, centro de arte y creación industrial (Gijón).

El proyecto consta de varias partes: por un lado, se está trabajando el concepto de espacio de aprendizaje virtual tridimensional, y explorando sus posibilidades de innovar en el aprendizaje. Así, se está desarrollando una réplica virtual del Museo Jovellanos de Gijón (a modo de espacio cerrado), una Isla Virtual (como espacio de interacción abierto) y un mundo compuesto de colores primarios, (llamado ChromaDepth World) que explora las posibilidades de comunicación e inmersión de la ciencia. La finalidad es poder ver estos mundos con dispositivos de realidad virtual y en navegadores con WebGL, para quienes no dispongan todavía de esa posibilidad.

También se están trabajando, de manera paralela, en varias sesiones con los colegios públicos de Granda (en Oviedo) y el IES Alton Nalón Barredos (en las cuencas mineras Asturianas) usando la realidad virtual y aumentada, entre otras tecnologías, como medios de colaboración entre pares y para fomentar la creatividad, así como para potenciar la transformación social a través de la transformación del entorno. También se están explorando las posibilidades de los juegos de realidad alternativa (ARG’s) con marcadores de realidad aumentada, o las posibilidades de esculpir por ordenador para integrar las piezas en un museo virtual.
A su vez, estamos desarrollando contenidos interactivos en plataformas abiertas con HTML5, como motores de juegos abiertos, para ver el potencial de usar parte de las tecnologías que se aplican en otras áreas para crear contenidos educativos más dinámicos.
Los dispositivos de tipo Motion Sensing Inpit Device (MSID), como Leap Motion, que funciona a partir de infrarrojos, también nos están sirviendo para experimentar con conceptos como instrumentos musicales virtuales o escultura virtual, explorando las aplicaciones del arte y la tecnología en la educación participativa.

Presentación del proyecto

El pasado viernes 26 de febrero acudimos al encuentro NO VACANCY ARCO 2016 en Matadero-Madrid , un encuentro entre diversos proyectos que se encuentran en el giro entre las residencias artísticas a las residencias de arte + educación.

Estuvo allí nuestro compañero Mikel Gómez Elzaurdia presentando nuestro proyecto ‘’Sonido, espacio, inmersión, interacción’’, ganador de la convocatoria para la producción de una herramienta educativa de LABoral, situado en la intersección entre arte, tecnología y educación al intentar aportar a los entornos educativos el uso de nuevas herramientas artístico-tecnológicas como la Realidad Virtual, tratando de crear una herramienta específica para su uso en clase así como de investigar las formas de aplicar esta nueva tecnología (RA) a los entornos educativos; este proyecto, que se encuentra en residencia en LABoral, centro de arte y creación industrial, fue presentado también por Lucía Arias, responsable de la coordinación pedagógica de ésta institución.

En éste espacio coincidimos los diferentes proyectos y asociaciones que llevan a cabo residencias a nivel peninsular: Proyecto Transforma, En Residencia, Aprende a través del arte, Levadura, Fundación Banco Santander, Fundación Daniel & Nina Carasso. Con el fin de generar debate y discutir las posibilidades, convenientes e inconvenientes del modelo de residencias así como su impacto artístico y educativo a nivel de trabajo con los chicos y chicas y de trabajo artístico.

La sesión fue dispuesta para generar debate y producir una gran matriz donde se aglutinasen los distintos proyectos con sus peculiaridades. En un primer momento debatimos en torno a los proyectos pasando por diferentes cuestiones que hacían las veces de hilo conductor tales como: los métodos de financiación, los objetivos que se perseguían, la visibilización o la duración de las estancias. Después nos reunimos en una asamblea general para debatir en torno a lo dicho en cada grupo generando en medio una figura con las diferentes respuestas que cada corro fue encontrando.

Más información aquí.

Cuarta sesión 2015

Reporte de la cuarta sesión de nuestro proyecto ‘Sonido, Espacio, Inmersión e Interacción: MD y MSID para el desarrollo de entornos virtuales y aumentados‘.

Sesión 4 [18-12-2015]

Explorando la realidad virtual: perspectiva crítica y exploración del uso colaborativo de tecnologías RV en el aula en el Colegio Público de Granda (Siero, Asturias) – Durante esta segunda sesión, los estudiantes del Colegio Público de Granda (en Siero, Asturias), continúan explorando el potencial de las aplicaciones de realidad virtual, que previamente han sido testadas en cuanto a rendimiento e idoneidad como objetos de aprendizaje. El dispositivo de realidad virtual o HMD usado, Oculus Rift DK2, se conecta a un equipo y a través de un proyector se reproduce la imagen. De este modo, de desarrolla una experiencia, a la vez que inmersiva, colaborativa, donde todas las alumnas participan del proceso de inmersión.

La intención es, de este modo, explorar el entorno de manera colaborativa, compartiendo, así, la experiencia de inmersión para llevarla más allá de una experiencia individual.

Tercera sesión 2015

Reporte de la tercera sesión de nuestro proyecto ‘Sonido, Espacio, Inmersión e Interacción: MD y MSID para el desarrollo de entornos virtuales y aumentados‘.

Sesión 3 [16-12-2015]

Visita de Alto Nalón Barredos a LABoral: escultura virtual con herramientas digitales e impresión 3D – Esta sesión es una introducción al uso de herramientas de creación de figuras 3D. La finalidad del aprendizaje en el uso de estas herramientas es conocer de primera mano los componentes que configuran la estructura de un videojuego, un entorno virtual, o un juego de realidad alternativa. A través de una introducción al uso de dos herramientas de diseño 3D intuitivas, pero con enfoques diferentes, las estudiantes realizan esculturas virtuales, a partir de ideas en las que previamente han trabajado y teniendo total libertad creativa para desarrollar lo que quieran.

Posteriormente, se realiza una muestra de impresión de algunos de los trabajos para conocer, de primera mano, el funcionamiento de las impresoras 3D.