Bitacora(Aurora En Tus Manos) by Alan Barreto

Resolume

alantg82 — 2024-12-03 01:36:26 UTC

Usado para proyectar el ejecutable

Unity

alantg82 — 2024-12-03 01:37:10 UTC

Motor grafico utilizado para crear e interconectar todas las tecnologias

OpenCv

alantg82 — 2024-12-03 01:52:45 UTC

Detección de manos, por medio de una cámara

Blender

alantg82 — 2024-12-03 01:57:05 UTC

Modelado de objetos y texturizado

Importar los modelos hacia unity como .fbx/.obj

alantg82 — 2024-12-03 02:08:22 UTC

Mantienen los materiales designados en blender

KlakSpout

alantg82 — 2024-12-03 02:27:44 UTC

Para compartir imágenes es necesario habilitar el paquete KlakSpout en Unity. Este paquete permite la comunicación entre ambas aplicaciones utilizando Spout, una tecnología que facilita el intercambio en tiempo real de texturas

Conexión

alantg82 — 2024-12-03 04:11:14 UTC

Para conectar OpenCV con Unity, es necesario utilizar una biblioteca que permita integrar las funcionalidades de OpenCV en proyectos de Unity

Generación de Auroras

alantg82 — 2024-12-03 04:19:08 UTC

Primer acercamiento

alantg82 — 2024-12-03 04:27:08 UTC

Pensamos utilizar un objeto, que iba a seguir las coordenadas del mouse en pantalla, con un efecto de lazy mouse, todo esto por medio de un script.

Primer modelo de Aurora

alantg82 — 2024-12-03 04:34:16 UTC

Modelamos una aurora en blender y creamos su material con shader nodes

Aurora dentro de Unity

alantg82 — 2024-12-03 04:41:49 UTC

Decidimos generar la aurora dentro de unity, debido a que el modelo de blender era muy difiicl de maniobrar y modificar.

Trial Renderer

alantg82 — 2024-12-03 04:45:11 UTC

Unity tiene un efecto visual, que generaba un movimiento bastante bueno. Este efecto deja un rastro al desplazar el objeto

Material de Aurora

alantg82 — 2024-12-03 04:49:12 UTC

Utilice el Shader Graph, que se encuentra en el package manager de unity. Esto te permite generar materiales interesantes (similar al node shader de Blender)

Movimiento de textura

alantg82 — 2024-12-03 04:56:22 UTC

Viendo este video logre generar un efecto de desplazamiento constante en la Aurora, alterando o produciendo un desplazamiento en los vertices de su textura dentro de Shader Graph.

Aplicar Material a Trail Renderer

alantg82 — 2024-12-03 05:43:03 UTC

Al finalizar el material deseado, se lo aplique al Trail y este al desplazarse se veía raro

Mejora Trail Renderer

alantg82 — 2024-12-03 05:51:28 UTC

Buscando como mejorar el movimiento me encontré con esto, muy útil e interesante .A pesar de que utiliza una textura para generar un desplazamiento mas natural. logre obtener casi el mismo resultado a pesar de utilizar Shader Graph

Aurora Funcionando

alantg82 — 2024-12-03 05:52:24 UTC

Intento inicial con MediaPipe

alantg82 — 2024-12-03 06:19:33 UTC

Empezamos intentando usar MediaPipe para la detección de manos. Sin embargo, debido a algunas dificultades técnicas y limitaciones con la integración en Unity, decidimos buscar una solución alternativa.

OpenCV

alantg82 — 2024-12-03 06:20:42 UTC

Después de encontrar algunas dificultades con MediaPipe, decidimos utilizar OpenCV, que es una herramienta más flexible y con más soporte para integrarse en Unity a través de bibliotecas externas

Integración de OpenCV en Unity

alantg82 — 2024-12-03 06:22:34 UTC

Para conectar OpenCV a Unity, instalamos el paquete adecuado (como OpenCV for Unity) y lo configuramos dentro de Unity, asegurándonos de que los scripts y bibliotecas de C# pudieran interactuar con las funcionalidades de OpenCV.

Pruebas de detección en tiempo real

alantg82 — 2024-12-03 06:25:41 UTC

Realizamos pruebas en tiempo real para ajustar los parámetros de detección, como el umbral de color, la forma de la mano y el tamaño de la detección. El sistema empezó a detectar las manos con mayor precisión.

Generación de detección de manos con OpenCV

alantg82 — 2024-12-03 06:26:29 UTC

Modelo 3d de pajarera

alantg82 — 2024-12-03 06:29:26 UTC

Modelado de la pajarera

alantg82 — 2024-12-03 06:38:12 UTC

El proceso de modelado fue sencillo, comenzando con un cubo. Este cubo puede ser manipulado usando las herramientas de extrusión y escalado para crear la forma básica de la pajarera

Texturizado

alantg82 — 2024-12-03 06:39:48 UTC

Para el texturizado, se utilizó un material basado en Shader Nodes. Los Shader Nodes permiten crear materiales complejos y detallados sin necesidad de imágenes de texturas externas

Problema de Exportación

alantg82 — 2024-12-03 06:40:47 UTC

El desafío surgió al intentar exportar el modelo a otros programas usando formatos como FBX o OBJ. Estos formatos no son capaces de traducir correctamente los materiales creados con Shader Nodes complejos, ya que estos nodos son específicos de Blender y no se interpretan de la misma manera en otros programas

Baking

alantg82 — 2024-12-03 06:43:08 UTC

Para solucionar este problema, se utilizó el proceso de Baking del material. Consta en el que los efectos visuales generados por los nodos, como sombras, luces y texturas, se "hornean" en una textura 2D que puede ser exportada y aplicada al modelo en otros softwares. Este paso convierte el material dinámico en una textura estática, asegurando que los detalles visuales creados en Blender se conserven durante la exportación.

Posicionamiento y exportación de objetos y texturas.

alantg82 — 2024-12-03 06:45:53 UTC

Una vez bakeada la textura, posicionamos nuestro objeto en la escena y aplicamos su textura

Resolume proyeccion de .exe

alantg82 — 2024-12-03 06:49:14 UTC

Integración de Resolume con Unity

alantg82 — 2024-12-03 06:50:33 UTC

Configuramos el script de Spout en Unity para compartir la cámara. Esta integración es bastante directa, pero requiere ajustar algunos parámetros para asegurarse de que la salida de Unity se refleje correctamente en Resolume

Configuracion en Resolume

alantg82 — 2024-12-03 06:51:52 UTC

Después de configurar Spout en Unity, realizamos los ajustes necesarios en Resolume para recibir la señal de la cámara desde Unity. Esto implicó asegurarnos de que el canal adecuado estuviera seleccionado para capturar la textura generada desde Unity.

Pruebas de conexión y funcionamiento

alantg82 — 2024-12-03 06:52:49 UTC

Realizamos varias pruebas de la conexión entre Unity y Resolume. Afortunadamente, una vez configurados correctamente, todo comenzó a funcionar perfectamente. La imagen de Unity se proyectó sin problemas en Resolume.

Proyección en el escenario

alantg82 — 2024-12-03 06:56:05 UTC

Comenzamos a realizar pruebas con el variando el posicionamiento del proyector y ajustamos las luces para verificar cómo se comportaba la proyección de Resolume

Sonido Binaural

alantg82 — 2024-12-03 06:59:19 UTC

Selección de sonidos

alantg82 — 2024-12-03 06:59:47 UTC

Comenzamos buscando sonidos en páginas de recursos de audio, eligiendo aquellos que encajaran con la estética visual generada. Optamos por una ambientación tranquila que complementara la experiencia visual de las auroras, con tonos suaves y etéreos que evoquen calma y conexión con la naturaleza

Sonido ambiental constante

alantg82 — 2024-12-03 07:01:22 UTC

Este sonido puede representar algo como viento suave, texturas sonoras espaciales o un zumbido ambiental, creando una atmósfera inmersiva para el usuario desde el principio

Pruebas y ajuste final

alantg82 — 2024-12-03 07:04:46 UTC

Finalmente, realizamos pruebas en el escenario con la proyección visual y el audio para ajustar los niveles de volumen, asegurándonos de que la música ambiental y los sonidos reactivos no compitan entre sí, sino que trabajen juntos para mejorar la experiencia.

Implementación técnica del audio

alantg82 — 2024-12-03 07:06:40 UTC

En Unity, utilizamos Audio Sources para reproducir los sonidos y controlar su comportamiento:

El sonido ambiental se asigna a un Audio Source con un loop habilitado.
Los sonidos reactivos se añaden como Audio Sources adicionales, activados mediante scripts conectados a los eventos de detección de OpenCV.

Diagrama De Tecnologias

alantg82 — 2024-12-03 07:14:31 UTC