Pantalla táctil de ultrasonidos

La pantalla táctil de ultrasonidos (del inglés Airborne Ultrasound Táctil Display) está diseñada para proporcionar reacción táctil en el espacio 3D. La pantalla emite ultrasonido, y produce campos de presión de alta fidelidad en las manos del usuario, sin el uso de guantes o accesorios mecánicos.

Introducción

Con los recientes avances en campos como el diseño gráfico por ordenador, la simulación física y la evolución en las técnicas de visualización^[1], la demanda de técnicas de interacción háptica^[2] ha aumentado enormemente.

Holovizio es un sistema de visualización 3D que tiene cámaras para capturar el movimiento de manos del usuario y permite al usuario manejar objetos gráficos 3D.

Otro sistema de interacción 3D es GrImage, un sistema de síntesis de modelos 3D en tiempo real a partir de diferentes puntos de vista de objetos reales.

Por lo tanto, por ejemplo, el usuario de GrImage puede interacción con los objetos virtual en 3D a partir de los modelos reales que han sido capturados y sintetizados en tiempo real. Estos sistemas fueron diseñados para permitir a los usuarios manipular objetos en 3D con las manos. Si estos objetos proporcionasen a las manos de los usuarios una sensación táctil en el espacio libre (entendiéndose este como el espacio alrededor de las manos del usuario), la utilidad de estos sistemas sería mucho mayor.

Estrategias para dar sensación táctil

Hay tres estrategias convencionales para proporcionar un estímulo táctil.

Una estrategia consiste en conectar pantalla táctil en las manos de los usuarios. Inmersión ha desarrollado CyberTouch,^[3] que cuenta con pequeños estimuladores vibrotáctiles en cada dedo y en la palma de la mano interactuando con los objetos del mundo virtual recibiendo estímulos táctiles. Sin embargo, esta estrategia sí degrada las sensaciones táctiles, ya que el contacto entre la piel y el dispositivo se produce incluso cuando no hay necesidad de proporcionar la sensación táctil.

Otra estrategia es el control de la posición de las pantallas táctiles de modo que se ponen en contacto con la piel, solo cuando se requiere una respuesta táctil. Por ejemplo, Sato y sus colaboradores propusieron un sistema robótico multi-dedos, maestro-esclavo con estímulo electrotáctil en cada dedo de la mano maestra.^[4] La posición de la pantalla electrotáctil se controlaba para que estuviera en contacto con el dedo del usuario solo cuando el robot esclavo agarrara o tocara objetos. Los principales inconvenientes de estos sistemas son que requieren brazos robot voluminosos y métodos de control complicados.

El chorro de aire es un posible candidato para proporcionar sensación háptica en el espacio libre.^[5] Sin embargo, cuando se trata de producir una sensación de textura fina y no cinética, como señaló Drif,^[6] hay por lo menos dos grandes inconvenientes:

Primero, el chorro de aire no puede producir la fuerza localizada debido a la difusión.
En segundo lugar, también sufre de ancho de banda limitado. Además, incluso si se utilizan múltiples se boquillas de chorro, la variación de la distribución espacial de la presión es bastante limitada.

Por último, existe un método para producir la sensación táctil con ultrasonidos,^[7] que es el utilizado por la pantalla táctil de ultrasonidos. Los prototipos anteriores utilizan el agua como medio para la propagación del sonido. Usando ultrasonidos, el método puede ser aplicado para dar estímulos táctiles a las manos con una resolución espacial y temporal. En el espacio la distribución de la presión se controla mediante la síntesis del campo de onda.

Método

El método^[8] se basa en un fenómeno no lineal de los ultrasonidos, la radiación de presión acústica. La radiación de presión acústica P [Pa] se describe como:

P=\alpha E=\alpha {\frac {w}{c}}=\alpha {\frac {p^{2}}{\rho c^{2}}},

Donde E [J/m³] es la densidad de energía del ultrasonido, W [W/m²] es la potencia del sonido, C [m/s] es la velocidad del sonido, p [Pa] es la presión sonora del ultrasonido, y ρ [kg/m³] es la densidad del medio. α es una constante que va de 1 a 2 dependiendo de las propiedades de reflexión de la superficie del objeto. En el caso de que la superficie del objeto refleja perfectamente el ultrasonido incidente, el valor de α es 2, mientras que si se absorbe el ultrasonido incidente entero, el valor de α es 1. La ecuación anterior, sugiere que la distribución espacio de la presión puede ser controlada mediante el uso de la síntesis del campo de onda.

Cuanto mayor sea la frecuencia del ultrasonido, menor es el diámetro del centro de coordinación del ultrasonido. Desde el punto de vista de la resolución espacial, el diámetro más pequeño es mejor. Sin embargo, el aire es un medio con pérdidas y su coeficiente de atenuación a [Np/m] de una onda sonora plana es aproximadamente proporcional al cuadrado de la frecuencia de $f^{2}$ . En este caso, la densidad de energía E [J/m³] a la distancia z [m] se describe como:

E=E_{0}e^{-2az},(a\propto f^{2})

Donde E₀ es la densidad de energía en la superficie del transductor. La ecuación anterior muestra la relación entre la frecuencia de los ultrasonidos y la relación entre la pérdida de energía cuando el sonido llega a la Z = 200 mm. Para simplificar, se asume que el valor del coeficiente de atenuación A a 40 kHz es de 100 [dB = 100] = 1:15 £ 103 [Np = m],^[9] y que es proporcional a la f² en las otras frecuencias.

Cuando la frecuencia de los ultrasonido es de 40 kHz, la pérdida de energía es solo del 4%. Sin embargo, si la frecuencia se convierte en cuatro veces más grande, el 50% de la energía acústica emitida se pierde. El prototipo utiliza un ultrasonido de 40 kHz porque el efecto de la atenuación es relativamente pequeño y los transductores de ultrasonidos de 40 kHz son comunes en el mercado.

Cuando el ultrasonido se aplica sobre la superficie de la piel, casi todo el ultrasonido incidente se refleja. La impedancia acústica característica de la piel (zs) y la del aire (za) son 1,52 y 0,0004 [Mkg/m² • s], respectivamente. (Hay que tener en cuenta que por simplicidad se supone que la impedancia acústica característica de la piel es igual a la del agua). En este caso, el ratio de reflexión de intensidad acústica (RI) se calcula como,

R_{I}=|{\frac {z_{s}-z_{a}}{z_{s}+z_{a}}}|^{2}\approx 0,9989

Por lo tanto, el 99,9% de la energía acústica incidente en la superficie de la piel se refleja. Hay dos ventajas inducidas por ese hecho:

En primer lugar, los ultrasonidos pueden ser aplicados directamente sobre la piel. No hay necesidad de tener una película reflexiva entre el medio y la piel.
Otra ventaja es que la energía del ultrasonido se convierte directamente en radiación de presión acústica ya que el coeficiente α de la ecuación inicial se maximiza con la condición de reflexión perfecta.

Puede estimarse aproximadamente la fuerza total que se produce con una matriz de transductores. Supongamos que la matriz se compone de transductores de ultrasonidos corrientes, que son generalmente utilizado para medir la distancia o la detección de objetos. Un solo transductor es capaz de ejercer 20 Pa de presión sonora a una distancia de 300 mm. Si suponemos que un único transductor es considerado como un pistón circular, la presión a lo largo del eje central (eje z) se describe como:

p\doteqdot \rho c{\frac {\pi }{\lambda }}{\frac {b^{2}}{z}}|v_{0}|para(z\gg b)

Donde λ, b, z, V0 es la longitud de onda del ultrasonido, el radio del transductor, la distancia de la superficie de radiación, y la velocidad de las partículas en z = 0, respectivamente. La relación entre la potencia acústica W [W] irradiada desde el transductor y V0 es,

W=S_{0}\rho cr^{A}{\frac {|v_{o}|^{2}}{2}}

Donde S0 y r^A son el área de la superficie de radiación para un único transductor de ultrasonido y la parte real de la impedancia de radiación del pistón circular, respectivamente. Si suponemos b = 5a-10â'3 [m] y I »= 8,5 Ã-10â'3 [m], a continuación, r^A se convierte en r^A ~ 1. Uso de z = 300 A-10â'3 [m], |p| = 20 [Pa], i = 0 1.2 [kg/m³], c = 340 [m/s], de las ecuaciones anteriores, la potencia del sonido producido con un solo transductor W se calcula como,

W={\frac {\lambda ^{2}z^{2}|p|^{2}}{2\pi \rho _{o}cb^{2}}}r^{A}\doteqdot 0,041

Si el número de transductores utilizados para formar la matriz es N, el total de fuerza de radiación F [N] que emite el ultrasonido desde la matriz será,

F=PNS_{o}=\alpha {\frac {w}{c}}NS_{0}=\alpha {\frac {W}{cS_{0}}}NS_{0}=\alpha {\frac {NW}{c}}

Si N es 100 y α es 2, basado en la ecuación anterior, la fuerza de radiación total se estima en 2,4 [GF]. Un valor de 2,4 gf es tan pequeño que es difícil percibir la presión estática. Sin embargo, se espera que la presión radiada pueda ser modulada a 1 kHz, lo que es un ancho de banda suficiente para la percepción táctil de los humanos y puede hacer perceptible la sensación de vibración.

Prototipo

El prototipo para la producción de estímulos táctiles consta de una matriz anular de transductores de ultrasonidos, un circuito de 12 canales de amplificación, y un PC. Con el fin de medir las propiedades básicas de la presión de radiación acústica producidas con el ultrasonido focalizado. El prototipo fue diseñado para producir un único punto focal a lo largo del centro del eje perpendicular a la superficie de radiación.

Matriz anular

La figura muestra la matriz anular de transductores de ultrasonidos. Los transductores de ultrasonidos (T4010A1, Nippon Cerámica) han sido colocados de forma hexagonal. El diámetro de cada transductor es de 10 mm. La frecuencia de resonancia del transductor es de 40 kHz. La presión acústica emitida por el transductor es de 20 Pa a 300 mm de la superficie de radiación.

Los transductores que están a la misma distancia del centro de la matriz se conectan para formar una matriz de 12 canales anulares como en la figura anterior. La figura (c) es el dibujo esquemático para explicar la conexión de los transductores. Es posible establecer tres tipos de círculos cuyos centros se encuentran en el centro de la matriz como en la figura (c). Los 6 transductores están a la misma distancia del centro de la matriz conectados eléctricamente y al mismo tiempo. Debido a las intersecciones entre el hexágono y el círculo, el número de transductores dispuestos en cada anillo es de 12 o 6 (excepto en el anillo central).

El retraso de fase del ultrasonido entre los transductores que emiten la señal de entrada es normalmente diferente, por lo tanto, antes de la fabricación de la matriz, se mide la fase de retraso de cada transductor y se seleccionan los que tengan un retraso similar para formar el mismo anillo.

Sistema

La figura (a) muestra el diagrama de bloques del sistema. El sistema consta de un PC portátil con una tarjeta de I/O digital (CSI292144, Interface Corporation), 12 amplificadores de canal, y la matriz anular. Cada canal de salida de la tarjeta digital es de 40 kHz de onda rectangular. La tasa para cada canal es de 1 Mbps. Por lo tanto, el tiempo de retraso de fase es de 1 microsegundo. La amplitud de la señal de conducción es de 15 V.

Características

Con el fin de confirmar la viabilidad del prototipo se midieron las siguientes características: la fuerza total que produce, la resolución espacial de la radiación de presión y la respuesta frecuencial. Los informes subjetivos en la sensación táctil también se describen.

Fuerza total

La fuerza total se mide utilizando una balanza electrónica. La matriz anular se fijó al revés por encima de la balanza enfocando la radiación hacia la misma. La radiación de ultrasonidos es continua durante la medición. El punto central de la radiación se fija en 250 mm por encima de la superficie de la balanza y la distancia entre la superficie de la radiación y la balanza electrónica es también, fija en 250 mm. La fuerza resultante fue de 0,8 g, cuando la amplitud de la señal de entrada era de 15 V. Y en el caso de que la distancia fuera de 0 mm, la fuerza, medida es de 2,9 GF, que es cercana al valor teórico calculado. La fuerza, medida a la distancia de 250 mm y 0 mm es diferente. La razón es que en el primer caso solo el lóbulo principal del ultrasonido se centró dentro de la región de la placa superior de la balanza electrónica y el lóbulo lateral no contribuía a la fuerza total. Si bien en este último caso, todos los ultrasonidos radiados se aplicaron en la placa superior. Por lo tanto, la fuerza medida alrededor del punto focal mejoraría con un método de enfoque más eficiente.

Resolución espacial

Con el fin de medir la distribución espacial de la presión de radiación acústica, se utilizó el sistema que se muestra en la figura. Una sonda de micrófono estaba conectada a una etapa XYZ . La precisión de la posición de la sonda es de 0,1 mm. La apertura del micrófono era de φ=2 mm.

La figura (a) muestra la distribución espacial de la radiación de presión acústica a lo largo del eje x. Los datos fueron obtenidos cada 2 mm. El sólido, raya-punto y las líneas de trazos de la figura (a) corresponden a la posición del punto focal ZF = 225 mm, 250 mm y 275 mm, respectivamente. Se observan dos cosas en la figura(a):

En primer lugar, el diámetro del punto focal esta alrededor de 20 mm, independientemente de la posición del punto focal.
En segundo lugar, el máximo disminuye de intensidad a medida que la distancia del centro de coordinación de la matriz se incrementa, esto es debido a la atenuación del ultrasonido en el medio con pérdidas.

Propiedades temporales y frecuenciales

Para medir las propiedades temporales de la radiación se midió la presión. Para ello el micrófono se colocó en el punto focal, el punto central se fijó en ZF = 250 mm y la señal de conducción era de 40 kHz de onda rectangular modulada.

Fig. (a) y (b). dispositivo experimental para la medición de la radiación de presión acústica. Fig. (c) y (d) Propiedades temporales de la presión radiada.

La figura(c) muestra la forma de la onda medida, donde la modulación es de 80 Hz. El eje vertical representa la presión [Pa] y el eje horizontal representa el tiempo [ms]. Como se observa en la figura, la forma de onda es similar a una onda rectangular, aunque no es perfectamente simétrica. Se puede observar que hay una disminución de la presión radiada a partir de la mitad de cada periodo de la radiación. La figura (d) muestra las características de la frecuencia de la presión radiada. El eje horizontal representa la frecuencia de modulación y el eje vertical representa la ganancia de decibelios de la amplitud de la presión radiada. La ganancia de decibelios se establece en 0 dB a 20 Hz. Hay que tener en cuenta que en esta medición, la frecuencia portadora (la frecuencia del ultrasonido) se fijó en 40 kHz, pero la potencia de sonido del ultrasonido fue modulada para cada frecuencia. El aumento a 80 Hz, 1 kHz y 2 kHz fue de 3 dB, -4 DB y -12 dB, respectivamente.

Resultados sobre la sensación táctil

La información táctil producida por el dispositivo abarca varios temas.

Se siente claramente la sensación de vibración cuando se modula la radiación a través de ráfagas de ondas, cuyas frecuencias están entre 20 Hz a 250 Hz.

Cuando la presión radiada es constante, se siente solo al inicio y al final de la radiación de presión. También produce una ligera sensación de flujo de aire alrededor del punto focal. Dicho flujo de aire se produce a causa de la corriente acústica.

Aplicaciones

La pantalla táctil de ultrasonidos está diseñada para proporcionar un estímulo táctil a los usuarios de modelado 3D, videojuegos, etc. El sistema está compuesto por la pantalla táctil de ultrasonidos y un sistema de seguimiento de la mano. La pantalla táctil ejerce la radiación de presión sobre las manos del usuario cuando se "tocan" objetos virtuales en 3D. Cada transductor de la matriz está excitado de manera que el ultrasonido emitido produce un único punto focal. La cámara mide la posición de la mano y la respuesta táctil se proporciona cuando la mano está en contacto con el objeto virtual.

El sistema de seguimiento de manos utilizado en el prototipo es un sistema simple compuesto de una sola cámara. Sin embargo, si la pantalla táctil de ultrasonido, se combina con la más sofisticada tecnología de seguimiento de la mano como Grimage, sería un sistema de interacción táctil más práctico. También se espera que mediante la combinación de la radiación de presión acústica y los objetos gráficos en 3D con pantallas estereoscópicas, aumente la realidad de los objetos 3D virtuales.

Holografía 3D táctil

Durante varias décadas se han visto en las películas de ciencia ficción pantallas que proyectaban imágenes flotando en el espacio.^[10] Recientemente, están atrayendo mucha atención como tecnología prometedora en el ámbito de la señalización digital y de la televisión, y muchos tipos de pantallas holográficas están siendo propuestos y desarrollados. Podemos ver un objeto virtual como si realmente estuviera flotando frente a nosotros. Pero esta experiencia increíble se desglosa en el momento en que intentamos alcanzarlo, porque no se siente en la mano.

El objetivo de la “holografía 3D táctil”^[11] es añadir información táctil a la imagen flotando en 3D. Uno de los mayores problemas es la manera de presentar una sensación táctil. Gracias a la radiación de ultrasonidos de la matriz de transductores, la presión acústica radiada se aplica sobre la piel del usuario. Aunque la sensación táctil esté producida por la pantalla táctil de ultrasonidos,^[12] se necesita de la experiencia de contacto con objetos reales de la naturaleza.

El sistema desarrollado no solo puede hacer que varios objetos virtuales sean visuales, sino también que la sensación táctil se actualice sobre la base de datos digitales. Es útil para los videojuegos, 3D CADs, etc. La imagen muestra una demo en la que las gotas de lluvia caen desde arriba. Cuando la gota de lluvia cae en la palma del usuario, se siente la sensación táctil creada por el ultrasonido. En otra demostración, se ve y siente una pequeña pelota que hace botar con su palma el usuario.

Referencias

↑ Rodriguez, T., de Leon, A.C., Uzzan, B., Livet, N., Boyer, E., Geffray, F., Balogh, T., Megyesi, Z., Barsi, A. (2007). «Holographic and Action Capture Techniques.». International Conference on Computer Graphics and Interactive Techniques. (ACM SIGGRAPH 2007 emerging technologies).
↑ Allard, J., Menier, C., Raffin, B., Boyer, E., Faure, F. (2007). «Grimage: Markerless 3D Interactions.». International Conference on Computer Graphics and Interactive Techniques. (ACM SIGGRAPH 2007 emerging technologies).
↑ Immersion Corporation. «CyberTouch».
↑ Sato, K., Kajimoto, H., Kawakami, N., Tachi, S. (2007). «Electrotactile Display for Integration with Kinesthetic Display.». Proceedings of the 16th IEEE International Conference on Robot and Human Interactive Communication. (ROMAN 2007). pp.3-8. Archivado desde el original el 29 de noviembre de 2011.
↑ Suzuki, Y., Kobayashi, M. (2005). «Air Jet Driven Force Feedback in Virtual Reality.». IEEE Computer Graphics and Applications. 25 (1). 44-47.
↑ Drif, A., Citerin, J., Kheddar, A. (2004). «A Multilevel Haptic Display Design». Proceedings of 2004 IEE/RSJ International Conference on Intelligent Robots and Systems. IROS 2004), pp. 3595–3600.
↑ Iwamoto, T., Shinoda, H. (2006). «Two-dimensional Scanning Tactile Display using Ultrasound Radiation Pressure.». Proceedings of the Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. (HAPTICS 2006). Archivado desde el original el 6 de julio de 2007.
↑ Takayuki Iwamoto, Mari Tatezono, Hiroyuki Shinoda (2008). «Non-contact Method for Producing Tactile Sensation Using Airborne Ultrasound». EuroHaptics 2008. LNCS 5024, pp. 504–513. Archivado desde el original el 22 de julio de 2011. Consultado el 20 de diciembre de 2009.
↑ BASS, H. E., SUTHERLAND, L. C., ZUCKERWAR, A. Z., BLACKSTOCK, D. T., AND HESTER, D. M. (1995). «Atmospheric absorption of sound: Further developments.». The Journal of the Acoustical Society of America. 97 (1 (January)). 680-683.
↑ RAKKOLAINEN, I. (2007). «How feasible are star wars mid-air displays?». 11th International Conference Information Visualization. 935–942.
↑ Takayuki Hoshi, Masafumi Takahashi, Kei Nakatsuma, Hiroyuki Shinoda (2009). «Touchable Holography». SIGGRAPH 2009 New Tech Demos. Archivado desde el original el 23 de agosto de 2009. Consultado el 20 de diciembre de 2009.
↑ IWAMOTO, T., TATEZONO, M., HOSHI, T., AND SHINODA, H. (2008). «Airborne ultrasound tactile display». International Conference on Computer Graphics and Interactive Techniques ACM SIGGRAPH 2008 New Tech Demos. Archivado desde el original el 22 de julio de 2011. Consultado el 20 de diciembre de 2009.

Véase también

Enlaces externos

Vídeo explicativo sobre el funcionamiento del dispositivo
Vídeo explicativo sobre la aplicación del dispositivo a la holografía táctil 3D
Página de la universidad de Tokio] (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última).

Datos: Q9055100

[1] Rodriguez, T., de Leon, A.C., Uzzan, B., Livet, N., Boyer, E., Geffray, F., Balogh, T., Megyesi, Z., Barsi, A. (2007). «Holographic and Action Capture Techniques.». International Conference on Computer Graphics and Interactive Techniques. (ACM SIGGRAPH 2007 emerging technologies).

[2] Allard, J., Menier, C., Raffin, B., Boyer, E., Faure, F. (2007). «Grimage: Markerless 3D Interactions.». International Conference on Computer Graphics and Interactive Techniques. (ACM SIGGRAPH 2007 emerging technologies).

[3] Immersion Corporation. «CyberTouch».

[4] Sato, K., Kajimoto, H., Kawakami, N., Tachi, S. (2007). «Electrotactile Display for Integration with Kinesthetic Display.». Proceedings of the 16th IEEE International Conference on Robot and Human Interactive Communication. (ROMAN 2007). pp.3-8. Archivado desde el original el 29 de noviembre de 2011.

[5] Suzuki, Y., Kobayashi, M. (2005). «Air Jet Driven Force Feedback in Virtual Reality.». IEEE Computer Graphics and Applications. 25 (1). 44-47.

[6] Drif, A., Citerin, J., Kheddar, A. (2004). «A Multilevel Haptic Display Design». Proceedings of 2004 IEE/RSJ International Conference on Intelligent Robots and Systems. IROS 2004), pp. 3595–3600.

[7] Iwamoto, T., Shinoda, H. (2006). «Two-dimensional Scanning Tactile Display using Ultrasound Radiation Pressure.». Proceedings of the Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. (HAPTICS 2006). Archivado desde el original el 6 de julio de 2007.

[8] Takayuki Iwamoto, Mari Tatezono, Hiroyuki Shinoda (2008). «Non-contact Method for Producing Tactile Sensation Using Airborne Ultrasound». EuroHaptics 2008. LNCS 5024, pp. 504–513. Archivado desde el original el 22 de julio de 2011. Consultado el 20 de diciembre de 2009.

[9] BASS, H. E., SUTHERLAND, L. C., ZUCKERWAR, A. Z., BLACKSTOCK, D. T., AND HESTER, D. M. (1995). «Atmospheric absorption of sound: Further developments.». The Journal of the Acoustical Society of America. 97 (1 (January)). 680-683.

[10] RAKKOLAINEN, I. (2007). «How feasible are star wars mid-air displays?». 11th International Conference Information Visualization. 935–942.

[11] Takayuki Hoshi, Masafumi Takahashi, Kei Nakatsuma, Hiroyuki Shinoda (2009). «Touchable Holography». SIGGRAPH 2009 New Tech Demos. Archivado desde el original el 23 de agosto de 2009. Consultado el 20 de diciembre de 2009.

[12] IWAMOTO, T., TATEZONO, M., HOSHI, T., AND SHINODA, H. (2008). «Airborne ultrasound tactile display». International Conference on Computer Graphics and Interactive Techniques ACM SIGGRAPH 2008 New Tech Demos. Archivado desde el original el 22 de julio de 2011. Consultado el 20 de diciembre de 2009.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]