Sistema de imágenes endoscópicas multimodales

Desarrollamos un sistema endoscópico multimodal con visión de futuro (FL) que ofrece imágenes en color, clasificadas espectralmente, modo B de ultrasonido de alta frecuencia (HFUS) y coeficiente de retrodispersión integrado (IBC) para la detección de tumores in situ. El examen de la distribución del tumor desde la superficie del colon hasta el interior más profundo es esencial para determinar un plan de tratamiento del cáncer. Por ejemplo, la profundidad de la invasión submucosa de los tumores, además de la distribución del tumor en la superficie del colon, se utiliza como indicador de si se realizará la disección endoscópica.

Por lo tanto, ideamos el sistema endoscópico multimodal FL para ofrecer información sobre la distribución del tumor desde la superficie hasta el tejido profundo con alta precisión. Este sistema se evaluó con fantasmas de gelatina bicapa que tienen diferentes propiedades en cada capa del fantasma en dirección lateral. Después de evaluar el sistema con fantasmas, se empleó para caracterizar cuarenta tejidos de colon humano extirpados de pacientes con cáncer. El sistema propuesto podría permitirnos obtener información química, anatómica y macromolecular altamente resuelta sobre tejidos de colon extirpados, incluidos tumores, mejorando así la detección de distribuciones tumorales desde la superficie hasta el tejido profundo. Estos resultados sugieren que el sistema endoscópico multimodal FL podría ser un instrumento de detección innovador para la caracterización cuantitativa de tumores.

La multimodalidad de un sistema óptico implica el uso de una o más técnicas ópticas para mejorar el rendimiento general y la máxima utilidad del sistema. Demostramos un sistema multimodal con iluminación oblicua que combina dos técnicas diferentes; microendoscopia y espectroscopia de fluorescencia simultáneamente y se puede utilizar para obtener información diversa desde la misma ubicación de la muestra biológica. En el sistema actual, el uso de lentes de varilla de índice graduado (GRIN) lo hace altamente compacto y la incidencia oblicua desacopla la geometría de iluminación con la geometría de recolección, evitando que las cámaras CCD se saturen y reduce la cantidad de elementos ópticos, lo que hace que el sistema sea aún más miniaturizado y portátil en el campo. También supera las desventajas de los reflejos no deseados de diferentes elementos ópticos.

Los resultados experimentales de imágenes y espectroscopia simultáneas de las muestras biológicas se presentan junto con parámetros espectroscópicos cuantitativos; cambio máximo de longitud de onda, área bajo la curva y medio máximo de ancho total (FWHM). Además, hemos obtenido el corrimiento al rojo para el tejido bucal canceroso con respecto al tejido bucal normal de 5,79 ± 1,071 nm. Este podría ser un indicador importante para la detección del cáncer oral.

Proponemos un algoritmo de mosaico de imágenes endoscópicas que es resistente a los cambios de acondicionamiento de la luz, los reflejos especulares y las escenas sin características. Estas condiciones son especialmente comunes en cirugía mínimamente invasiva donde la fuente de luz se mueve con la cámara para iluminar dinámicamente escenas cercanas. Esto dificulta que un método de registro de una sola imagen rastree de manera sólida el movimiento de la cámara y luego genere mosaicos consistentes de la escena quirúrgica expandida en entornos diferentes y heterogéneos. En lugar de depender de un extractor de características especializado o un método de registro de imágenes, proponemos fusionar diferentes algoritmos de registro de imágenes según sus incertidumbres, formulando el problema como optimización de gráficos de pose afín. Esto permite combinar puntos de referencia, registros densos de intensidad y enfoques basados ​​en el aprendizaje en un único marco.

Para demostrar nuestra aplicación, consideramos el flujo óptico basado en aprendizaje profundo, características hechas a mano y registro basado en intensidad; sin embargo, el marco es general y podría tomar como entrada otras fuentes de estimación de movimiento, incluidas otras modalidades de sensores. Validamos el rendimiento de nuestro enfoque en tres conjuntos de datos con características muy diferentes para resaltar su generalización, demostrando las ventajas de nuestro marco de fusión propuesto. Si bien cada algoritmo de registro individual eventualmente falla drásticamente en ciertas escenas quirúrgicas, el enfoque de fusión determina de manera flexible qué algoritmos usar y en qué proporción para obtener mosaicos consistentes de manera más sólida.