Cómo los investigadores están preprocesando WSIS del tamaño de Gigabyte para el aprendizaje profundo

Tabla de enlaces

Resumen e I. Introducción

2. Materiales y métodos

   2.1. Aprendizaje de instancias múltiples

   2.2. Arquitecturas de modelos

3. Resultados

   3.1. Métodos de entrenamiento

   3.2. Conjuntos de datos

   3.3. Tubería de preprocesamiento de WSI

   3.4. Resultados de clasificación y detección de ROI

4. Discusión

   4.1. Tarea de detección de tumores

   4.2. Tarea de detección de mutaciones genéticas

5. Conclusiones

6. Expresiones de gratitud

7. Declaración y referencias del autor

3.3. Tubería de preprocesamiento de WSI

Los WSI a menudo son demasiado grandes para ser procesados directamente por modelos de aprendizaje profundo. Las diapositivas pueden ocupar más de 6 GB de memoria, por lo que no es factible tener un conjunto de datos de diapositivas sin procesar en el disco. Para almacenar nuestro conjunto de datos localmente, decidimos centrarnos en un aumento a la vez. Todos nuestros modelos fueron entrenados en niveles de aumento separados, lo que garantizaba que esto no sería un problema. Para algunas magnificaciones, el complete de parches puede exceder el espacio de almacenamiento disponible. Para superar este problema, desarrollamos una tubería que obtiene mosaicos WSI, procesos, filtros, los codifica de manera eficiente y guarda los incrustaciones resultantes y los metadatos relevantes en los archivos HDF5. Esta tubería se explica en las siguientes secciones.

3.3.1. Extracción de metadatos de WSI

Comenzamos extrayendo información sobre cada diapositiva: ID, etiquetas tipo de portaobjetos y micras por píxel (MPP) en el que se escaneó originalmente el portaobjetos. Al last, todos los metadatos extraídos se guardan en un archivo CSV (valores separados por comas) para su posterior procesamiento.

3.3.2. Patch para buscar y preprocesar el preprocesamiento

Las imágenes de diapositivas enteras pueden tener muchos parches que consisten exclusivamente en fondo o artefactos que las hacen inutilizables para capacitar a nuestros modelos. Obtener todos estos parches innecesarios y verificarlos uno por uno se vuelve ineficiente y lento. Para evitar esto, aprovechamos la propiedad de múltiples escala de WSI para evitar buscar parches que definitivamente contengan solo antecedentes.

El mosaico en el nivel de miniatura se obtiene inicialmente. Umbral de Otsu [16] se aplica a él, así como una operación morfológica cercana para filtrar el ruido. Luego extraemos las coordenadas de píxeles negros resultantes, obteniendo un conjunto de píxeles 𝑃, los píxeles que corresponden al tejido.

En la adquisición de un WSI, a menudo hay artefactos involuntarios debido a la preparación guide de la preparación del tejido, la tinción y el {hardware} de escaneo, así como las anotaciones de los patólogos. Para mitigar el número de mosaicos que contienen artefactos, así como eliminar algunos píxeles de fondo que podrían haber pasado a través del filtro anterior, el shade de cada píxel 𝑝 ∈ 𝑃 se comparó con el shade promedio de 𝑃, calculando su distancia euclidiana y comparándolo con un umbral predefinido. Las coordenadas de los píxeles que cumplieron esta condición se almacenaron y se usaron para calcular las coordenadas correspondientes de los parches en el aumento deseado, utilizando las propiedades jerárquicas de WSI y los metadatos extraídos del paso en 3.3.1.

Debido a que estos filtros se aplicaron a nivel de miniatura, algunas de las fichas aún no eran adecuadas para el conjunto de datos last. Después de obtener cada mosaico, verificamos si su tamaño en las coordenadas de imagen fue de 512 × 512 px. Si period más pequeño, estaba acolchado en consecuencia con el shade de fondo promedio. El porcentaje de tejido presente en el mosaico se calculó y se comparó con un umbral. Si no contiene suficiente tejido, la imagen se descarta.

Para la detección de mutación génica, debido al tamaño de los portaobjetos FFPE y los niveles de aumento múltiples utilizados, aplicamos un muestreo aleatorio a los mosaicos:

• En un aumento de 5x, probamos el 60% de los mosaicos filtrados, cuando su número period mayor que cierto límite; De lo contrario, usamos todos los mosaicos.

• En el caso de un aumento de 10x y 20x, aplicamos la agrupación en los mosaicos a partir del aumento anterior y muestreamos un número N elegido de mosaicos por clúster. Luego procedimos a usar las propiedades jerárquicas de WSI para extraer los mosaicos correspondientes en las magnificaciones deseadas. Por ejemplo, realizamos la agrupación de medias okay en las baldosas a un aumento de 5x, tomamos un máximo de 20 mosaicos de cada clúster y procedimos a extraer, para cada mosaico, los mosaicos correspondientes con un aumento de 10x (Figura 2).

3.3.3. Extracción de características

Como se mencionó anteriormente, se crearon incrustaciones a partir de los mosaicos. Para esto, elegimos Kimianet[18]un Densenet 121 previamente para la clasificación del subtipo de tumor WSI, que produce vectores de incrustación con una longitud de 1024. Este modelo se entrenó exclusivamente en portaobjetos FFPE.

También realizamos dos aumentos de datos por mosaico, compuestos por perturbación de tinción de HED aleatoria, adición de ruido gaussiano, rotaciones y volteos horizontales y verticales. También se generaron incrustaciones para estos mosaicos aumentados. Los incrustaciones se guardan luego en un archivo HDF5, junto con los metadatos relevantes correspondientes, como las coordenadas de los parches y las etiquetas. Este archivo se puede leer rápidamente a la memoria durante el proceso de capacitación de los modelos.

Debido al tamaño del conjunto de datos, convertir inmediatamente cada parche de 512 × 512 píxeles en una incrustación de longitud 1024 ahorra espacio de almacenamiento (con una disminución en el tamaño cercano a mil veces) y el tiempo para capacitar al modelo y nos permite tener todo el conjunto de datos localmente, en lugar de tener que obtener los datos cada vez que necesitamos capacitar o ajustar los modelos. Además, al tener las diapositivas representadas en el espacio de características de inmediato, a diferencia del espacio de píxeles, pudimos ajustar todos los parches en una diapositiva en la memoria de GPU simultáneamente, lo que es especialmente útil para enfoques de aprendizaje de múltiples instancias.