M83 reprocesado con THELI

[ignacio_db]

Hola amigos,

Este último fin de semana lluvioso, me entretuve leyendo más sobre el sistema de reducción de datos astronómicos THELI, que ya había intentado probar el año pasado. Me entusiasmé al ver unos tutoriales en youtube bastante claros, ya que el soft es profesional y usa una jerga bastante subida de tono para nosotros. Lo que empezó como una prueba de un par de horas, me terminó absorbiendo casi todo el fin de semana. Resulta que mi vieja instalación de linux, que hacía rato no usaba, no se llevaba bien con THELI. Terminé comprando un disco rígido como la gente, haciendo una instalación nueva de Ubuntu 13.04 (la más reciente), y compilando THELI de cero, que me dió bastante trabajo ya que no es compatible con la librería Qt4, sino con Qt3. Y como ésta esta descontinuada en Ubuntu, tuve que bajar la fuente y compilarla también, haciendo una instalación local especial para que conviva con Qt4. En fín, típico proyecto linux, que sabés cuando empieza, pero no cuando termina.

Una vez instalado THELI (gratis), hice una primera prueba con una adquisición de M83 del año pasado, cuando forcé la óptica a 2 metros de focal con el barlow. Me interesaba probar, ya que es una adquisición complicada de registrar por la curvatura del barlow, y con baja relación S/R, lo que resultó en un fondo ruidoso cuando la procesé en PI.

THELI hace las cosas bastante distinta que PI. Tanto en la calibración, como en el registro, donde usa soluciones astrométricas para cada sub (no registra contra uno de los subs) comparando con una base de datos. Me impresionó mucho el soft, bien alemán: difícil y poco intuitivo pero super poderoso. Les recomiendo, a los que tengan estómago, que le peguen una mirada: http://www.astro.uni-bonn.de/theli/

La primera vez que mirás los diálogos de los distintos pasos del procesado, se te paran los pelos de la nuca de lo indescifrable que es. Pero como todo, una vez que te vas metiendo y familiarizando con la jerga, la cosa pinta mejor. EL soft es muuuy poderoso en la reducción de datos. Me pareción mejor que PI, que no es poco, dada ésta primera prueba (a igual nivel de señal, el ruido final de fondo del master apilado resultó ser la mitad de lo que obtuve con PI). Lo que sí te morfa el disco, ya que genera una infindad de subdirectorios e imágenes auxiliares. Si el acceso al disco es rápido, el soft funciona bastante rápido. Entre otras cosas, entrga unos gráficos de la calidad del fit astrométrico de los datos, con sus estadísticas, y también un gráfico de la curvatura del plano focal.

Les dejo el resultado y algunos ejemplos de gráficos. El post-procesado fue hecho íntegramente en PI.

La versión anterior está acá: http://www.pampaskies.com/gallery3/Deep ... M83-barlow

saludos

Ignacio

PD: Instalé PI en Ubuntu, y corre más rápido!

[Fgomezm]

Ignacio

Fantástico procesamiento, parece de "otra galaxia" diferente a la nuestra.

El juego de palabras es válido porque yo aún estoy en la era del Photoshop.

Me gustaría ver alguno de los crudos originales para apreciar en su real magnitud cuanto aporta el procesado.

Y una pregunta de novicio, como puedo hacerme de la información y del software Pi.

Saludos

Fernando

[gvanhau]

Muy interesante.

Yo veo algo mejor definida la versión anterior, pero debe ser producto del post procesado.

Tal vez una mejor comparación sería tomar ambas imágenes justo después de la integración y mostrarlas solo con un estirado igual en ambas imágenes.

El THELI incluye acciones, procesos o funciones post procesado?

Sea como sea, te felicito por explorar nuevas opciones.

Es como cuando todo el mundo usaba PS, yo probé decenas de softwares y finalmente me quedé con PI.

Saludos

Geert

[ignacio_db]

Ignacio

Fantástico procesamiento, parece de "otra galaxia" diferente a la nuestra.

El juego de palabras es válido porque yo aún estoy en la era del Photoshop.

Me gustaría ver alguno de los crudos originales para apreciar en su real magnitud cuanto aporta el procesado.

Y una pregunta de novicio, como puedo hacerme de la información y del software Pi.

Saludos

Fernando

Gracias, Fernando. Te adjunto un crudo estirado como referencia, aunque lo tuve que achicar y comprimir bastante para llegar al megapixel (el ruido ocupa mucho lugar!).

PI lo podés comprar acá: http://www.pixinsight.com/

Links a los videos tutoriales de THELI (en inglés): http://youtu.be/ISaHkW0GBgg (y los que siguen en orden hasta el III)

Muy interesante.

Yo veo algo mejor definida la versión anterior, pero debe ser producto del post procesado.

Tal vez una mejor comparación sería tomar ambas imágenes justo después de la integración y mostrarlas solo con un estirado igual en ambas imágenes.

El THELI incluye acciones, procesos o funciones post procesado?

Sea como sea, te felicito por explorar nuevas opciones.

Es como cuando todo el mundo usaba PS, yo probé decenas de softwares y finalmente me quedé con PI.

Saludos

Geert

Gracias, Geert. Puede ser que la anterior tenga algo más de resolución, aunque el ruido puede provocar esa sensación.

La comparación objetiva la hice midiendo SNR en ambos apilados lineales, y la reducida en Theli es casi el doble.

De post-procesado no tiene casi nada (porque para uso científico se trabaja en lineal). Sí tiene una conversión a tiff con calibración photométrica de color, y opcionalmente una combinación [RGB]-RGB (con luminancia sintética).

saludos

Ignacio

[gvanhau]

Que lástima, que para probarlo haya que hacer tanto atado....

Yo no confío mucho en el SNR, no es que sea un mal indicador, pero por ejemplo cuando uno apila en PI usando ese criterio, las imágenes con mas exposición suelen quedar con un factor menor que las con menos exposición... Tal vez es una tara del PI....

Tu que vez los originales apilados notas mucha diferencia?

Se supone que la nueva versión del star align en PI tambien usa referencias de catálogo y permite corregir las distorciones o estoy equivocado?

Saludos

Geert

[Hal9000]

La nueva imagen esta excelente, se le ve mucho mejor fondo, pero me da la impresion de que tiene menos "definicion".

Algo asi como si hubiera promediado el fondo haciendo un "blur", y luego oscureciendo, lo cual tambien difuminaria el objeto principal.

Creo que si haces algo asi en la imagen original se podria obtener algo parecido, ya que la original se ve mucho mas fina y detallada, incluso en el halo de las estrellas (tiene margen de definicion por sobre la nueva digamos).

Se puede advertir en las 2 galaxias pequeñas que perdieron definicion.

Admiro tu pasion por el procesamiento y realmente obtenes resultados excelentes.

Gracias por los detalles que nos brindas sobre Theli, a ver quien se anima a seguir probandolo.

PD: Me sigue gustando la primera !!.

Saludos.

[ignacio_db]

Que lástima, que para probarlo haya que hacer tanto atado....

Yo no confío mucho en el SNR, no es que sea un mal indicador, pero por ejemplo cuando uno apila en PI usando ese criterio, las imágenes con mas exposición suelen quedar con un factor menor que las con menos exposición... Tal vez es una tara del PI....

Tu que vez los originales apilados notas mucha diferencia?

Se supone que la nueva versión del star align en PI tambien usa referencias de catálogo y permite corregir las distorciones o estoy equivocado?

Saludos

Geert

Geert:

Al compara los apilado, definitivamente el fondo es menos ruidoso con Theli, es bien evidente al aplicar STF. Las estimaciones de SNR son complicadas, sobre todo cuando hay gradientes, pero en éste caso normalicé los dos apilados para que los histogramas tengan el mismo valor modal.

Sí, el nuevo SA de PI puede corregir distorsiones. De hecho me parece que anda muy bien, y si utilizas un modelo de distorsión con ImageSolver, estas usando indirectamente una referencia astrométrica. Pero todo el approach es differente en Theli, donde se utilizan unos "pesos" (weights) en archivos de imagen aparte, que se arrastran por separado y sufren todas las transformaciones de los lights, uno para cada light. Estos reflejan estadísticamente la calidad de cada píxel. No lo entiendo del todo todavía, pero el resultado final es distinto. Voy a hacer más pruebas con otra adquisición.

abz

Ignacio

[ignacio_db]

La nueva imagen esta excelente, se le ve mucho mejor fondo, pero me da la impresion de que tiene menos "definicion".

Algo asi como si hubiera promediado el fondo haciendo un "blur", y luego oscureciendo, lo cual tambien difuminaria el objeto principal.

Creo que si haces algo asi en la imagen original se podria obtener algo parecido, ya que la original se ve mucho mas fina y detallada, incluso en el halo de las estrellas (tiene margen de definicion por sobre la nueva digamos).

Se puede advertir en las 2 galaxias pequeñas que perdieron definicion.

Admiro tu pasion por el procesamiento y realmente obtenes resultados excelentes.

Gracias por los detalles que nos brindas sobre Theli, a ver quien se anima a seguir probandolo.

PD: Me sigue gustando la primera !!.

Saludos.

Hal: el post-procesado de ambas no es el mismo, la última tiene menos sharpening al final del procesado (no la pasé por PS al estar trabajando en Linux). En cualquier caso, el ruido cromático del fondo no lo sacas con un blur, y creéme que midiendo el nivel de ruido en el apilado antes de procesar, es casi la mitad, y esa es la "moraleja".

abz

Ignacio

[GonzaloROU]

Simplemente... WOWWWW!!!

Felicitaciones por el tremendo resultado y además por explorar nuevas formas de procesar!!!

Abrazo

Gonzalo R.

[observatorio gg]

Fantástica !!

Muy buena Ignacio!!

Felicitaciones.

[Nachit]

increible esa foto!!

Abrazo grande

[sebyta]

Hola Ignacio me gustan los dos procesados pero al ver la definición de ambas, la primera tiene mas definición, quizás por el tema del ruido, que aveces logra ese efecto, pero la diferencia en el ruido final de la foto es notable.

Es siempre interesante ver como otros prueban distintos programas y sus opiniones de ellos.

Los resultados están a la vista...... son buenísimos......

Ya no sabemos que hacer con la pelea contra el ruido no?.

Seguir probando es una buena opción.

Nunca se puede lograr sacar el jugo de un programa en el primer intento.

De seguro en futuros pasos encontrarás las mejores combinaciones.

Y de eso estoy seguro.....

Lo que si es cierto, es que no paras loco no paras.........

Saludos.

[ignacio_db]

Hola Sebas! Que bueno econtrarte de vuelta por acá.

Sí, tenés razón, cuando me intereso en algo, voy a fondo.

Me enganché con Theli, por los trabajos de uno de sus autores, Mischa Schirmer (un astrofísico que creo ahora esta en Chile). Desde hace años admiro sus trabajos de astrofotografía ( http://www.astro.uni-bonn.de/~mischa/ ).

Seguí leyendo sobre el el pipeline de procesamiento en Theli, comparado con PI, y ya encontré una diferencia importante en lo que hace a la calibración. Resulta que el master flat, en PI, se utiliza para dividir los subs calibrados con bias y darks, para alcanzar una iluminación plana. Es decir, aquellos pixeles que por viñeteo, por motas, o por las variaciones pixel a pixel del QE, detectan menos señal, son "amplificados" por un factor igual a 1/master-flat para ese pixel. Los pixels más amplificados (los menos sensibles), son los de peor calidad ya que el ruido se amplifica también. Es decir, la señal se aplana pero con calidades distintas pixel a pixel. Todos hemos notado que cuando hay mucho viñeteo, las esquinas del cuadro son más ruidosas.

Lo interesante, es que Theli mantiene la información sobre la calidad de cada pixel en imágenes de peso o "weighting", una para cada sub, que sufren las mismas transformación del sub asociado (ej, cuando registramos). En el apilado final, esta información se utiliza para optimizar la SNR de cada pixel final. Esta es la clave del mejor rendimiento. Y los que más afecta es el "ruido" inter-pixel de QE, no tanto el viñeteo que siempre cae más o menos en el mismo lugar, y algo más las motas.

Voy a hacer una consulta en el foro de PI, donde seguro que Juan Conejero va a tener algo que decir.

abz

Ignacio

Editado 26 de Septiembre del 2013 por Invitado

[sebyta]

Me parece muy buena y valida la aclaración del proceso.

Lo bueno es que podes Calibrar y apilar con theli y trabajar el apilado final en Pix.

Con el que estas mas familiarizado.

La combinación puede ser excelente.

Y metele con el foro de pix a ver si pueden ver los algoritmos y Cornejo aclara algo sobre el tema.

Saludos.

[matitoma]

Hola Ignacio.

Es envidiable las ganas que le metes a probar softs nuevos!

Para mi la version original esta mejor tanto en resolucion como en fondo. En esta nueva version el fondo esta lavado y eso es lo que le saca resolucion a la galaxia y puntualidad a las estrellas. para mi gusto a la version original solo le hacia falta una reduccion de ruido horizontal y nada mas. yo prefiero el fondo con algún rastro de ruido a que quede lavado o "plastificado", ojo que esto es solo mi opinion.

Te dejo tu imagen original con solo una reduccion de ruido Horizontal pasada. saludos.-

[ignacio_db]

Gracias, Mati, por tu opinión.

Impresionante que bien limpió el fondo lo que sea que aplicaste. Plugin de PS?

Quizá debiera compartir el apilado crudo, para que vean las diferencias, ya que los post--procesados a mi me salen siempre distintos. Sobre todo cuando pasó tanto tiempo.

Cuando mido valores sobre los apilados crudos, me da el mismo FHWM, casi la mitad de ruido total en Theli, y un 20% más de estrellas detectables por un mismo procedimiento en Theli. Aunque podría ser que el registrado de Theli introduzca algún suavizado en la interpolación. SIgo investigando, ahora en contacto directo con su desarrollador.

abz

Ignacio