Explorando las entrañas de la Web con twill
Twill es una herramienta open source y enteramente escrita en Python, que permite al usuario automatizar la navegación por la Web desde una Terminal. Con twill podrás navegar a través de las páginas que utilizan cookies y los componentes comunes de todo sitio Web, ver su contenido en profundidad, bajar datos y contenidos del mismo, ejecutar script y hacer variados test.
Para instalar esta antigua herramienta (2007) utilizaremos el comando pip como se ilustra continuación y lo haremos en Kali Linux Rolling:
Para iniciar twill se utiliza el comando twill-sh ,y que en mi caso arrojo un error por cuanto faltaba instalar una dependencia, específicamente el paquete cssselec, por lo que utilizamos nuevamente el comando pip esta vez para instalar cssselec. Al iniciar twill se abrirá la consola Python y quedamos en condiciones de navegar:
Para acceder a una pàgina web simplemente escribimos < go http://www.example.org >, para ver su contenido y otras propiedades show y showforms, para buscar información y el historial info y showhistory.
Para ver los links y cookies del sitio Web se utilizan los comandos showlinks y show_cookies como se señala en el siguiente ejemplo. Para salir simplemente exit.
La última versión de twill es la 1.8.0 y la puedes encontrar en este link. La explicación en detalle relativa a esta herramienta, comandos, uso común o para testear sitios Web lo encontraras en http://twill.idyll.org/. Si quieres testear un sitio Web con twill solo tienes que escribir uno o mas script y echarlos a correr con la siguiente sintaxis: twill-sh < -u url > script(s).
Suerte.