Cómo automatizar la navegación usando python?

Selenium hará exactamente lo que quieras y maneja javascript

Todas las respuestas son viejas, lo recomiendo y soy un gran fan de solicitudes

Desde la página de inicio:

El módulo urllib2 estándar de Python proporciona la mayor parte del HTTP capacidades que necesita, pero la API está completamente rota. Fue construido para un tiempo diferente-y una web diferente. Se requiere una enorme cantidad de trabajo (incluso el método anula) para realizar el más simple de tarea.

Las cosas no deberían ser así. No en Python.

Creo que la mejor solución es la mezcla de solicitudesy BeautifulSoup, solo quería actualizar la pregunta para que pueda mantenerse actualizada.

Selenio http://www.seleniumhq.org/ es la mejor solución para mí. puede codificarlo con python, java o cualquier lenguaje de programación que desee con facilidad. y fácil simulación que convertir en programa.

Hay muchos módulos integrados en python que podrían ayudar con esto. Por ejemplo urllib y htmllib.

El problema será más simple si cambia la forma en que lo está abordando. Dices que quieres "llenar algunos formularios, hacer clic en el botón enviar, enviar los datos al servidor, recibir la respuesta", lo que suena como un proceso de cuatro etapas.

De hecho, lo que necesita hacer es publicar algunos datos en un servidor web y obtener una respuesta.

Esto es tan simple as:

>>> import urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params)
>>> print f.read()

(ejemplo tomado de los documentos de urllib).

Lo que hagas con la respuesta depende de lo complejo que sea el HTML y de lo que quieras hacer con él. Usted podría salirse con la suya con el análisis utilizando una expresión regular o dos, o puede utilizar el htmllib.HTMLParser class, o tal vez un parser más flexible de nivel superior como Beautiful Soup.

Selenium2 incluye webdriver, que tiene enlaces python y permite usar el controlador HtmlUnit sin cabeza, o cambiar a firefox o chrome para la depuración gráfica.

No olvides zope.testbrowser que es wrapper alrededor de mecanizar.

Zope.testbrowser proporciona un navegador web programable fácil de usar con un enfoque especial en las pruebas.

La mejor solución que he encontrado (y que actualmente estoy implementando) es : - scripts en python usando selenium webdriver - PhantomJS navegador sin cabeza (si se utiliza Firefox tendrá una interfaz gráfica de usuario y será más lento)

HTMLUNIT es el paquete si eres un desarrollador java. http://htmlunit.sourceforge.net/apidocs/index.html

He encontrado que el complemento iMacros Firefox (que es gratuito) funciona muy bien.

Se puede automatizar con Python usando interfaces de objetos COM de Windows. He aquí un ejemplo de código de http://wiki.imacros.net/Python . Requiere Extensiones de Python para Windows :

import win32com.client
def Hello():
    w=win32com.client.Dispatch("imacros")
    w.iimInit("", 1)
    w.iimPlay("Demo\\FillForm")
if __name__=='__main__':
    Hello()

Es probable que desee urllib2. Puede manejar cosas como HTTPS, cookies y autenticación. Probablemente también querrá BeautifulSoup para ayudar a analizar las páginas HTML.

Puede echar un vistazo a estas diapositivas del último pycon italiano (pdf): El autor listó la mayor parte de la biblioteca para hacer scraping y navegación autoteada en python. así que puedes echarle un vistazo.

Me gusta mucho twill (que ya se ha sugerido), que ha sido desarrollado por uno de los autores de nose y está específicamente dirigido a probar sitios web.

Internet Explorer específico, pero bastante bueno:

Http://pamie.sourceforge.net/

La ventaja en comparación con urllib/BeautifulSoup es que también ejecuta Javascript ya que usa IE.

Httplib2 + beautifulsoup

Utilice firefox + firebug + httpreplay para ver lo que el javascript pasa hacia y desde el navegador desde el sitio web. Usando httplib2 puedes esencialmente hacer lo mismo vía post y get

Para la automatización que sin duda podría querer comprobar hacia fuera

Webbot

Se basa en selenium y ofrece muchas más características con muy poco código como encontrar automáticamente elementos para realizar acciones como clic, tipo basado en los parámetros.

Incluso funciona para sitios con nombres de clases e identificadores que cambian dinámicamente .

Aquí está doc: https://webbot.readthedocs.io /