Conclusión del documento sobre el rastreador de Python
¿De dónde viene? Solicitud. ¿Excepción? ¿importar? Solicitar excepción
¿Importar? Acerca de
¿Importar? Requerido
¿Importar? Sistema Operativo (Sistema Operativo)
def? get_html_text(url):
Prueba:
r? =?Request.get(url)
r.raise_for_status()
¿Regresión? r .text
¿excepto? Solicitud de excepción:
¿Regresión? ¿Nadie
definitivamente? Get_chapter_name(html):
¿Sopa? =?BeautifulSoup(html,?lxml’)
¿carácter? =?soup.select('.BG')
¿nombres_charpter? =?[]
¿Para qué? ¿empezando? ¿existir? carácter[1:]:
nombre_carácter? =?re .find all(<h2>(.*?)</H2>',?str(entry))
¿Nombre de archivo? =?re .buscar todo(<answer?href.*?>(.*?)</a>',?str(entry))
Si? nombre_personaje? Entonces qué. Nombre del archivo:
¿Para qué? ¿nombre? ¿existir? Nombre del archivo:
¿Nombre? =?nombre.split('?'))[0]
char pter _ nombres append(char pter _ nombre[0]?+?'_'?+?nombre)
En caso contrario:
Pasar
¿Volver? Colección(nombre del capítulo)
def? get_each_url(html):
¿Sopa? =?BeautifulSoup(html,?lxml’)
URL? =?soup.select('ul?李?a’)
¿Para qué? URL? ¿existir? URL:
¿Enlace? =?url.get('href ')
¿Texto? =?url.text.split('?'))[0]
¿Nombre completo? =?url.text.replace('?'),'')
¿Rendimiento? {'URL':? Enlace,? texto': texto, 'nombre completo': nombre completo}
Imprimir(texto)
def? Obtener texto(url):
r? =?Request.get(url)
r.Codificación? =?r.apparent_encoding
¿Sopa? =?BeautifulSoup(r.text,?lxml’)
¿Artículo? =?soup.select('div.content-body ')
¿Artículo? =?re .find all(';(.*?);',?item[0].text,?about.s)
¿Volver? elementos[0].
codificación()
def? Guardar en archivo (url, texto,? nombre completo):
base_dir? =?El camino de los catecúmenos
? =?'{}\\{}\\{}'.format(os.getcwd(),? base_dir? text)
¿Si? ¿No es así? os.path.exists(ruta):
Pruebe:
os.makedirs(ruta)
Excepto:
Pase p>
Prueba:
¿Qué usar? abrir(ruta?+'\\'+?nombre completo?+'.'txt',?WB')? ¿Como? Mujer:
f.write(get_text(url))
Excepto:
Aprobar
def? principal():
¿URL? =?'/'
html? =?get_html_text(url)
¿Capítulo? =?Get_chapter_name(html)
¿Para qué? ¿capítulo? ¿existir? Capítulo:
¿Para qué? ¿Cada? ¿existir? get_each_url(html):
¿Y si? cada uno['texto']? ==?chapter.split('_')[-1]:
Guardar en archivo (cada ['url'], capítulo, cada ['nombre completo'])
¿Y si? __nombre__? ==?__main__ ':
Principal()