¿Qué biblioteca utiliza el rastreador de Python?
1. Biblioteca de red de rastreadores de Python
La biblioteca de redes de rastreadores de Python incluye principalmente: urllib, request, grab, pycurl, urllib3: código R, Python y matlab de ejecución en la nube.
Doce. Correo electrónico
●Flanqueo: dirección de correo electrónico y biblioteca de análisis Mime;
● talon: biblioteca Mailgun para extraer citas y firmas de mensajes.
Trece. Operaciones de URL y sitios web
furl: una pequeña biblioteca de Python que simplifica las operaciones de URL;
purl: URL simples que no se pueden cambiar y API limpia para depuración y operaciones.
● Dirección web. Análisis: se utiliza para romper la división entre los componentes del Localizador uniforme de recursos (URL), combinar los componentes en una cadena de URL y convertir la "URL relativa" en una URL absoluta, denominada "URL base"
●tldextract; : Separe con precisión los dominios y subdominios registrados de TLD de las URL, utilizando una lista de sufijos común;
●etaddr: una biblioteca de Python para mostrar y manipular direcciones de red.
Catorce. Extracción de contenido de páginas web
●periódico: utiliza Python para la extracción de noticias, extracción de artículos y curación de contenidos;
●HTML2text: convierte HTML a texto en formato Markdown;
● Python-Goose: extractor de artículos y contenido HTML;
●lassie: una herramienta de recuperación de contenido web fácil de usar;
●micawber: una pequeña biblioteca para extraer contenido enriquecido de sitios web;
●sumy: un módulo que resume automáticamente archivos de texto y páginas HTML;
●Haul: un rastreador de imágenes extensible;
●Python- Readability: un rápido Interfaz Python para la herramienta de legibilidad ARC 90;
●scrapely: una biblioteca para extraer datos estructurados de páginas HTML;
●youtube-dl: descargar vídeos de youtube Un pequeño programa de línea de comandos ;
●Obtienes: YouTube, descargador de videos Youku/Niconico para Python 3;
●WikiTeam: una herramienta para descargar y guardar wikis.
15. WebSocket
●Crossbar: un enrutador de mensajes de aplicaciones de código abierto;
●AutobahnPython: proporciona la implementación Python del protocolo WebSocket y el protocolo WAMP y es abierto. fuente;
●WebSocket-for-Python: biblioteca de servidor y cliente de socket web para Python 2, 3 y PyPy.
16. Análisis de DNS
●dnsyo: comprueba tus propios DNS en más de 1.500 servidores DNS en todo el mundo;
●py cares: interfaz c-ares .
17. Visión por computadora
●OpenCV: biblioteca de visión por computadora de código abierto;
●SimpleCV: utilizada para cámaras, procesamiento de imágenes, extracción de características y conversión de formato. Introducción y una interfaz legible;
●mahotas: un rápido algoritmo de procesamiento de imágenes por computadora basado enteramente en matrices numpy como tipo de datos.
Dieciocho.
Sistema de servicio proxy
●shadowsocks: un proxy de túnel rápido que puede ayudarle a penetrar firewalls;
● tproxy: tproxy es un proxy de enrutamiento TCP simple basado en Gevent y configurado con Python.
Diecinueve. Lista de otras herramientas de Python
●Awesome - python
●pycrumbs
●python-github-project
●python_reference p >
●pythonidae