Relación sobre la minería de datos y web scraping
Steven Darío Rodríguez Sierra
dynamo2724@gmail.com
Programa Ingeniería de Sistemas - Universidad de Cundinamarca
Abstract— Now a days, data
mining (MD) is increasingly
getting the attention of
companies. It is still infrequent to
hear phrases like "we should
segment our customers using MD
tools", "the MD will increase
customer satisfaction", or "the
competition is using MD to gain
market share". However,
everything points to the fact that
sooner or later data mining will
be used by society, at least with
the same weight that Statistics
currently has. So what is data
mining and what are the
benefits? How can this
technology influence the
resolution of the daily problems
of companies and society in
general? What technologies are
behind data mining? What is the
life cycle of a typical data mining
project?
I. INTRODUCCIÓN
La revolución digital ha hecho
posible que la información
digitalizada sea fácil de capturar,
procesar, almacenar, distribuir, y
transmitir. Con el importante
progreso en informática y en las
tecnologías relacionadas y la
expansión de su uso en diferentes
aspectos de la vida, se continúa
recogiendo y almacenando en bases
de datos gran cantidad de
información. Descubrir
conocimiento de este enorme
volumen de datos es un reto en sí
mismo. La minería de datos (MD)
es un intento de buscarle sentido a
la explosión de información que
actualmente puede ser almacenada.
Hoy en día, los datos no están
restringidos a tulpas representadas
únicamente con números o
caracteres. El avance de la
tecnología para la gestión de bases
de datos hace posible integrar
diferentes tipos de datos, tales como
imagen, video, texto, y otros datos
numéricos, en una base de datos
sencilla, facilitando el
procesamiento multimedia. Como
resultado, la mezcla tradicional ad
hoc de técnicas estadísticas y
herramientas de gestión de datos no
son adecuadas por más tiempo para
analizar esta vasta colección de
datos desiguales.
La tecnología de Internet actual y
su creciente demanda necesita el
desarrollo de tecnologías de minería
de datos más avanzadas para
información y el conocimiento de
los datos distribuidos por todo el
mundo. En este siglo la demanda
continuará creciendo, y el acceso a
grandes volúmenes de datos
multimedia traerá la mayor
transformación para el global de la
sociedad. Por tanto, el desarrollo de
la tecnología de minería de datos
avanzada continuará siendo una
importante área de estudio, y en
consecuencia se espera gastar
muchos recursos en esta área de
desarrollo en los próximos años.
Existen diversos dominios donde se
almacenan grandes volúmenes de
información en bases de datos
centralizadas y distribuidas, como
por ejemplo librerías digitales,
archivos de imágenes,
bioinformática, cuidados médicos,
finanzas e inversión, fabricación y
producción, negocios y marketing,
redes de telecomunicación.
En realidad, los términos MD y
KDD son a menudo confundidos
como sinónimos. En general se
acepta que la MD es un paso
particular en el proceso
consistiendo en la aplicación de
algoritmos específicos para extraer
patrones (modelos) de los datos.
II. QUE ES LA WEB
SCRAPING
El web scraping es una técnica que
sirve para extraer información de
páginas web de forma
automatizada. Si traducimos del
inglés su significado vendría a
significar algo así como “escarbar
una web”.
Su uso está muy claro: podemos
aprovechar el web scraping para
conseguir cantidades industriales de
información (Big data) sin teclear
una sola palabra. A través de los
algoritmos de búsqueda podemos
rastrear centenares de webs para
extraer sólo aquella información
que necesitamos.
Para ello nos será muy útil
dominar regex (regular expression)
para delimitar las búsquedas o
hacerlas más precisas y que el
filtrado de la información sea
mejor.
Algunos ejemplos para los cuales
vamos a necesitar el web scraping:
A. Para marketing de
contenidos.
Podemos diseñar un robot que
haga un ‘scrapeo’ de datos
concretos de una web y los
podamos utilizar para generar
nuestro propio
contenido. Ejemplo: scrapear los
datos estadísticos la web oficial
de una liga de fútbol para
generar nuestra propia base de
datos.
B. Para ganar visibilidad en
redes sociales.
Podemos utilizar los datos de un
scrapeo para interactuar a través
de un robot con usuarios en
redes sociales. Ejemplo: crear un
robot en instagram que
seleccione los links de cada foto
y luego programar un
comentario en cada entrada.
C. Para controlar la imagen y
la visibilidad de nuestra
marca en internet.
a través de un scrapeo podemos
automatizar la posición por la
que varios artículos de nuestra
web se posicionan en Google o,
por ejemplo, controlar la
presencia del nombre de nuestra
marca en determinados
foros. Ejemplo: rastrear la
posición en Google de todas las
entradas de nuestro blog.
III. DIFERENCIAS ENTRE
MINERIA DE DATOS
Y WEB SCRAPING
La minería de datos (DM) es un
proceso de descubrimiento de
patrones en datasets que
involucra diferentes tecnologías
de aprendizaje automático. En
esta técnica, los datos se extraen
en diferentes formatos y se
utilizan para diversos fines. El
objetivo de la minería de datos
es obtener información de los
sitios web deseados y académica. Una empresa o empresa
transformarla en estructuras
comprensibles para usos
posteriores. Existen diferentes
aspectos de esta técnica, como el
procesamiento previo, la
consideración de la inferencia, la
consideración de la complejidad,
las métricas de interés y la
administración de datos.
Web scraping es el proceso de
extracción de datos de páginas web
deseadas. También se conoce como
extracción de datos y web
harvesting. Las herramientas y el
software de raspado acceden a la
World Wide Web con el Protocolo
de transferencia de hipertexto,
recopilan datos útiles y los extraen
según sus necesidades. La
información se guarda en una base
de datos central o se descarga en su
disco duro para otros usos.
IV. USO DE DATOS
Una de las principales diferencias
entre la minería de datos y el
raspado web es cómo se usan y
aplican estas técnicas en la vida
cotidiana. Por ejemplo, la minería
de datos se usa para ver cómo
diferentes sitios web están
conectados entre sí. Uber y Careem
utilizan tecnología de aprendizaje
automático para calcular ETA para
sus atracciones y obtener resultados
precisos. El raspado web se usa
para una variedad de propósitos,
como la investigación financiera y
puede utilizar estas técnicas para
recopilar datos sobre sus
competidores y aumentar sus
ventas. Además, desempeñan un
papel vital en la generación de
clientes potenciales en Internet y se
dirigen a una gran cantidad de
clientes.
 V. FUNDAMENTOS DE
ESAS TECNICAS
Tanto el raspado web como la
extracción de datos se basan en la
misma base, pero estas
metodologías son aplicables en
diferentes ámbitos de la vida. Por
ejemplo, la extracción de datos se
utiliza para extraer información de
sitios web existentes y convertirla
en un formato legible y escalable.
Sin embargo, el raspado web se usa
para extraer contenido web e
información de archivos PDF,
documentos HTML y sitios
dinámicos. Podemos utilizar estas
metodologías para marketing,
publicidad y promoción de nuestras
marcas y las redes sociales son el
mejor lugar para publicitar sus
productos y servicios. Podemos
generar hasta 15,000 clientes
potenciales en cuestión de minutos.
Las páginas web contienen una
gran cantidad de información y los
datos se pueden raspar solo con
herramientas confiables como
Import.io y Kimono Labs.
A. IMPORT.IO
Es uno de los mejores programas de
extracción de contenido o web
scraping. Import.io ha asegurado
recopilar hasta seis millones de
páginas web hasta el momento, y el
número aumenta cada día. Con esta
herramienta, podemos recopilar
información útil de varios sitios,
rasparla de forma deseable y
descargarla en nuestros discos
duros directamente. Empresas como
Amazon y Google usan Import.io
para extraer una gran cantidad de
páginas web a diario.
B. KIMONO LABS
Es otro programa confiable de
minería de datos y web scraping.
Este software tiene una interfaz
fácil de usar y transforma sus datos
en formularios CSV y JSON.
También puede raspar archivos
PDF y documentos HTML con este
servicio. Su tecnología de
aprendizaje automático hace que
Kimono sea una elección perfecta
para empresas y programadores.
REFERENCIAS
https://idus.us.es/xmlui/handle/114
41/43290
https://idus.us.es/xmlui/bitstream/h
andle/11441/43290/Miner%C3%A
Da%20de%20datos.pdf?sequence=
1&isAllowed=y
https://books.google.es/books?hl=e
s&lr=&id=OUDfCQAAQBAJ&oi=
fnd&pg=PP1&dq=web+scraping&
ots=WJTyszobJ9&sig=wXrfQX_h
SnOkh1mocKGTBOorExU#v=one
page&q=web%20scraping&f=false
http://www.sciedu.ca/journal/index.
php/air/article/view/1390