INTRODUCCIÓN A LA
MINERÍA DE DATOS

José Hernández Orallo
Mª José Ramírez Quintana
Cèsar Ferri Ramírez

ÍNDICE DETALLADO

Índice de contenido	VII
Prefacio	XVII
Motivación y objetivos del libro	XVII
Destinatarios	XIX
Organización e itinerarios	XX
Terminología	XXII
Agradecimientos	XXII
PARTE I: INTRODUCCIÓN
Capítulo 1  ¿Qué es la minería de datos?	3
1.1 Nuevas necesidades	3
1.2 El concepto de minería de datos. Ejemplos	5
1.2.1 Ejemplo 1: análisis de créditos bancarios	6
1.2.2 Ejemplo 2: análisis de la cesta de la compra	7
1.2.3 Ejemplo 3: determinar las ventas de un producto	7
1.2.4 Ejemplo 4: determinar grupos diferenciados de empleados	8
1.3 Tipos de datos	9
1.3.1 Bases de datos relacionales	9
1.3.2 Otros tipos de bases de datos	11
1.3.3 La World Wide Web	11
1.4 Tipos de modelos	12
1.5 La minería de datos y el proceso de descubrimiento de conocimiento en bases de datos	13
1.6 Relación con otras disciplinas	14
1.7 Aplicaciones	16
1.8 Sistemas y herramientas de minería de datos	18
Capítulo 2  El proceso de extracción de conocimiento	19
2.1 Las fases del proceso de extracción de conocimiento	19
2.2 Fase de integración y recopilación	21
2.3 Fase de selección, limpieza y transformación	22
2.4 Fase de minería de datos	24
2.4.1 Tareas de la minería de datos	25
2.4.2 Técnicas de minería de datos	27
2.4.3 Construcción del modelo	35
2.5 Fase de evaluación e interpretación	35
2.5.1 Técnicas de evaluación	36
2.5.2 Medidas de evaluación de modelos	37
2.5.3 Interpretación y contextualización	38
2.6 Fase de difusión, uso y monitorización	39
PARTE II: PREPARACIÓN DE DATOS
Capítulo 3  Recopilación. Almacenes de datos	43
3.1 Introducción	44
3.2 Necesidad de los almacenes de datos	46
3.2.1 OLTP y OLAP	46
3.2.2 Almacenes de datos y bases de datos transaccionales	47
3.3 Arquitectura de los almacenes de datos	49
3.3.1 Modelo multidimensional	49
3.3.2 Datamarts	51
3.3.3 Explotación de un almacén de datos. Operadores	52
3.3.4 Implementación del almacén de datos. Diseño	55
3.4 Carga y mantenimiento del almacén de datos	59
3.5 Almacenes de datos y minería de datos	62
Capítulo 4  Limpieza y transformación	65
4.1 Introducción	66
4.2 Integración y limpieza de datos	67
4.2.1 Integración	68
4.2.2 Reconocimiento	69
4.2.3 Valores faltantes	74
4.2.4 Valores erróneos. Detección de valores anómalos	76
4.3 Transformación de atributos. Creación de características	78
4.3.1 Reducción de dimensionalidad por transformación	79
4.3.2 Aumento de la dimensionalidad por transformación o construcción	85
4.4 Discretización y numerización	89
4.4.1 Discretización	89
4.4.2 Numerización	92
4.5 Normalización de rango: escalado y centrado	93
4.6 Otras transformaciones	94
Capítulo 5  Exploración y selección	97
5.1 Introducción. El contexto de la vista minable	97
5.1.1 Reconocimiento del dominio y de los usuarios	101
5.1.2 Reconocimiento y exploración de los datos	102
5.2 Exploración mediante visualización	103
5.2.1 Visualización multidimensional	104
5.3 Sumarización, descripción, generalización y pivotamiento	107
5.3.1 Sumarización	108
5.3.2 Generalización y descripción	110
5.3.3 Pivotamiento	111
5.4 Selección de datos	112
5.4.1 Técnicas de muestreo	112
5.4.2 Selección de características relevantes. Reducción de dimensionalidad	117
5.4.3 Ejemplo de selección de atributos	124
5.5 Lenguajes, primitivas e interfaces de minería de datos	125
5.5.1 Lenguajes de consulta de minería de datos	126
5.5.2 Conjuntos de primitivas de minería de datos	130
5.5.3 Interfaces visuales de minería de datos	131
PARTE III: TÉCNICAS DE MINERÍA DE DATOS
Capítulo 6  El problema de la extracción de patrones	137
6.1 Introducción	137
6.2 Tareas y métodos	139
6.2.1 Tareas	139
6.2.2 Métodos. Correspondencia entre tareas y métodos	146
6.3 Minería de datos y aprendizaje inductivo	148
6.3.1 Los patrones son hipótesis. Evaluación	150
6.3.2 Métodos retardados y anticipativos. Comprensibilidad	151
6.3.3 La eficiencia del aprendizaje	152
6.4 El lenguaje de los patrones. Expresividad	154
6.4.1 ¿Qué expresividad es necesaria? Subajuste y sobreajuste	155
6.4.2 Medidas de separabilidad	157
6.4.3 Técnicas para aumentar la expresividad	159
6.5 Breve comparación de métodos	161
Capítulo 7  Modelización estadística paramétrica	165
Tomàs Aluja y Pedro Delicado
7.1 Concepto de modelización estadística	166
7.2 Modelo de regresión	167
7.2.1 Regresión lineal	168
7.2.2 Interpretación de los coeficientes	172
7.2.3 Naturaleza del término de error y suposiciones sobre el mismo	174
7.2.4 Estimación de la varianza de la perturbación aleatoria	175
7.2.5 Significación de los regresores	175
7.2.6 Medidas de bondad del modelo de regresión	177
7.2.7 Selección de las variables del modelo	181
7.3 Modelos de regresión sobre componentes incorrelacionados	183
7.3.1 Regresión sobre componentes principales	183
7.3.2 Regresión sobre componentes PLS	185
7.4 Modelos de regresión con variables categóricas	185
7.5 Análisis de los residuos	187
7.6 Ejemplo: aplicación a los datos SERVO	190
7.7 Modelos lineales generalizados	194
7.7.1 Inferencia. Desviación	195
7.7.2 Pruebas de hipótesis basadas en diferencias de desviaciones	196
7.7.3 Regresión logística	196
7.7.4 Ejemplo. Análisis de los datos Wisconsin Diagnostic Breast Cancer	198
7.8 Análisis discriminante	203
7.8.1 Las tres probabilidades	204
7.8.2 Las funciones discriminantes	205
7.8.3 Discriminación paramétrica	205
7.8.4 Función discriminante de Fisher	208
7.8.5 Consideraciones sobre la calidad de la discriminación	209
7.8.6 Ejemplo. Análisis de los datos Wisconsin Diagnostic Breast Cancer	210
7.9 Sistemas, aplicabilidad y recomendaciones de uso	211
Capítulo 8  Modelización estadística no paramétrica	213
Pedro Delicado y Tomàs Aluja
8.1 Introducción	213
8.2 Regresión no paramétrica	215
8.2.1 Estimadores núcleo y ajuste local de polinomios	216
8.2.2 Elección del parámetro de suavizado	221
8.2.3 Regresión múltiple. Modelos aditivos	224
8.3 Discriminación no paramétrica	229
8.4 Conclusiones, aplicabilidad y sistemas	236
Capítulo 9  Reglas de asociación y dependencia	237
9.1 Introducción	237
9.2 Reglas de asociación	239
9.2.1 Mejoras y extensiones	242
9.3 Reglas de dependencias	243
9.3.1 Interés de dependencias	246
9.3.2 Relación entre interés y correlación	247
9.4 Reglas de asociación multinivel	247
9.5 Reglas de asociación secuenciales	249
9.6 Aprendizaje de reglas de asociación con sistemas de minería de datos	252
Capítulo 10  Métodos bayesianos	257
#José A. Gámez Martín, Ismael García Varea y José M. Puerta Callejón
10.1 Introducción	257
10.2 Teorema de Bayes e hipótesis MAP	259
10.3 Naïve Bayes	260
10.3.1 Estimación de los parámetros	260
10.3.2 Ejemplos	261
10.4 Redes bayesianas	263
10.5 Aprendizaje de redes bayesianas	266
10.5.1 Medidas bayesianas	266
10.5.2 Algoritmos de búsqueda	268
10.5.3 Ejemplo: Redes bayesianas y minería de datos	270
10.6 Clasificadores basados en redes bayesianas	271
10.6.1 TAN	271
10.6.2 BAN	273
10.6.3 Redes bayesianas como clasificadores	274
10.6.4 Ejemplos	274
10.7 Tratamiento de datos desconocidos	275
10.7.1 Algoritmo EM	276
10.8 Sistemas	278
Capítulo 11  Árboles de decisión y sistemas de reglas	281
11.1 Introducción	281
11.2 Sistemas por partición: árboles de decisión para clasificación	283
11.2.1 Particiones posibles	284
11.2.2 Criterio de selección de particiones	286
11.3 Sistemas de aprendizaje de reglas por cobertura	287
11.4 Poda y reestructuración	290
11.5 Árboles de decisión para regresión, agrupamiento o estimación de probabilidades	293
11.6 Aprendizaje de árboles de decisión híbridos	295
11.7 Adaptación para grandes volúmenes de datos	295
11.8 Sistemas, aplicabilidad y recomendaciones de uso	297
Capítulo 12  Métodos relacionales y estructurales	301
12.1 Introducción	301
12.2 Programación lógica y bases de datos	304
12.3 Programación lógica inductiva	306
12.3.1 -subsunción	308
12.3.2 Métodos top-down	309
12.3.3 Métodos bottom-up	310
12.3.4 Bias inductivos en ILP	310
12.3.5 ILP y recursividad	311
12.4 Programación lógica inductiva y minería de datos	312
12.4.1 Aproximación directa	312
12.4.2 Aproximación mediante proposicionalización	315
12.4.3 Bases de datos inductivas	316
12.5 Otros métodos relacionales y estructurales	317
12.5.1 Aprendizaje basado en grafos	317
12.5.2 Modelos probabilísticos relacionales	320
12.5.3 Aproximaciones relacionales basadas en distancia	320
12.5.4 Árboles de decisión relacionales	322
12.5.5 Reglas de asociación relacionales	323
12.5.6 Inducción de programas lógico-funcionales	324
12.6 Sistemas	325
Capítulo 13  Redes neuronales artificiales	327
#Emilio Corchado y Colin Fyfe
13.1 Introducción	327
13.1.1 Neuronas biológicas y artificiales	328
13.2 El aprendizaje en las redes neuronales artificiales	330
13.3 Aprendizaje supervisado en RNA	330
13.3.1 Perceptrón simple y Adaline	330
13.3.2 Perceptrón multicapa	332
13.3.3 Algoritmo de retropropagación	333
13.3.4 Variaciones de la retropropagación y otros MLP generales	336
13.3.5 Ejemplo	337
13.3.6 Funciones de base radial	339
13.3.7 Aplicaciones y ejemplo	341
13.4 Aprendizaje no supervisado en RNA	343
13.4.1 Aprendizaje de Hebb	343
13.4.2 Aprendizaje competitivo	346
13.4.3 Mapa de características o auto-organizados de Kohonen	347
13.5 Sistemas, aplicabilidad y recomendaciones de uso	351
Capítulo 14  Máquinas de vectores soporte	353
#Xavier Carreras, Lluís Màrquez y Enrique Romero
14.1 Introducción	353
14.1.1 Contenidos del capítulo	356
14.2 Máquinas de vectores soporte para clasificación binaria	356
14.2.1 SVM lineal con margen máximo	357
14.2.2 SVM con margen máximo en el espacio de características	361
14.2.3 SVM con margen blando (soft margin SVM)	364
14.3 Justificación teórica	367
14.4 Aplicaciones de las máquinas de vectores soporte	367
14.4.1 La doble espiral	368
14.4.2 Categorización de textos	370
14.4.3 Bag-of-words	372
14.4.4 String kernel	374
14.5 Extensiones y temas avanzados	375
14.6 Paquetes software y recomendaciones de uso	378
Anexo. Optimización con restricciones lineales	381
Capítulo 15  Extracción de conocimiento con algoritmos evolutivos y reglas difusas	383
#María José del Jesus, Pedro González y Francisco Herrera
15.1 Introducción	383
15.2 Computación evolutiva	385
15.2.1 Algoritmos genéticos	387
15.2.2 Programación genética	389
15.3 Algoritmos evolutivos para la extracción de conocimiento	389
15.3.1 Algoritmos genéticos para el descubrimiento de reglas	390
15.3.2 Programación genética para el descubrimiento de reglas	397
15.3.3 Algoritmos evolutivos en otras etapas del proceso de extracción de conocimiento	399
15.4 Lógica difusa	403
15.5 Lógica difusa en minería de datos	405
15.5.1 Aplicaciones de la lógica difusa en minería de datos	405
15.5.2 Algoritmo para la generación de reglas difusas de Wang y Mendel	407
15.6 Sistemas evolutivos difusos en minería de datos	409
15.6.1 Algoritmos genéticos para el descubrimiento de reglas de asociación difusas	410
15.6.2 Programación genética para el descubrimiento de reglas de asociación difusas	412
15.7 Ejemplos	412
15.7.1 Algoritmo genético iterativo con codificación entera: reglas simples	412
15.7.2 Algoritmo genético iterativo con codificación binaria: reglas DNF	415
15.7.3 Experimentación	415
15.8 Sistemas software	417
15.9 Conclusiones	418
Capítulo 16  Métodos basados en casos y en vecindad	421
#Pedro Isasi
16.1 Introducción	421
16.1.1 Medidas de distancia	422
16.1.2 Métodos retardados frente a no retardados	424
16.2 Técnicas para agrupamiento	428
16.2.1 Mapas auto-organizativos de Kohonen	428
16.2.2 K medias	432
16.2.3 Agrupamiento jerárquico	436
16.3 Técnicas para clasificación	440
16.3.1 Estimación bayesiana de funciones de densidad	441
16.3.2 K vecinos	442
16.3.3 LVQ	446
16.4 Métodos de vecindad con técnicas evolutivas	448
16.4.1 Clasificación por vecindad mediante algoritmos genéticos	448
16.4.2 Algoritmos evolutivos de estimación de distribuciones	450
16.5 Otros métodos y aplicabilidad	455
16.5.1 Razonamiento basado en casos	455
16.5.2 Sistemas	458
PARTE IV: EVALUACIÓN, DIFUSIÓN Y USO DE MODELOS
Capítulo 17  Técnicas de evaluación	461
17.1 Introducción	461
17.2 Evaluación de clasificadores	462
17.2.1 Evaluación de hipótesis basada en precisión	463
17.2.2 Evaluación de hipótesis basada en coste	467
17.3 Evaluación de modelos de regresión	476
17.4 Comparación de técnicas de aprendizaje	477
17.5 Evaluación basada en complejidad de la hipótesis. El principio MDL	477
17.6 Evaluación de modelos de agrupamiento	480
17.7 Evaluación de reglas de asociación	481
17.8 Otros criterios de evaluación	482
17.8.1 Comprensibilidad	482
17.8.2 Interés	483
17.8.3 Aplicabilidad	483
Capítulo 18  Combinación de modelos	485
18.1 Introducción	485
18.2 Métodos de construcción de multiclasificadores	487
18.2.1 Bagging	488
18.2.2 Boosting	489
18.2.3 Comparación de métodos	491
18.2.4 Aprendizaje colaborativo (co-learning)	491
18.3 Métodos de fusión	492
18.3.1 Combinación bayesiana	493
18.4 Métodos híbridos	494
18.4.1 Stacking	495
18.4.2 Cascading	496
Capítulo 19  Interpretación, difusión y uso de modelos	503
19.1 Introducción	503
19.2 Extracción de reglas comprensibles	504
19.3 Visualización posterior	506
19.4 Intercambio y difusión de modelos: estándares de representación	510
19.5 Integración con la toma de decisiones	512
19.5.1 Integración de los costes	514
19.5.2 Diseño de campañas	516
19.5.3 Simulación	519
19.6 Actualización y revisión de modelos	520
PARTE V: MINERÍA DE DATOS COMPLEJOS
Capítulo 20  Minería de datos espaciales, temporales, secuenciales y multimedia	525
20.1 Introducción	525
20.2 Minería de datos espaciales	526
20.2.1 Clasificación y regresión de datos espaciales	529
20.2.2 Reglas de asociación de datos espaciales	530
20.2.3 Agrupamiento de datos espaciales	530
20.2.4 Detección de tendencias espaciales	531
20.3 Minería de datos temporales	531
20.3.1 Análisis de tendencias	532
20.3.2 Análisis de movimientos estacionales	533
20.3.3 Búsqueda de similitudes en series temporales	535
20.4 Extracción de patrones secuenciales	536
20.4.1 Clasificación con datos secuenciales	536
20.4.2 Agrupamiento de patrones secuenciales	538
20.4.3 Reglas de asociación con datos secuenciales	538
20.5 Minería de datos multimedia	539
20.5.1 Descubrimiento de similitud de datos multimedia	541
20.5.2 Aprendizaje supervisado desde datos multimedia	541
20.5.3 Reglas de asociación en datos multimedia	542
Capítulo 21  Minería de web y textos	545
21.1 Introducción	545
21.2 Minería web	548
21.2.1 El proceso de minería web	548
21.2.2 Disciplinas relacionadas	549
21.2.3 Clasificación de la minería web	550
21.3 Minería del contenido de la web	551
21.3.1 Minería de textos	552
21.3.2 Clasificador de textos por palabras	554
21.3.3 Reglas de asociación para conceptos	556
21.3.4 Minería de marcado	557
21.3.5 Minería de hipertextos	559
21.4 Minería de la estructura de la web	560
21.5 Minería de uso web	563
21.5.1 Aprendizaje de patrones de navegación	563
21.5.2 Personalización y sistemas de recomendación	566
21.6 Sistemas de minería de web y textos	568
PARTE VI: IMPLANTACIÓN E IMPACTO DE LA MINERÍA DE DATOS	
Capítulo 22  Implantación de un programa de minería de datos	573
22.1 Introducción	573
22.1.1 Claves del éxito de un programa de minería de datos	574
22.2 ¿Cuándo empezar? Necesidades y objetivos de negocio	575
22.2.1 ¿Subcontratar? Grados de autosuficiencia de un programa de minería de datos	578
22.3 Formulación del programa: fases e implantación	580
22.3.1 El modelo y guía de referencia CRISP-DM	581
22.3.2 Implantación progresiva. Ciclo de vida en espiral	585
22.4 Integración con las herramientas y proyectos de la organización	586
22.4.1 Integración con las entradas	586
22.4.2 Integración con las salidas	588
22.5 Recursos necesarios	590
22.5.1 Material necesario	590
22.5.2 Personal necesario y formación	592
Capítulo 23  Repercusiones y retos de la minería de datos	597
23.1 Impacto social de la minería de datos	597
23.2 Cuestiones éticas y legales	599
23.2.1 Privacidad	599
23.2.2 Modelos. Errores y discriminación	600
23.3 Escalabilidad. Minería de datos distribuida	601
23.3.1 Minería de datos distribuida	603
23.4 Tendencias futuras	605
APÉNDICES
Apéndice [A] Sistemas y herramientas de minería de datos	609
#  Vicent Estruch Gregori
Librerías	609
Suites	611
Herramientas específicas	621
Apéndice [B] Datos de ejemplo	625
Tabla resumen	627
Referencias bibliográficas	629
Índice analítico	651