解密搜索引擎技术实战：Lucene&Java精华版（第3版）

第1章 搜索引擎总体结构 11.1 搜索引擎基本模块 11.2 开发环境 21.3 搜索引擎工作原理 31.3.1 网络爬虫 41.3.2 全文索引结构与Lucene实现 41.3.3 搜索用户界面 71.3.4 计算框架 81.3.5 文本挖掘 91.4 本章小结 9第2章 网络爬虫的原理与应用 112.1 爬虫的基本原理 112.2 爬虫架构 142.2.1 基本架构 142.2.2 分布式爬虫架构 162.2.3 垂直爬虫架构 172.3 抓取网页 182.3.1 下载网页的基本方法 192.3.2 网页更新 232.3.3 抓取限制应对方法 252.3.4 URL地址提取 282.3.5 抓取JavaScript动态页面 282.3.6 抓取即时信息 312.3.7 抓取暗网 322.3.8 信息过滤 332.3.9 最好优先遍历 392.4 存储URL地址 402.4.1 BerkeleyDB 402.4.2 布隆过滤器 422.5 并行抓取 452.5.1 多线程爬虫 462.5.2 垂直搜索的多线程爬虫 482.5.3 异步I/O 492.6 RSS抓取 532.7 抓取FTP 552.8 下载图片 552.9 图像的OCR识别 562.9.1 图像二值化 572.9.2 切分图像 602.9.3 SVM分类 632.10 Web结构挖掘 672.10.1 存储Web图 672.10.2 PageRank算法 712.10.3 HITs算法 772.10.4 主题相关的PageRank 812.11 部署爬虫 832.12 本章小结 83第3章 索引内容提取 863.1 从HTML文件中提取文本 863.1.1 识别网页的编码 863.1.2 网页编码转换为字符串编码 893.1.3 使用正则表达式提取数据 893.1.4 结构化信息提取 913.1.5 网页的DOM结构 943.1.6 使用NekoHTML提取信息 953.1.7 使用Jsoup提取信息 1013.1.8 网页去噪 1053.1.9 网页结构相似度计算 1103.1.10 提取标题 1123.1.11 提取日期 1133.2 从非HTML文件中提取文本 1133.2.1 提取标题的一般方法 1143.2.2 PDF文件 1183.2.3 Word文件 1223.2.4 Rtf文件 1233.2.5 Excel文件 1343.2.6 PowerPoint文件 1373.3 流媒体内容提取 1373.3.1 音频流内容提取 1383.3.2 视频流内容提取 1403.4 存储提取内容 1423.5 本章小结 143第4章 中文分词的原理与实现 1444.1 Lucene中的中文分词 1454.1.1 Lucene切分原理 1454.1.2 Lucene中的Analyzer 1464.1.3 自己写Analyzer 1484.1.4 Lietu中文分词 1504.2 查找词典算法 1514.2.1 标准Trie树 1514.2.2 三叉Trie树 1544.3 中文分词的原理 1594.4 中文分词流程与结构 1624.5 形成切分词图 1644.6 概率语言模型的分词方法 1694.7 N元分词方法 1734.8 新词发现 1784.9 未登录词识别 1794.10 词性标注 1804.10.1 隐马尔可夫模型 1834.10.2 基于转换的错误学习方法 1914.11 平滑算法 1934.12 本章小结 198第5章 让搜索引擎理解自然语言 1995.1 停用词表 2005.2 句法分析树 2015.3 相似度计算 2055.4 文档排重 2095.4.1 语义指纹 2105.4.2 SimHash 2135.4.3 分布式文档排重 2235.5 中文关键词提取 2235.5.1 关键词提取的基本方法 2235.5.2 HITS算法应用于关键词提取 2265.5.3 从网页中提取关键词 2285.6 相关搜索词 2285.6.1 挖掘相关搜索词 2295.6.2 使用多线程计算相关搜索词 2315.7 信息提取 2325.8 拼写检查与建议 2375.8.1 模糊匹配问题 2405.8.2 英文拼写检查 2425.8.3 中文拼写检查 2445.9 自动摘要 2475.9.1 自动摘要技术 2475.9.2 自动摘要的设计 2475.9.3 Lucene中的动态摘要 2545.10 文本分类 2575.10.1 特征提取 2595.10.2 中心向量法 2625.10.3 朴素贝叶斯 2655.10.4 支持向量机 2725.10.5 规则方法 2795.10.6 网页分类 2825.11 拼音转换 2835.12 概念搜索 2845.13 多语言搜索 2925.14 跨语言搜索 2935.15 情感识别 2955.15.1 确定词语的褒贬倾向 2985.15.2 实现情感识别 3005.16 本章小结 301第6章 Lucene原理与应用 3036.1 Lucene深入介绍 3046.1.1 常用查询对象 3046.1.2 查询语法与解析 3046.1.3 查询原理 3086.1.4 分析文本 3096.1.5 使用Filter筛选搜索结果 3166.1.6 遍历索引库 3176.1.7 索引数值列 3186.2 Lucene中的压缩算法 3226.2.1 变长压缩 3226.2.2 PForDelta 3246.2.3 前缀压缩 3266.2.4 差分编码 3286.3 创建和维护索引库 3306.3.1 创建索引库 3306.3.2 向索引库中添加索引文档 3316.3.3 删除索引库中的索引文档 3346.3.4 更新索引库中的索引文档 3346.3.5 索引的合并 3356.3.6 索引文件格式 3356.4 查找索引库 3386.4.1 查询过程 3386.4.2 常用查询 3426.4.3 基本词查询 3436.4.4 模糊匹配 3436.4.5 布尔查询 3456.4.6 短语查询 3476.4.7 跨度查询 3496.4.8 FieldScoreQuery 3536.5 读写并发控制 3566.6 检索模型 3566.6.1 向量空间模型 3576.6.2 BM25概率模型 3616.6.3 统计语言模型 3676.7 本章小结 369第7章 搜索引擎用户界面 3707.1 实现Lucene搜索 3707.2 实现搜索接口 3727.2.1 编码识别 3727.2.2 布尔搜索 3757.2.3 指定范围搜索 3757.2.4 搜索结果排序 3767.2.5 搜索页面的索引缓存与更新 3777.3 历史搜索词记录 3807.4 实现关键词高亮显示 3817.5 实现分类统计视图 3837.6 实现Ajax搜索联想词 3887.6.1 估计查询词的文档频率 3887.6.2 搜索联想词总体结构 3897.6.3 服务器端处理 3897.6.4 浏览器端处理 3907.6.5 服务器端改进 3957.6.6 拼音提示 3987.6.7 部署总结 3997.7 集成其他功能 3997.7.1 拼写检查 3997.7.2 分类统计 4007.7.3 相关搜索 4027.7.4 再次查找 4057.7.5 搜索日志 4057.8 搜索日志分析 4077.8.1 日志信息过滤 4077.8.2 信息统计 4097.8.3 挖掘日志信息 4117.9 本章小结 412第8章 使用Solr实现企业搜索 4138.1 Solr简介 4138.2 Solr基本用法 4148.2.1 Solr服务器端的配置与中文支持 4158.2.2 把数据放进Solr 4218.2.3 删除数据 4238.2.4 Solr客户端与搜索界面 4248.2.5 Spring实现的搜索界面 4258.2.6 Solr索引库的查找 4368.2.7 索引分发 4408.2.8 Solr搜索优化 4428.3 Solr扩展与定制 4458.3.1 Solr中字词混合索引 4458.3.2 相关检索 4478.3.3 搜索结果去重 4498.3.4 定制输入输出 4538.3.5 分布式搜索 4578.3.6 SolrJ查询分析器 4588.3.7 扩展SolrJ 4668.3.8 扩展Solr 4678.3.9 查询Web图 4718.4 本章小结 473第9章 地理信息系统案例分析 4749.1 新闻提取 4749.2 POI信息提取 4799.2.1 提取主体 4849.2.2 提取地区 4859.2.3 指代消解 4879.3 机器翻译 4899.3.1 词对齐 4909.3.2 翻译公司名 4919.3.3 调整语序 4939.4 本章小结 494第10章 户外活动搜索案例分析 49510.1 爬虫 49510.2 信息提取 49710.3 活动分类 50110.4 搜索 50110.5 本章小结 502参考资料 503