Elasticsearch应用之京东搜索
全栈自学社区
共 5543字，需浏览 12分钟
· 2021-01-21
点击上方蓝色字体，选择“置顶或者星标”
优质文章第一时间送达！
京东搜索Elasticsearch
开发环境
elasticsearch 7.10.1 集成IDE idea elasticsearch-head maven 3.6.3
所有开发环境 全栈自学社区 公众号回复 电脑环境 关键字即可获取.
项目概况
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0modelVersion>
<parent>
<groupId>cn.com.codingcegroupId>
<artifactId>codingce-esartifactId>
<version>0.0.1-SNAPSHOTversion>
<relativePath/>
parent>
<groupId>cn.com.codingcegroupId>
<artifactId>codingce-es-jdartifactId>
<version>0.0.1-SNAPSHOTversion>
<name>codingce-es-jdname>
<description>Demo project for Spring Bootdescription>
<properties>
<java.version>1.8java.version>
<elasticsearch.version>7.10.1elasticsearch.version>
properties>
<dependencies>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-data-elasticsearchartifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-thymeleafartifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-devtoolsartifactId>
<scope>runtimescope>
<optional>trueoptional>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-configuration-processorartifactId>
<optional>trueoptional>
dependency>
<dependency>
<groupId>org.projectlombokgroupId>
<artifactId>lombokartifactId>
<optional>trueoptional>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-testartifactId>
<scope>testscope>
dependency>
<dependency>
<groupId>org.jsoupgroupId>
<artifactId>jsoupartifactId>
<version>1.10.2version>
dependency>
<dependency>
<groupId>com.alibabagroupId>
<artifactId>fastjsonartifactId>
<version>1.2.73version>
<scope>compilescope>
dependency>
dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-maven-pluginartifactId>
<configuration>
<excludes>
<exclude>
<groupId>org.projectlombokgroupId>
<artifactId>lombokartifactId>
exclude>
excludes>
configuration>
plugin>
plugins>
build>
project>
实现代码
ElasticSearchConfig
这里仅仅是单个 Elasticsearch
/**
* ElasticSearch配置类
* 找到对象, 放到Spring里面就可以用了
*
* @author mxz
*/
@Configuration
public class ElasticSearchConfig {
@Bean
public RestHighLevelClient restHighLevelClient() {
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(
new HttpHost("localhost", 9200, "http")));
// new HttpHost("localhost", 9201, "http")));
return client;
}
}
实体类 Content
用于对应京东单个商品数据
/**
* 实体类
*
* @author mxz
*/
@Data
@NoArgsConstructor
@AllArgsConstructor
public class Content {
private String title;
private String img;
private String price;
}
工具类 HtmlParseUtil
用于解析京东搜索的数据
/**
* @author mxz
*/
@Component
public class HtmlParseUtil {
public List parseJD(String keywords) throws Exception {
// 获取请求 https://search.jd.com/Search?keyword=java
String url = "https://search.jd.com/Search?keyword=" + keywords;
// 解析网页 (返回 Document 就是浏览器 Document 对象)
Document document = Jsoup.parse(new URL(url), 30000);
// 所有在js中可以使用的方法, 这里都可以使用
Element element = document.getElementById("J_goodsList");
// System.out.println(element.html());
ArrayList goodList = new ArrayList<>();
// 获取所有的li元素
Elements elements = element.getElementsByTag("li");
// 获取元素中的内容
for (Element el : elements) {
// 关于这种图片特别多的网站, 所有的图片都是延迟加载的
String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
String price = el.getElementsByClass("p-price").eq(0).text();
String title = el.getElementsByClass("p-name").eq(0).text();
Content content = new Content(title, img, price);
goodList.add(content);
}
return goodList;
}
public static void main(String[] args) throws IOException {
// 获取请求 https://search.jd.com/Search?keyword=java
String url = "https://search.jd.com/Search?keyword=java";
// 解析网页 (返回 Document 就是浏览器 Document 对象)
Document document = Jsoup.parse(new URL(url), 30000);
// 所有在js中可以使用的方法, 这里都可以使用
Element element = document.getElementById("J_goodsList");
// System.out.println(element.html());
// 获取所有的li元素
Elements elements = element.getElementsByTag("li");
// 获取元素中的内容
for (Element el : elements) {
// 关于这种图片特别多的网站, 所有的图片都是延迟加载的 source-data-Lazy-img
String img = el.getElementsByTag("img").eq(0).attr("src");
String price = el.getElementsByClass("p-price").eq(0).text();
String title = el.getElementsByClass("p-name").eq(0).text();
System.out.println("=====================================");
System.out.println(img);
System.out.println(price);
System.out.println(title);
}
}
}
分析京东搜索商品
业务逻辑层 ContentService
/**
* 业务逻辑层
*
* @author mxz
*/
@Service
public class ContentService {
public static final String ES_INDEX = "jd_goods";
@Autowired
@Qualifier("restHighLevelClient")
private RestHighLevelClient client;
/**
* 1 解析数据 放入 es 中
*
* @param keywords
* @return
* @throws Exception
*/
public Boolean parseContent(String keywords) throws Exception {
List contents = new HtmlParseUtil().parseJD(keywords);
// 查询出来的数据放入到 es 中
BulkRequest bulkRequest = new BulkRequest();
bulkRequest.timeout(TimeValue.timeValueSeconds(2));
for (int i = 0; i < contents.size(); i++) {
bulkRequest.add(new IndexRequest(ES_INDEX)
.source(JSON.toJSONString(contents.get(i)), XContentType.JSON));
}
BulkResponse bulkResponse = client.bulk(bulkRequest, RequestOptions.DEFAULT);
return !bulkResponse.hasFailures();
}
/**
* 2 获取这些数据 实现搜索功能
*
* @param keywords
* @param pageNo
* @param pageSize
* @return
* @throws IOException
*/
public List> searchPage(String keywords, int pageNo, int pageSize) throws IOException {
if (pageNo <= 1) {
pageNo = 1;
}
// 条件搜索
SearchRequest searchRequest = new SearchRequest(ES_INDEX);
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
// 分页
searchSourceBuilder.from(pageNo);
searchSourceBuilder.size(pageSize);
//精准匹配
TermQueryBuilder termQuery = QueryBuilders.termQuery("title", keywords);
searchSourceBuilder.query(termQuery);
searchSourceBuilder.timeout(TimeValue.timeValueSeconds(60));
// 执行搜索
searchRequest.source(searchSourceBuilder);
// 通过客户端查询
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
// 解析结果
List> list = new ArrayList<>();
for (SearchHit documentFields : searchResponse.getHits().getHits()) {
list.add(documentFields.getSourceAsMap());
}
return list;
}
/**
* 3 实现搜索功能高亮
*
* @param keywords
* @param pageNo
* @param pageSize
* @return
* @throws IOException
*/
public List> searchPageHighlighter(String keywords, int pageNo, int pageSize) throws IOException {
if (pageNo <= 1) {
pageNo = 1;
}
// 条件搜索
SearchRequest searchRequest = new SearchRequest(ES_INDEX);
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
// 分页
searchSourceBuilder.from(pageNo);
searchSourceBuilder.size(pageSize);
//精准匹配
TermQueryBuilder termQuery = QueryBuilders.termQuery("title", keywords);
searchSourceBuilder.query(termQuery);
searchSourceBuilder.timeout(TimeValue.timeValueSeconds(60));
//生成高亮查询器
HighlightBuilder highlightBuilder = new HighlightBuilder();
//高亮查询字段
highlightBuilder.field("title");
//如果要多个字段高亮,这项要为false
highlightBuilder.requireFieldMatch(false);
//高亮设置
highlightBuilder.preTags("");
highlightBuilder.postTags("");
//下面这两项,如果你要高亮如文字内容等有很多字的字段,必须配置,不然会导致高亮不全,文章内容缺失等
//最大高亮分片数
highlightBuilder.fragmentSize(800000);
//从第一个分片获取高亮片段
highlightBuilder.numOfFragments(0);
searchSourceBuilder.highlighter(highlightBuilder);
// 执行搜索
searchRequest.source(searchSourceBuilder);
// 通过客户端查询
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
// 解析结果
List> list = new ArrayList<>();
for (SearchHit documentFields : searchResponse.getHits().getHits()) {
// 解析高亮字段
Map highlightFields = documentFields.getHighlightFields();
HighlightField title = highlightFields.get("title");
Map sourceAsMap = documentFields.getSourceAsMap(); // 原来的结果
// 解析高亮字段 将原来的字段换为高亮字段
// 千万记得要记得判断是不是为空, 不然你匹配的第一个结果没有高亮内容, 那么就会报空指针异常, 这个错误一开始真的搞了很久
if (title != null) {
Text[] fragments = title.fragments();
String newTitle = "";
for (Text fragment : fragments) {
newTitle += fragment;
}
sourceAsMap.put("title", newTitle);
System.out.println(newTitle);
}
list.add(sourceAsMap);
}
return list;
}
}
控制层 RestController
@RestController
public class ContentController {
@Autowired
private ContentService contentService;
@GetMapping("/parse/{keywords}")
public Boolean parse(@PathVariable("keywords") String keywords) throws Exception {
return contentService.parseContent(keywords);
}
@GetMapping("/search/{keywords}/{pageNo}/{pageSize}")
public List> searchPage(@PathVariable("keywords") String keywords,
@PathVariable("pageNo") int pageNo,
@PathVariable("pageSize") int pageSize) throws IOException {
// return contentService.searchPage(keywords, pageNo, pageSize);
// 高亮
return contentService.searchPageHighlighter(keywords, pageNo, pageSize);
}
}
前端页面 myindex.html
html>
<html lang="zh-en" xmlns:th="http://www.thymeleaf.org">
<head>
<meta charset="UTF-8">
<title>全栈自学社区搜索title>
<link rel="stylesheet" href="https://v4.bootcss.com/docs/4.6/dist/css/bootstrap.min.css">
<link rel="apple-touch-icon" href="https://v4.bootcss.com/docs/4.6/assets/img/favicons/apple-touch-icon.png"
sizes="180x180">
<link rel="icon" href="https://v4.bootcss.com/docs/4.6/assets/img/favicons/favicon-32x32.png" sizes="32x32"
type="image/png">
<link rel="icon" href="https://v4.bootcss.com/docs/4.6/assets/img/favicons/favicon-16x16.png" sizes="16x16"
type="image/png">
<link rel="mask-icon" href="https://v4.bootcss.com/docs/4.6/assets/img/favicons/safari-pinned-tab.svg"
color="#563d7c">
<link rel="icon" href="https://v4.bootcss.com/docs/4.6/assets/img/favicons/favicon.ico">
<meta name="msapplication-config" content="/docs/4.6/assets/img/favicons/browserconfig.xml">
<meta name="theme-color" content="#563d7c">
<style>
.bd-placeholder-img {
font-size: 1.125rem;
text-anchor: middle;
-webkit-user-select: none;
-moz-user-select: none;
-ms-user-select: none;
user-select: none;
}
@media (min-width: 768px) {
.bd-placeholder-img-lg {
font-size: 3.5rem;
}
}
style>
head>
<body>
<div id="app">
<nav class="navbar navbar-expand-md navbar-dark bg-dark mb-4">
<a class="navbar-brand" href="https://v4.bootcss.com/docs/examples/navbar-static/#">全栈自学社区a>
<button class="navbar-toggler" type="button" data-toggle="collapse" data-target="#navbarCollapse"
aria-controls="navbarCollapse" aria-expanded="false" aria-label="Toggle navigation">
<span class="navbar-toggler-icon">span>
button>
<div class="collapse navbar-collapse" id="navbarCollapse">
<ul class="navbar-nav mr-auto">
<li class="nav-item active">
<a class="nav-link" href="https://v4.bootcss.com/docs/examples/navbar-static/#">主页 <span
class="sr-only">(current)span>a>
li>
<li class="nav-item">
<a class="nav-link" href="https://v4.bootcss.com/docs/examples/navbar-static/#">友链a>
li>
<li class="nav-item">
<a class="nav-link disabled" href="https://v4.bootcss.com/docs/examples/navbar-static/#"
tabindex="-1" aria-disabled="true">控制面板a>
li>
ul>
<form class="form-inline mt-2 mt-md-0">
<input class="form-control mr-sm-2" v-model="keyword" type="text" placeholder="输入名称"
aria-label="Search">
<button class="btn btn-outline-success my-2 my-sm-0" @click.prevent="searchKey" type="submit">搜索
button>
form>
div>
nav>
<main role="main" class="container">
<div class="row">
<div class="col-md-4" v-for="result in results">
<img :src="result.img" class="img-thumbnail"/>
<p><a v-html="result.title">a>p>
<p class="lead">{{result.price}}p>
div>
div>
main>
div>
<script type="text/javascript" th:src="@{/js/axios.min.js}">script>
<script type="text/javascript" th:src="@{/js/vue.min.js}">script>
<script>
new Vue({
el: '#app',
data: {
keyword: '', //搜索关键字
results: []
},
methods: {
searchKey() {
var keyword = this.keyword;
console.log(keyword);
// 对接后端接口
axios.get('/search/' + keyword + '/1/' + '10').then(response => {
console.log(response);
this.results = response.data; // 绑定数据
})
}
}
})
script>
body>
html>
项目运行
搜索前
搜索后
文章已上传gitee https://gitee.com/codingce/hexo-blog
项目地址: https://github.com/xzMhehe/codingce-java
更多推荐内容
↓↓↓
如果你喜欢本文
请长按二维码，关注公众号
转发朋友圈，是对我最大的支持哟
以上，便是今天的分享，希望大家喜欢，觉得内容不错的，欢迎「分享」「赞」或者点击「在看」支持，谢谢各位。
评论
新时代写作与互动：《一本书讲透 Elasticsearch》读者群的创新之路
1、《一本书讲透 Elasticsearch》销售最近进展汇报给大家同步一下《一本书讲透 Elasticsearch》图书的进展情况，本周五（2024年4月26日），出版社编辑老师反馈图书相关销量进展：预计全网销量 1000 册+，发货量 2462 册（截止2024年4月28日）。2023年12月2
铭毅天下
0
文本嵌入、文本分类和语义搜索
在实践中使用大型语言模型（LLM）中，RAG 的一个关键部分是使用文本嵌入从知识库中自动检索相关信息。在这里，我将更深入地讨论文本嵌入，并分享两个简单（但功能强大）的应用：文本分类和语义搜索。ChatGPT 吸引了全世界对人工智能及其潜力的想象。ChatGPT 的聊天界面是这一影响的关键因素，它使人
大邓和他的Python
0
Python列表知识应知应会
点击上方“Go语言进阶学习”，进行关注回复“Go语言”即可获赠从入门到进阶共10本电子书今日鸡汤只在此山中，云深不知处。一、前言 在Python程序开发中，列表（List）经常会使用。假设一个班里有50个学生现需要统计每一个学生的总成绩情况，如果不使用列
Go语言进阶学习
0
Python 字符串应该用双引号还是单引号？
转载来源：洪尔摩斯PyCharm升级至 2023.2版本后，经常弹出来一个提示问我要不要试一下Black formatter。试了一下，这个Black formatter 很有个性，特别喜欢换行。我的一个文件用PyCharm自带的代码整理器整理完之后是500行左右，然后再用Black整理就变成600
菜鸟学Python
0
京东一面：浏览器跨标签页通信的方式都有什么？
作者：Momenthttps://juejin.cn/post/7270155117705510968跨标签通信也有很多实际的应用场景，比如：共享登录状态：当用户在一个标签页中登录后，其他打开的标签页需要及时获取到登录状态，以保持一致的用户体验。在这种情况下，可以使用浏览器的localStorage
前端大学
0
Elasticsearch 悬挂索引解析与管理指南
在 Elasticsearch 的实战中，悬挂索引是一个既常见又容易引起困扰的概念。 今天，我将分享一次处理集群状态为RED，原因为DANGLING_INDEX_IMPORTED 的实战经验，深入探讨悬挂索引的定义、产生原因、管理方法，以及如...
铭毅天下
0
可以搜索任何漫画和小说资源！是任何漫画与小说资源，你想要的都有……
大家好，我是致力于分享有趣、有用姿势（是知识）的贤小弟！ 本次分享资源有点牛13，它既可以浏览漫画，也可以阅读小说，几乎你想要看的漫画和小说都有。我们可以把它看作是一个搜索平台，只要输...
杨数Tos
0
京东又变了
京东当下的市值是 400 多亿美金，拼多多是 1700 多亿，阿里是 1800 多亿。如果单从这个角度来看电商竞争的话，京东明显落后了。昨天看了一篇报道，京东推出了最新的三大必赢之战，分别是内容生态、开放生态、即时零...
唐韧
0