搜索

springboot整合elasticsearch全文检索入门

互联网全栈架构

共 8316字，需浏览 17分钟

 ·

2020-10-19 14:13

只是简单的整合介绍

# 安装

下载elasticsearch与kibana https://www.elastic.co/start

# 依赖

  1. springBootVersion = '2.0.5.RELEASE'
  2. compile group: 'org.springframework.boot', name: 'spring-boot-starter-data-elasticsearch'
  3.  //请与spring-boot-starter-data-elasticsearch的jar包版本一致
  4. compile('org.elasticsearch.client:transport:5.6.11')

springBoot 2.0.5.RELEASE 起步依赖的elasticsearch的版本是 5.6.11 

# 配置

1. 可在application.yml中配置

  1. spring:
  2.   data:
  3.     # 全文检索 elasticsearch
  4.     elasticsearch:
  5.       cluster-name: elasticsearch #节点名称
  6.       cluster-nodes: 127.0.0.1:9300 #节点地址
  7.       repositories:
  8.         enabled: true


2. 也可以通过java代码进行配置

  1. package com.futao.springmvcdemo.foundation.configuration
  3. import org.elasticsearch.client.transport.TransportClient
  4. import org.elasticsearch.common.settings.Settings
  5. import org.elasticsearch.common.transport.InetSocketTransportAddress
  6. import org.elasticsearch.transport.client.PreBuiltTransportClient
  7. import org.springframework.context.annotation.Bean
  8. import org.springframework.context.annotation.Configuration
  9. import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories
  10. import java.net.InetAddress
  12. /**
  13.  * @author futao
  14.  * Created on 2018/10/22.
  15.  * ElasticSearch全文检索配置类
  16.  * 可替代配置文件中的配置
  17.  */
  18. @Configuration
  19. @EnableElasticsearchRepositories(basePackages = ["com.futao.springmvcdemo.dao"])
  20. open class ElasticSearchConfiguration {
  22.     @Bean
  23.     open fun client(): TransportClient {
  24.         val node = InetSocketTransportAddress(
  25.                 InetAddress.getByName("127.0.0.1"), 9300)
  26.         val settings = Settings.builder()
  27.                 .put("cluster.name", "springboot-elasticsearch")    //集群名称可以在\elasticsearch\config\elasticsearch.yml中配置
  28.                 .build()
  29.         return PreBuiltTransportClient(settings).addTransportAddress(node)
  30.     }
  31. }

# 名词解释

elasticsearch中的名词与mysql中的名字对比 

# 使用

个人理解：相当于mysql的建表,程序跑起来之后elasticsearch会建立相应的index与type，后续程序中就可以使用该类型的index与type进行crud

  1. package com.futao.springmvcdemo.model.entity;
  3. import org.springframework.data.elasticsearch.annotations.Document;
  5. /**
  6.  * @author futao
  7.  * Created on 2018/10/20.
  8.  * 文章
  9.  * indexName=database
  10.  * type=table
  11.  * row=document
  12.  * colnum=field
  13.  */
  14. @Document(indexName = "futao", type = "article")
  15. public class Article extends BaseEntity {
  16.     /**
  17.      * 标题
  18.      */
  19.     private String title;
  20.     /**
  21.      * 简介
  22.      */
  23.     private String description;
  24.     /**
  25.      * 内容
  26.      */
  27.     private String content;
  29.     public String getTitle() {
  30.         return title;
  31.     }
  33.     public void setTitle(String title) {
  34.         this.title = title;
  35.     }
  37.     public String getDescription() {
  38.         return description;
  39.     }
  41.     public void setDescription(String description) {
  42.         this.description = description;
  43.     }
  45.     public String getContent() {
  46.         return content;
  47.     }
  49.     public void setContent(String content) {
  50.         this.content = content;
  51.     }
  52. }

# 插入数据

  • Dao层

  1. package com.futao.springmvcdemo.dao.impl
  3. import com.futao.springmvcdemo.model.entity.Article
  4. import org.springframework.data.elasticsearch.repository.ElasticsearchRepository
  6. /**
  7.  * @author futao
  8.  * Created on 2018/10/22.
  9.  */
  10. interface ArticleSearchDao : ElasticsearchRepository<Article, String> {
  11. }

  • Service层

  1. package com.futao.springmvcdemo.service.impl
  3. import com.alibaba.fastjson.JSONObject
  4. import com.futao.springmvcdemo.dao.ArticleDao
  5. import com.futao.springmvcdemo.dao.impl.ArticleSearchDao
  6. import com.futao.springmvcdemo.foundation.LogicException
  7. import com.futao.springmvcdemo.model.entity.Article
  8. import com.futao.springmvcdemo.model.entity.constvar.ErrorMessage
  9. import com.futao.springmvcdemo.service.ArticleService
  10. import com.futao.springmvcdemo.utils.currentTimeStamp
  11. import com.futao.springmvcdemo.utils.getFieldName
  12. import com.futao.springmvcdemo.utils.uuid
  13. import org.elasticsearch.client.Client
  14. import org.elasticsearch.index.query.QueryBuilders
  15. import org.springframework.data.redis.core.RedisTemplate
  16. import org.springframework.stereotype.Service
  17. import javax.annotation.Resource
  19. /**
  20.  * @author futao
  21.  * Created on 2018/10/20.
  22.  */
  23. @Service
  24. open class ArticleServiceImpl : ArticleService {
  25.     @Resource
  26.     private lateinit var elasticsearch: ArticleSearchDao
  28.     @Resource
  29.     private lateinit var client: Client
  31.     override fun list(): List<Article> {
  32.         val list = articleDao.list()
      33.     //将数据放入elasticsearch中
  33.         elasticsearch.saveAll(list)
  34.         return list
  35.     }
  36.  /**
  37.      * 全文检索
  38.      */
  39.     override fun search(key: String): ArrayList<Article> {
  40.         val hits = client.prepareSearch("futao")
  41.                 .setTypes("article")
  42.                 .setQuery(
  43.                         QueryBuilders
  44.                                 .boolQuery()
  45.                                 .should(QueryBuilders.matchQuery(Article::getContent.getFieldName(), key))
  46.                                 .should(QueryBuilders.matchQuery(Article::getTitle.getFieldName(), key))
  47.                                 .should(QueryBuilders.matchQuery(Article::getDescription.getFieldName(), key))
  49.                 )
  50.                 .execute()
  51.                 .actionGet()
  52.                 .hits
  53.         val list: ArrayList<Article> = arrayListOf()
  54.         hits.forEach { it -> list.add(JSONObject.parseObject(it.sourceAsString, Article::class.java)) }
  55.         return list
  56.     }
  57. }

  • controller层

  1. package com.futao.springmvcdemo.controller.business;
  3. import com.futao.springmvcdemo.model.entity.Article;
  4. import com.futao.springmvcdemo.model.entity.SingleValueResult;
  5. import com.futao.springmvcdemo.service.ArticleService;
  6. import org.springframework.http.MediaType;
  7. import org.springframework.web.bind.annotation.*;
  9. import javax.annotation.Resource;
  10. import java.util.List;
  12. /**
  13.  * @author futao
  14.  * Created on 2018/10/20.
  15.  */
  16. @RestController
  17. @RequestMapping(path = "article", produces = MediaType.APPLICATION_JSON_UTF8_VALUE)
  18. public class ArticleController {
  19.     @Resource
  20.     private ArticleService articleService;
  22.     /**
  23.      * 新增文章
  24.      *
  25.      * @param title
  26.      * @param desc
  27.      * @param content
  28.      * @return
  29.      */
  30.     @PostMapping(path = "add")
  31.     public SingleValueResult add(
  32.             @RequestParam("title") String title,
  33.             @RequestParam("desc") String desc,
  34.             @RequestParam("content") String content
  35.     ) {
  36.         articleService.add(title, desc, content);
  37.         return new SingleValueResult("success");
  38.     }
  40.     /**
  41.      * 文章列表
  42.      *
  43.      * @return
  44.      */
  45.     @GetMapping("list")
  46.     public List<Article> list() {
  47.         return articleService.list();
  48.     }
  50.     /**
  51.      * 全文检索
  52.      *
  53.      * @param key
  54.      * @return
  55.      */
  56.     @GetMapping("search")
  57.     public List<Article> search(@RequestParam("key") String key) {
  58.         return articleService.search(key);
  59.     }
  60. }

  • 在启动项目之前如果程序有抛出 java.lang.IllegalStateException:availableProcessorsisalreadysetto[4],rejecting[4]异常，则需要在启动类中添加：

  1. package com.futao.springmvcdemo;
  3. import com.alibaba.fastjson.parser.ParserConfig;
  4. import org.mybatis.spring.annotation.MapperScan;
  5. import org.springframework.boot.SpringApplication;
  6. import org.springframework.boot.autoconfigure.SpringBootApplication;
  7. import org.springframework.boot.web.servlet.ServletComponentScan;
  8. import org.springframework.cache.annotation.EnableCaching;
  9. import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories;
  11. /**
  12.  * @author futao
  13.  * ServletComponentScan 开启servlet和filter
  14.  */
  15. @SpringBootApplication
  16. @ServletComponentScan
  17. @MapperScan("com.futao.springmvcdemo.dao")
  18. @EnableCaching
  19. //@EnableAspectJAutoProxy
  20. @EnableElasticsearchRepositories(basePackages = "com.futao.springmvcdemo")
  21. public class SpringmvcdemoApplication {
  22.     public static void main(String[] args) {
  23.         /**
  24.          * 添加elasticsearch之后发生异常的解决方案
  25.          * Springboot整合Elasticsearch 在项目启动前设置一下的属性，防止报错
  26.          * 解决netty冲突后初始化client时会抛出异常
  27.          * java.lang.IllegalStateException: availableProcessors is already set to [4], rejecting [4]
  28.          */
  29.         System.setProperty("es.set.netty.runtime.available.processors", "false");
  31.         SpringApplication.run(SpringmvcdemoApplication.class, args);
  32.         /**
  33.          * redis反序列化
  34.          * 开启fastjson反序列化的autoType
  35.          */
  36.         ParserConfig.getGlobalInstance().setAutoTypeSupport(true);
  37.     }
  38. }

# 测试

  • 启动项目，可以在health中查看到相关的健康状况 

  • list接口请求(把数据放入elasticsearch中) 

  • 现在可以在kibana中查看到上面存入的数据 

  • 也可以进行简单的搜索测试 

  • 调用search接口测试 

elasticsearch数据的存放位置(删除该文件夹下的数据即删除了所有的索引) 

多的不说了，跟之前项目中用过的Hibernate Search很像，不过elasticsearch也是在架构层面实现的全文索引，elasticsearch可以部署在其他服务器上，减轻主服务器的压力，并通过http restful api的形式与主程序进行协调工作。elasticsearch一般通过集群方式进行部署，横向扩展非常简单，甚至只需要改几行配置就行。


浏览 48
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
ElasticSearch实现全文检索
Java大联盟
0
SpringBoot整合ActiveMQ入门实践
java1234
0
SpringBoot整合Elasticsearch 分布式搜索详解
java1234
0
使用 nodejs 和 ElasticSearch 快速搭建全文检索
有关SQL
0
SpringBoot整合WebSocket（看完即入门）
Java大联盟
0
jsearch全文检索工具包
jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻
jsearch全文检索工具包
jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。
Coreseek全文检索工具
Coreseek 为应用提供全文检索功能，目前的版本（2.x 3.x）基于 Sphinx 0.9.8
Coreseek全文检索工具
Coreseek为应用提供全文检索功能，目前的版本（2.x3.x）基于Sphinx0.9.8，支持使用Python定义数据源，支持中文分词。为您的应用实施全文检索，您可以：*帮助用户找到您业务中，目前
chinese-search全文检索组件
chinese-search是一个全文检索组件，基层实现依赖nodejieba中文分词和redis集合存储。比MySQL更轻便更敏捷。使用## ES5var search = require('chi
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报