电子商务网站的分词与索引

ElasticSearch快速入门--实现分词搜索 核心全文搜索分析引擎。利用分布式架构提供近乎实时的数据搜索、分析和可视化能力。负责存储、索引搜索数据。Logstash服务器端数据处理管道,能够同时从多个源采集数据转换数据,并过滤、增强和传输到。支持丰富的输入、过滤和输出插件。Beats轻量级的数据采集工具,每个Beat都是一个独立的守护进程,负责从系统或应用程序中收集数据,发送数据到Logstash或包括Filebeat: 收集日志文件。Metricbeat: 收集系统和服务的指标。Packetbeat: 监控网络流量。Kibana。 阅读详情

简单调研了下,京东,淘宝,拍拍都是单字索引,当当,卓越等都是基于分词的索引。

使用什么粒度的索引没有对错,只是各种因素权衡后的一个结果。

单字索引的缺点在于,索引量会大很多,性能也会下降,对于相关性排序的要求也高,会召回大量不相关的商品。优点就是召回率,能够召回的商品都不会遗漏。

基于分词的索引对于分词技术要求比较高,缺点就是很有可能不能召回商品,比如你搜“表”,手表就不能出来,因为“手表”作为了一个独立的词进入了索引。优点就是索引量小,召回的商品一般都是有效的,对排序要求相对低一点。

如果分词的技术很成熟了,使用基于分词的索引相对较好点。但为什么还是会有这么多电子商务网站,使用单子索引呢?我猜想的原因有:1)只有标题进入索引,所以整体的索引量不大。一般看到全文索引的邀请,都不是基于单字索引的。2)商品的召回对于网站的可用性很重要,所以把召回放到了第一。3)有些网站的分词技术可能不成熟,所以只能使用单字索引。


电子商务网站设计系统详细设计具体代码实现 电子商务网站设计系统详细设计具体代码实现 作者:禅计算机程序设计艺术 1. 背景介绍 1.1 电子商务的兴起发展 近年来,随着互联网技术的飞速发展和普及,电子商务已经成为人们生活中不可或缺的一部分。从最初 阅读详情

相关推荐

ElasticSearchSolr:全文搜索引擎的比较

1. 背景介绍 1.1 全文搜索引擎的兴起 随着互联网的快速发展,信息量呈爆炸式增长,如何快速、准确地从海量数据中找到所需信息成为一个迫切需求。传统的数据库搜索方式难以满足这种需求,因为它们通常基于精确匹配,无法处理自然语言的模糊性和多样性。 全文搜索引擎应运而生,它们能够理解自然语

AI天才研究院 1513

中文分词词库,中文词库20万(19万6千)

中文分词词库,中文词库20万(19万6千),自己整理的,用于做中文分词,根据一段话,或者一篇文章进行拆词都可以使用的上。

电商词库、淘宝、天猫、京东、拼多多各大电商平台搜索词库,分词词库

电商词库、淘宝、天猫、京东、拼多多各大电商平台搜索词库,分词词库

电商搜索分词算法简单记录

前提:没有最好的分词器,只有最适合于某个领域的分词器。 讨论搜索一般会考虑 "输入某个关键字会搜索到哪些商品?" 我们逆向思维 从"商品应该被哪些词搜索到?" 入手,研究商品应该被分成什么词? 然后分析各种分词器,最后选择一款适合我们的分词器。 1,商品的理想分词结果 1.1,问题分析 商品应该被哪些词搜索到? 我们知道商品名称在建索引时(index) 最终...

lyl 7901

分词搜索理论

分词是将一段文本切分成独立的词语或短语的过程。在电商应用中,用户的搜索行为往往是通过多个词构成的短语完成的。分词技术的目标是将搜索查询转化为一系列能够用于匹配和检索的关键词。分词搜索电商设计中起着至关重要的作用,它不仅提升了用户的搜索体验,还提高了电商平台的转化率。通过理论实践的结合,电商平台可以构建高效的分词搜索系统,满足用户的多样化需求。

学习,分享一直在路上 1425

Elasticsearch电商搜索分词效果调优

分词搜索中非常核心的一步,下面通过一个案例介绍在没有专业分词系统的情况下,如何做分词性能的调优。

1.02^365=1377.41 5716

我的最新分词进展和接口设计~

以前写了个关于MMSEG实现的,那个写的很烂,本身我也没有实现完全。最近在工作中对原有系统的分词进行了代码重构和算法优化。并且针对电子商务网站搜索的特征,给出对于离线没有识别出歧义的片段进行全切分,而且IK的全切分不同,同时我们还要保证路径的完整,即我们不需要找到所有的路径,但是我们要确定所有的全切分可能路径出现的词都会被切出,而IK的切法只是给出所有有意义的词,并不考虑完整路径问题,比如 “中...

weixin_34209851的博客 90

数据库:全文索引实现技巧,架构师是这样实现的

全文检索并没有你想象中的难,创建全文检索的核心思路是:初始化索引环境,为表字段创建索引,通过分词处理搜索文本,匹配索引中的词汇记录行,最后根据匹配结果构建并返回相关数据。 肖哥弹架构 跟大家“弹弹” 数据库设计,需要代码关注 欢迎 点赞,点赞,点赞。 关注公号Solomon肖哥弹架构获取更多精彩内容 流程 整体思...

Salted fish in hand, I have the world. 1122

中小型电子商务网站架构

很久没有写过博客,由于事务繁多,如果再不写,手就迟钝了。由于一直以来都从事电子商务的技术工作,在架构方面或多或少有点经验,拿出来和大家聊聊,希望业界牛人指正,我也好自我提高。 一个小型的电子商务网站,例如日交易量5万订单以下,或者说每天差不多五千万个pv左右。我们可以讨论下,整个架构应该如何设计。 业务分离,域名分离 现在好的电子商务网站都是按照业务分开,细化每个业务线。这样有利于系统的扩展

screensky的专栏 2922

电商商品词库集合.zip

淘宝搜索数据,网络购物必备词库 电子商务建站必备,分词词库 ; 电商系统分词词库集合和词库分词工具软件

ik中文分词词库35万中文分词词库(含电商)

ik中文分词词库35万中文分词词库(含电商)

专业商品词库

商品词库,淘宝专业词库,饰品词库,礼品词库,化妆品词库

中文分词词库

中文分词词库中文分词词库中文分词词库中文分词词库中文分词词库

电商搜索的专业词库包括搜索的高频词和上万个品牌名

资源包括了四十W条商品品牌和分类的词库,做电商搜索可以直接用

电子商务应用课程知识整理 第四章-搜索引擎

一、搜索引擎 因特网包括成百上千的网站,设计数以亿计的资源。因此需要通过搜索引擎了快速定位到所需资源,搜索引擎技术对网站的运营具有分长重要的意义。 定义 搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序收集互联网上的信息,在对信息进行组织和处理后,将处理后的信息显示给用户,是为用户提供检索服务的系统。 分类 1.全文搜索引擎 是名副其实的搜索引擎,代表有谷歌、百度。他们从互联网提取各个网站的信息(以文字为主),建立起数据库,并能检索用户查询条件相匹配的记录,按一定顺序行会结果

weixin_45668903的博客 2629

电子商务网站搜索架构方案

电子商务网站搜索架构方案 http://www.cnblogs.com/jqbird/archive/2011/04/05/2005672.html 电子商务网站搜索架构方案 说是电子商务搜索架构方案,其实就是lucene.ne...

438

电商分词浅谈一

电商系统的分词,不同于百度这种通用搜索引擎,它有自己一套独立的词典和业务逻辑,它所处理的语料以及分词算法都是需要定制的。 首先,是语料来源的不同,我们以京东商城为例,商品详情页截图如下最主要是标红的主标题和副标题,作为分词的语料训练来源,以及下面的数据 类目数据 ...

chenxipao8932的博客 1000
上一篇: Eclipse3.3的一个bug
下一篇: 朴素贝叶斯分类
windy444
博客等级 码龄19年 3粉丝 32原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值