Word2VEC_Javaword2vec的Java实现
Word2VEC java版本的一个实现。
示例代码:
package com.kuyun.document_class; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.util.List; import org.ansj.domain.Term; import org.ansj.splitWord.analysis.ToAnalysis; import com.alibaba.fastjson.JSONObject; import com.ansj.vec.Learn; import com.ansj.vec.Word2VEC; import love.cq.util.IOUtil; import love.cq.util.StringUtil; public class Word2VecTest { private static final File sportCorpusFile = new File("corpus/result.txt"); public static void main(String[] args) throws IOException { File[] files = new File("corpus/sport/").listFiles(); //构建语料 try (FileOutputStream fos = new FileOutputStream(sportCorpusFile)) { for (File file : files) { if (file.canRead() && file.getName().endsWith(".txt")) { parserFile(fos, file); } } } //进行分词训练 Learn lean = new Learn() ; lean.learnFile(sportCorpusFile) ; lean.saveModel(new File("model/vector.mod")) ; //加载测试 Word2VEC w2v = new Word2VEC() ; w2v.loadJavaModel("model/vector.mod") ; System.out.println(w2v.distance("姚明")); ; } private static void parserFile(FileOutputStream fos, File file) throws FileNotFoundException, IOException { // TODO Auto-generated method stub try (BufferedReader br = IOUtil.getReader(file.getAbsolutePath(), IOUtil.UTF8)) { String temp = null; JSONObject parse = null; while ((temp = br.readLine()) != null) { parse = JSONObject.parseObject(temp); paserStr(fos, parse.getString("title")); paserStr(fos, StringUtil.rmHtmlTag(parse.getString("content"))); } } } private static void paserStr(FileOutputStream fos, String title) throws IOException { List<Term> parse2 = ToAnalysis.parse(title) ; StringBuilder sb = new StringBuilder() ; for (Term term : parse2) { sb.append(term.getName()) ; sb.append(" "); } fos.write(sb.toString().getBytes()) ; fos.write("\n".getBytes()) ; } }
评论
OpenFlowJOpenFlow 的 Java 实现
OpenFlowJ是OpenFlow的Java实现。开发者:-DavidErickson(daviderickson@cs.stanford.edu)-RobSherwood(rob.sherwood
OpenFlowJOpenFlow 的 Java 实现
0
KatharsisHATEOAS 的 Java 实现
Katharsis是一个Java用来处理JSON数据库的开发包,实现了JSON:API标准,简化了应用对 HATEOAS支持。
KatharsisHATEOAS 的 Java 实现
0
JYamlyaml 的 java 实现
JYaml是yaml的java实现,jyaml在除了能够解析yaml文件外,还提供了非常方便的配置文件读取功能,比如映射属性到 JavaBeanYaml可以映射List,Map,BigInteger,
JYamlyaml 的 java 实现
0
JMustachemustache 的 Java 实现
jmustache 是 Mustache 模板引擎的java实现。零依赖性。可以在项目中包含该单个微
JMustachemustache 的 Java 实现
0
redis-protocolRedis 的 Java 实现
redis-protocol 是一个非常快速的 Redis 的 Java 客户端实现。同时还包含了嵌
redis-protocolRedis 的 Java 实现
0
jUDDIUDDI 的 Java 实现
jUDDI(音"Judy")是一个开源的UDDI的Java实现。主要特性包括:开源跨平台支持从JDK1.3到1.6遵循UDDI2.0支持各种ANSI标准的SQL数据库可在任何支持Servlet2.3规
jUDDIUDDI 的 Java 实现
0
javaXULXUL的Java实现
javaXUL提供了一个简单易用的XUL的Java实现,包括CSS和JavaScript功能,可直接在Java项目中使用,可直接与Java程序进行调用。javaXUL并不是要成为其他一些RIA框架的竞
javaXULXUL的Java实现
0