中⽂分类提取（jwpl）--构建知识图谱
⾸先感谢 ：
⼀。中⽂维基数据准备。
  选择：
  LANGCODE]wiki-[DATE]-l.bz2
  [LANGCODE]wiki-[DATE]-
  [LANGCODE]wiki-[DATE]-
  下载完后放在⼀个⽂件夹下。 我放在 F:\zhwiki2019\~  下。
⼆。下载JWPL DataMachine jar包解析数据⽂件
  搜索de.tudarmstadt.ukp.wikipedia.datamachine对应的 ⽂件下载。
  下载后和数据放在同⼀⽬录下。
三。打开cmd，cd到zhwiki2019⽬录下，输⼊以下命令解析。
  java -cp jar-with-dependencies.jar de.tudarmstadt.ukp.wikipedia.datamachine.domain.JWPLDataMachine [LANGUAGE] [MAIN_CATEGORY_NAME] [DISAMBIGUATION_CATEGORY_NAME] [SOURCE_DIRECTORY]
  其中，
    LANGUAGE: 指jwpl⽀持的语⾔，选择⼀个你下载的wikipedia语⾔，⽐如english, chinese
    MAIN_CATEGORY_NAME: 填写⼀个Wikipedia类别层次上属于顶层的类别，⽐如：Contents
    DISAMBIGUATION_CATEGORY_NAME: 填写⼀个有消歧类别的类别名，⽐如：Disambiguation_pages
    SOURCE_DIRECTORY: 上⾯三个wikipedia⽂件的⽬录，⽐如： ~/En2019
  我的命令：
  java -ding=utf8  -cp de.tudarmstadt.ukp.wikipedia.datamachine-0.9.1-jar-with-dependencies.jar
de.tudarmstadt.ukp.wikipedia.datamachine.domain.JWPLDataMachine chinese Contents Disambiguation_pages
~/zhwiki2019
  如果你的系统默认编码不是utf-8(⽐如windows), 可能需要再加⼀个参数：-ding=utf8；
  解析的时间看数据量的⼤⼩和你的cpu。之后会在output下⽣成11个txt.这11个txt就是之后要导⼊mysql的11个表。
  这些⽂件的解释：
1 category --> 类别信息
2      pageId：类别ID，唯⼀
3      name：类别名
4
5 category_inlinks --> 指向类别的链接信息
6      id：类别ID，不唯⼀
7      inLinks：该类别⽗类ID，也就是指向该类别的类别ID
8
9 category_outlinks --> 类别指向的链接信息
10      id：类别ID，不唯⼀
11      outLinks：该类别⼦类ID，也就是该类别指向的那些类别的ID
12
13 category_pages --> 页⾯与类别的关系表
14      id：类别ID，不唯⼀
15      pages：属于该类别ID的页⾯ID
mysql下载jar包16
17 metadata --> 该wikipedia的⼀些元信息，只有⼀条记录
18      language：语⾔
19      disambiguationCategory：运⾏DataMachine填写的消歧类别
20      mainCategory：运⾏DataMachine填写的顶层类别
21      nrofPages：页⾯个数
22      nrofRedirects：重定向个数
23      nrofDisambiguationPages：消歧页⾯个数
24      nrofCategories：类别个数
25      version
26
27 page --> 页⾯信息
28      pageId：页⾯ID
29      name：名字
30      text：全⽂，包含wikimeida的标记信息
31      isDisambiguation：是否是消岐页⾯
32
33 page_categories -->  页⾯与类别的关系表与category_pages信息重复
34
35 page_inlinks --> 指向页⾯的页⾯信息
36      id：页⾯ID，不唯⼀
37      inLinks：指向该页⾯ID的页⾯ID
38
39 page_outlinks
40      id：页⾯ID，不唯⼀
41      outlinks：该页⾯ID指向的页⾯ID
42
43 page_redirects
44      id：页⾯ID，不唯⼀
45      redirects：重定向到该页⾯ID的所有页⾯ID
46
47 pagemapline --> 所有页⾯的title信息，处理重定向等有⽤处
48      id：该页⾯ID
49      name：页⾯title名字
50      pageID：页⾯ID，如果该页⾯是重定向页⾯，该pageID是其指向的那个包含信息的页⾯ID
51      stem：***暂⽆信息
52      lemma：***暂⽆信息
View Code
四。mysql 创建 库。(必须要mysql5.x版本。。我就是8.0.12失败了原因重新下载了5.7.27版本的（
错误：java.sql.SQLException: java.lang.ClassCastException: class java.math.BigInteger cannot be cast to ....）。jwpl通过C3P0来获得datasource.是获取datasource的阶段失败。)
  1.  创建数据库命令（数据库名DB_NAME可以⾃⾏设定）：注意要保证创建的数据库的编码是utf-8
CREATE DATABASE [DB_NAME] DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    我的DB_NAME是zhwiki.
  2.创建所有的表，下载包含所有表结构的sql脚本：脚本，在mysql命令下执⾏改脚本：
mysql> use [DB_NAME];
mysql> source jwpl_tables.sql;  #注意jwpl_tables.sql所在的路径(可以cd 到jwpl_tables.sql的⽬录下直接输⼊这个命令。)
  3.因为我们的数据上传到数据库是存在mysql data⽬录下的，可以通过命令
  ，来修改你的data路径，这⾥不过多说明。
  4，导⼊数据到mysql中
  ⼀个表⼀个表的导⼊，进⼊之前创建的⽤户的数据库
  load data infile 'F:/zhwiki2019/' into table category;
1load data infile 'F:/zhwiki2019/'into table category;
2
3load data infile 'F:/zhwiki2019/output/'into table category_inlinks;
4
5load data infile 'F:/zhwiki2019/output/'into table category_outlinks;
6
7load data infile 'F:/zhwiki2019/output/'into table category_pages;
8
9load data infile 'F:/zhwiki2019/'into table MetaData;
10
11load data infile 'F:/zhwiki2019/'into table Page;
12
13load data infile 'F:/zhwiki2019/output/'into table page_categories;
14
15load data infile 'F:/zhwiki2019/output/'into table page_inlinks;
16
17load data infile 'F:/zhwiki2019/output/'into table page_outlinks;
18
19load data infile 'F:/zhwiki2019/output/'into table page_redirects;
20
21load data infile 'F:/zhwiki2019/'into table PageMapLine;
View Code
五。使⽤JWPL jar包去访问数据
  论⽂中，说了⼯具主要以三个对象展开。直接给出代码。就可以看懂。
page对象:
1import de.tudarmstadt.ukp.wikipedia.api.Category;
2import de.tudarmstadt.ukp.wikipedia.api.DatabaseConfiguration;
3import de.tudarmstadt.ukp.wikipedia.api.Page;
4import de.tudarmstadt.ukp.wikipedia.api.Title;
5import de.tudarmstadt.ukp.wikipedia.api.WikiConstants.Language;
6import de.tudarmstadt.ukp.wikipedia.api.Wikipedia;
7
8import static de.tudarmstadt.ukp.wikipedia.api.WikiConstants.LF;
9
10public class ShowPageInfo {
11
12public static void main(String[] args) throws Exception {
13// 数据库连接参数配置
14        DatabaseConfiguration dbConfig = new DatabaseConfiguration();
15        dbConfig.setHost("localhost");  //主机名
16        dbConfig.setDatabase("wikidb");  //数据库名
17        dbConfig.setUser("root");        //访问数据库的⽤户名
18        dbConfig.setPassword("root");    //访问数据库的密码
19        dbConfig.lish);
20// 创建Wikipedia处理对象
21        Wikipedia wiki = new Wikipedia(dbConfig);
22        String title = "Fruit";
23        Page page = Page(title);
24// wikipedia页⾯的title
25        System.out.println("Queried string      : " + title);
26        System.out.println("Title                : " + Title());
27// 是否是消歧页⾯
28        System.out.println("IsDisambiguationPage : " + page.isDisambiguation());      29// 是否是重定向页⾯
30        System.out.println("redirect page query  : " + page.isRedirect());
31// 有多少个页⾯指向该页⾯
32        System.out.println("# of ingoing links  : " + NumberOfInlinks());      33// 该页⾯指向了多少个页⾯
34        System.out.println("# of outgoing links  : " + NumberOfOutlinks()); 35// 该页⾯属于多少个类别
36        System.out.println("# of categories      : " + NumberOfCategories());
37        StringBuilder sb = new StringBuilder();
38// 页⾯的所有重定向页⾯
39        sb.append("Redirects" + LF);
40for (String redirect : Redirects()) {
41            sb.append("  " + new Title(redirect).getPlainTitle() + LF);
42        }
43        sb.append(LF);
44// 页⾯的所述的所有类别
45        sb.append("Categories" + LF);
46for (Category category : Categories()) {
47            sb.append("  " + Title() + LF);
48        }
49        sb.append(LF);
50// 指向该页⾯的所有页⾯
51        sb.append("In-Links" + LF);
52for (Page inLinkPage : Inlinks()) {
53            sb.append("  " + Title() + LF);
54        }
55        sb.append(LF);
56// 该页⾯指向的所有页⾯
57        sb.append("Out-Links" + LF);
58for (Page outLinkPage : Outlinks()) {
59            sb.append("  " + Title() + LF);
60        }
61        System.out.println(sb);
62    }
63 }
View Code
运⾏的部分结果：
1 Queried string      : Fruit
2 Title                : Fruit
3 IsDisambiguationPage : false
4 redirect page query  : false
5 # of ingoing links  : 4454
6 # of outgoing links  : 811
7 # of categories      : 10
View Code
category对象：
1import de.tudarmstadt.ukp.wikipedia.api.Category;
2import de.tudarmstadt.ukp.wikipedia.api.DatabaseConfiguration;
3import de.tudarmstadt.ukp.wikipedia.api.Page;
4import de.tudarmstadt.ukp.wikipedia.api.WikiConstants.Language;
5import de.tudarmstadt.ukp.wikipedia.api.Wikipedia;
6import static de.tudarmstadt.ukp.wikipedia.api.WikiConstants.LF;
7
8public class ShowCategoryInfo {
9public static void main(String[] args) throws Exception {
10//连接数据库的配置
11        DatabaseConfiguration dbConfig = new DatabaseConfiguration();
12        dbConfig.setHost("localhost");
13        dbConfig.setDatabase("wikidb");
14        dbConfig.setUser("root");
15        dbConfig.setPassword("root");
16        dbConfig.lish);
17// 创建Wikipedia处理对象
18        Wikipedia wiki = new Wikipedia(dbConfig);
19        String title = "Towns in Germany";
20// 创建类对象
21        Category cat = Category(title);
22        StringBuilder sb = new StringBuilder();
23// 类别名
24        sb.append("Title : " + Title() + LF);
25        sb.append(LF);
26// 类别的⽗类信息
27        sb.append("# super categories : " + Parents().size() + LF); 28for (Category parent : Parents()) {
29            sb.append("  " + Title() + LF);
30        }
31        sb.append(LF);
32// 类别的⼦类信息
33        sb.append("# sub categories : " + Children().size() + LF); 34for (Category child : Children()) {
35            sb.append("  " + Title() + LF);
36        }
37        sb.append(LF);
38// 类别下的所有页⾯
39        sb.append("# pages : " + Articles().size() + LF);
40for (Page page : Articles()) {
41            sb.append("  " + Title() + LF);
42        }
43        System.out.println(sb);
44    }
45 }

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。