1、重新对difficulty中部分函数名和变量名进行了修改,便于理解
2、对原先的词库进行了修改,原先apple和apples等词被错误收录在BBC级别里,被评为8级,现词库采用了近4500个四级词汇、2000个六级词汇、5000个考研词汇、4000个雅思词汇,此处共计7600个左右,有许多词同时具有2/3/4个标签,此外还有近九万个包括但不限于地名、人名、心理或医学等方面的词汇,比较少见,暂定等级为7Bug476-ZhangWeiHao-YuHuangtao
parent
a39b0bb8e5
commit
ddbce62089
|
@ -31,64 +31,65 @@ def difficulty_level_from_frequency(word, d):
|
||||||
|
|
||||||
if 'what' in d:
|
if 'what' in d:
|
||||||
ratio = (d['what']+1)/(d[word]+1) # what is a frequent word
|
ratio = (d['what']+1)/(d[word]+1) # what is a frequent word
|
||||||
level = math.log( max(ratio, 1), 2)
|
level = math.log(max(ratio, 1), 2)
|
||||||
|
|
||||||
level = min(level, 8)
|
level = min(level, 8)
|
||||||
return level
|
return level
|
||||||
|
|
||||||
|
|
||||||
def get_difficulty_level_for_words_and_tests(dic):
|
def get_difficulty_level_for_words_and_tests(d_in):
|
||||||
"""
|
"""
|
||||||
对原本的单词库中的单词进行难度评级
|
对原本的单词库中的单词进行难度评级
|
||||||
:param dic: 存储了单词库pickle文件中的单词的字典
|
:param d_in: 存储了单词库pickle文件中的单词的字典
|
||||||
:return:
|
:return:
|
||||||
"""
|
"""
|
||||||
d = {}
|
d = {}
|
||||||
L = list(dic.keys()) # in dic, we have test types (e.g., CET4,CET6,BBC) for each word
|
L = list(d_in.keys()) # in dic, we have test types (e.g., CET4,CET6,BBC) for each word
|
||||||
|
|
||||||
for k in L:
|
for k in L:
|
||||||
if 'CET4' in dic[k]:
|
if 'CET4' in d_in[k]:
|
||||||
d[k] = 4 # CET4 word has level 4
|
d[k] = 4 # CET4 word has level 4
|
||||||
elif 'CET6' in dic[k]:
|
elif 'CET6' in d_in[k]:
|
||||||
d[k] = 6
|
d[k] = 6
|
||||||
elif 'BBC' in dic[k]:
|
elif 'IELTS' in d_in[k] or 'GRADUATE' in d_in[k]: # 雅思或研究生英语
|
||||||
d[k] = 8
|
d[k] = 8
|
||||||
# print(k, d[k])
|
elif 'EnWords' in d_in[k]: # 除基础词汇外的绝大多数词,包括一些犄角旮旯的专业词汇,近九万个,绝大多数我是真不认识
|
||||||
|
d[k] = 7
|
||||||
|
|
||||||
return d # {'apple': 4, ...}
|
return d # {'apple': 4, ...}
|
||||||
|
|
||||||
def simplify_the_words_dict(dic):
|
def simplify_the_words_dict(d):
|
||||||
"""
|
"""
|
||||||
用于把保存了词库中评级后的词新建一个以词根为键、以同词根的最低等级为值
|
用于把保存了词库中评级后的词新建一个以词根为键、以同词根的最低等级为值
|
||||||
"""
|
"""
|
||||||
stem = snowballstemmer.stemmer('english')
|
stem = snowballstemmer.stemmer('english')
|
||||||
|
|
||||||
res = {}
|
result = {}
|
||||||
for j in dic: # j 在字典中
|
for j in d: # j 在字典中
|
||||||
temp = stem.stemWord(j) # 提取j得词根
|
temp = stem.stemWord(j) # 提取j得词根
|
||||||
if not temp in res: # 如果这个词根不在结果字典中,则以词根为键、以dic中的等级作为值添加
|
if not temp in result: # 如果这个词根不在结果字典中,则以词根为键、以dic中的等级作为值添加
|
||||||
res[temp] = dic[j]
|
result[temp] = d[j]
|
||||||
else: # 如果这个词在结果词典中,则比较一下单词的难度等级是否最小
|
else: # 如果这个词在结果词典中,则比较一下单词的难度等级是否最小
|
||||||
if res[temp] > dic[j]:
|
if result[temp] > d[j]:
|
||||||
res[temp] = dic[j]
|
result[temp] = d[j]
|
||||||
|
|
||||||
return res
|
return result
|
||||||
|
|
||||||
|
|
||||||
def get_difficulty_level(d1, d2):
|
def get_difficulty_level(d1, d2):
|
||||||
"""
|
"""
|
||||||
d2 来自于词库的27000个已标记单词
|
d2 来自于词库的27000个已标记单词
|
||||||
d1 你个老六不会的词
|
d1 用户不会的词
|
||||||
在d2的后面添加单词,没有新建一个新的字典
|
在d2的后面添加单词,没有新建一个新的字典
|
||||||
"""
|
"""
|
||||||
d2 = get_difficulty_level_for_words_and_tests(d2) # 根据d2的标记评级{'apple': 4, 'abandon': 4, ...}
|
d2 = get_difficulty_level_for_words_and_tests(d2) # 根据d2的标记评级{'apple': 4, 'abandon': 4, ...}
|
||||||
d2_sim = simplify_the_words_dict(d2) # 提取d2的词根 {'appl': 4, 'abandon': 4, ...}
|
d2_simplified = simplify_the_words_dict(d2) # 提取d2的词根 {'appl': 4, 'abandon': 4, ...}
|
||||||
stem = snowballstemmer.stemmer('english')
|
stem = snowballstemmer.stemmer('english')
|
||||||
|
|
||||||
for k in d1: # 用户的词
|
for k in d1: # 用户的词
|
||||||
for l in d2_sim: # l是词库的某个单词的词根
|
for l in d2_simplified: # l是词库的某个单词的词根
|
||||||
if stem.stemWord(k) == l: # 两者相等则视为同一难度的词
|
if stem.stemWord(k) == l: # 两者相等则视为同一难度的词
|
||||||
d2[k] = d2_sim[l] # 给d2定级
|
d2[k] = d2_simplified[l] # 给d2定级
|
||||||
break
|
break
|
||||||
else: # 不相等则表明词库中没这词,按照单词的频率定级
|
else: # 不相等则表明词库中没这词,按照单词的频率定级
|
||||||
d2[k] = difficulty_level_from_frequency(k, d1)
|
d2[k] = difficulty_level_from_frequency(k, d1)
|
||||||
|
|
Binary file not shown.
Loading…
Reference in New Issue