新建了simplify_the_words_dict函数专门用于给评级后的词库单词清洗词根,词根的难度按照其变式的最低等级决定,
parent
ce9e18e3fe
commit
a39b0bb8e5
|
@ -53,29 +53,46 @@ def get_difficulty_level_for_words_and_tests(dic):
|
||||||
d[k] = 6
|
d[k] = 6
|
||||||
elif 'BBC' in dic[k]:
|
elif 'BBC' in dic[k]:
|
||||||
d[k] = 8
|
d[k] = 8
|
||||||
print(k, d[k])
|
# print(k, d[k])
|
||||||
|
|
||||||
return d # {'apple': 4, ...}
|
return d # {'apple': 4, ...}
|
||||||
|
|
||||||
|
def simplify_the_words_dict(dic):
|
||||||
|
"""
|
||||||
|
用于把保存了词库中评级后的词新建一个以词根为键、以同词根的最低等级为值
|
||||||
|
"""
|
||||||
|
stem = snowballstemmer.stemmer('english')
|
||||||
|
|
||||||
|
res = {}
|
||||||
|
for j in dic: # j 在字典中
|
||||||
|
temp = stem.stemWord(j) # 提取j得词根
|
||||||
|
if not temp in res: # 如果这个词根不在结果字典中,则以词根为键、以dic中的等级作为值添加
|
||||||
|
res[temp] = dic[j]
|
||||||
|
else: # 如果这个词在结果词典中,则比较一下单词的难度等级是否最小
|
||||||
|
if res[temp] > dic[j]:
|
||||||
|
res[temp] = dic[j]
|
||||||
|
|
||||||
|
return res
|
||||||
|
|
||||||
|
|
||||||
def get_difficulty_level(d1, d2):
|
def get_difficulty_level(d1, d2):
|
||||||
"""
|
"""
|
||||||
d2 来自于词库的27000个已标记单词
|
d2 来自于词库的27000个已标记单词
|
||||||
d1 你个老六不会的词
|
d1 你个老六不会的词
|
||||||
|
在d2的后面添加单词,没有新建一个新的字典
|
||||||
"""
|
"""
|
||||||
d2 = get_difficulty_level_for_words_and_tests(d2) # 根据标记评级,仅适用于词库中的词
|
d2 = get_difficulty_level_for_words_and_tests(d2) # 根据d2的标记评级{'apple': 4, 'abandon': 4, ...}
|
||||||
|
d2_sim = simplify_the_words_dict(d2) # 提取d2的词根 {'appl': 4, 'abandon': 4, ...}
|
||||||
stem = snowballstemmer.stemmer('english')
|
stem = snowballstemmer.stemmer('english')
|
||||||
|
|
||||||
for k in d1: # k是用户不会的词
|
for k in d1: # 用户的词
|
||||||
for l in d2: # l是已经完成评级的词库的词
|
for l in d2_sim: # l是词库的某个单词的词根
|
||||||
if k == l: # k == l,这个用户也不会的词刚好以原型的形式出现在词库中,因为词库已经评过难度了,所以啥也不用干
|
if stem.stemWord(k) == l: # 两者相等则视为同一难度的词
|
||||||
|
d2[k] = d2_sim[l] # 给d2定级
|
||||||
break
|
break
|
||||||
elif stem.stemWord(k) in l: # 这个词的词根与词库中的某个词一样,我们认为是同一难度的词
|
else: # 不相等则表明词库中没这词,按照单词的频率定级
|
||||||
d1[k] = d2[l]
|
|
||||||
else: # 这个词不在词库中,按频率来评定难度
|
|
||||||
d2[k] = difficulty_level_from_frequency(k, d1)
|
d2[k] = difficulty_level_from_frequency(k, d1)
|
||||||
|
|
||||||
return d2
|
return d2
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
def revert_dict(d):
|
def revert_dict(d):
|
||||||
|
|
Loading…
Reference in New Issue