📚實驗內(nèi)容

• 實現(xiàn)以下指標評價，并對Experiment2的檢索結(jié)果進行評價
  • Mean Average Precision (MAP)
  • Mean Reciprocal Rank (MRR)
  • Normalized Discounted Cumulative Gain (NDCG)

📚知識梳理

• MAP（Mean Average Precision）：平均準確率，是衡量檢索結(jié)果排序質(zhì)量的指標。
  • 計算方式是對于每個查詢，計算被正確檢索的文檔的平均精確率，再對所有查詢的平均值取均值。
  • 存在意義是衡量對于一個查詢，檢索結(jié)果的平均精確率，適用于評估排序結(jié)果精確度的情況。

---

• MRR（Mean Reciprocal Rank）：平均倒數(shù)排名，是衡量檢索結(jié)果排序質(zhì)量的指標。
  • 計算方式是對于每個查詢，計算被正確檢索的文檔的最高排名的倒數(shù)的平均值，再對所有查詢的平均值取均值。
  • 存在意義是衡量對于一個查詢，檢索結(jié)果的排名，適用于評估檢索結(jié)果排序效果好壞的情況。

---

• NDCG（Normalized Discounted Cumulative Gain）：歸一化折損累積增益，是衡量檢索結(jié)果排序質(zhì)量的指標。
  • 計算方式是對于每個查詢，對每個被檢索到的結(jié)果計算其相對于理想排序的增益值，然后對這些相對增益值進行加權(quán)求和，再除以理想排序的增益值。
  • 存在意義是衡量對于一個查詢，檢索結(jié)果的絕對和相對排序質(zhì)量，適用于評估排序結(jié)果的質(zhì)量與排名準確度的情況。

---

• 這三個指標各有側(cè)重，根據(jù)不同的評估需要和數(shù)據(jù)特征選擇合適的指標。例如，對于特定領(lǐng)域的文檔檢索，可能更關(guān)注排名準確度和檢索結(jié)果的可靠度，因此MRR和NDCG可能比較適合。對于廣泛領(lǐng)域的文檔檢索，可能更關(guān)注精確度，因此MAP比較適合。

📚實驗步驟

🐇前情提要

• 本次實驗是補充式實驗，先給出了qrels_dict和test_dict
• 構(gòu)建qrels_dict，根據(jù) qrel.txt 中的 query_id 和對應庫中真正相關(guān)的 doc_id 的信息構(gòu)建 qrels_dict={query_id:{doc_id:gain，doc_id:gain，……}}。 遍歷文件中的每一行,完成遍歷后，返回 qrels_dict：
  • 使用 split(’ ') 將行按空格分隔成列表 ele。
  • 檢查 ele[0](query_id)是否已經(jīng)在 qrels_dict 中。如果不在，將其作為新的查詢ID鍵添加到 qrels_dict 中，并將其對應的值設置為空字典。
  • 檢查 ele[3](gain)是否大于0。如果是，將 ele[2](doc_id)作為新的相關(guān)文檔ID鍵添加到查詢ID鍵對應的值中，并將其對應的值設置為 ele[3] 的整數(shù)形式。

  def generate_tweetid_gain(file_name):qrels_dict = {}with open(file_name, 'r', errors='ignore') as f:for line in f:# 按空格劃分ele = line.strip().split(' ')# ele[0]中存放的是query_idif ele[0] not in qrels_dict:qrels_dict[ele[0]] = {}# ele[3]存放的是gain,ele[2]存放的是doc_id# 將gain大于0的存入if int(ele[3]) > 0:qrels_dict[ele[0]][ele[2]] = int(ele[3])return qrels_dict
  

• 構(gòu)建test_dict，根據(jù) result.txt 文檔中 query 和對應的檢索到的 doc 文檔對應信息構(gòu)建 test_dict={query_id:{doc_id，doc_id，……}}。遍歷文件中的每一行,完成遍歷后，返回 test_dict：
  • 使用 split(’ ') 將行按空格分隔成列表 ele。
  • 檢查 ele[0](query_id)是否已經(jīng)在 test_dict 中。如果不在，將其作為新的查詢ID鍵添加到 test_dict 中，并將其對應的值設置為一個空列表。
  • 將 ele[1](doc_id)添加到查詢ID鍵對應的列表中。

  def read_tweetid_test(file_name):# 輸入格式為：query_id doc_idtest_dict = {}with open(file_name, 'r', errors='ignore') as f:for line in f:# 按空格劃分ele = line.strip().split(' ')# 這里的ele[0]是query_id,ele[1]是doc_idif ele[0] not in test_dict:test_dict[ele[0]] = []test_dict[ele[0]].append(ele[1])return test_dict
  

🐇MAP評價指標函數(shù)

1. 獲取檢索到的(test_dict)相關(guān)文檔信息

2. 獲取庫中(qrels_dict)所有相關(guān)文檔的信息

3. 進行 P@K評估計算

   
   

4. 進行 AP 評估計算
   

5. 進行 MAP 均值評估計算。
   

   

---

def MAP_eval(qrels_dict, test_dict, k = 100):# MAP是對AP評價結(jié)果進行平均，AP基于P(Precision@K)評估AP_result = [] for query in qrels_dict:# 獲取相關(guān)信息test_result = test_dict[query]              # 檢索文檔true_list = set(qrels_dict[query].keys())   # 相關(guān)文檔use_length = min(k, len(test_result))       # 用不超過100條文檔計算if use_length <= 0:print('query:', query, '未找到')return []# 聲明變量P_result = [] total = 0    the_true = 0  # P@K 評估for doc_id in test_result[0: use_length]:total += 1if doc_id in true_list:# 如果是相關(guān)的the_true += 1P_result.append(the_true / total)# AP評估if P_result:AP = np.sum(P_result) / len(true_list)# print('query:', query, '的AP評估結(jié)果:', AP)AP_result.append(AP)else:print('query:', query, ' 就沒有相關(guān)的┭┮﹏┭┮')AP_result.append(0)# MAP就是AP的平均值return np.mean(AP_result)

🐇MRR 評價指標函數(shù)

1. 獲取檢索到的(test_dict)相關(guān)文檔信息

2. 獲取庫中(qrels_dict)所有相關(guān)文檔的信息

3. 計算排序倒數(shù)（第一個相關(guān)結(jié)果的位置倒數(shù)）
   

4. 進行 RR 評估計算
   

5. 進行 MRR 均值評估計算。
   
   

---

def MRR_eval(qrels_dict, test_dict, k = 100):# MRR是對RR評價結(jié)果進行平均，RR基于排序倒數(shù)RR_result = []for query in qrels_dict:# 獲取相關(guān)信息test_result = test_dict[query]              # 檢索文檔true_list = set(qrels_dict[query].keys())   # 相關(guān)文檔use_length = min(k, len(test_result))       # 用不超過100條文檔計算if use_length <= 0:print('query:', query, '未找到')return []# 聲明變量R_result = []rank = 0# 計算排序倒數(shù)for doc_id in test_result[0: use_length]:rank += 1if doc_id in true_list:R_result.append(1 / rank)break# RR評估if R_result:RR = np.sum(R_result)/1.0# print('query:', query, '的RR評估結(jié)果:', RR)RR_result.append(RR)else:print('query:', query, ' 就沒有相關(guān)的┭┮﹏┭┮') RR_result.append(0)# MRR就是RR的平均值return np.mean(RR_result)

🐇NDCG評價指標函數(shù)

1. 獲取檢索到的(test_dict)相關(guān)文檔信息
2. 獲取庫中(qrels_dict)所有相關(guān)文檔的gain（也就是下邊的rel）信息
3. 按gain(rel)倒序排列（理想化，用于計算IDCG）
4. 先計算出 DCG和 IDCG，二者相除得到NDCG，取均值后返回。
   
   
   
   

---

def NDCG_eval(qrels_dict, test_dict, k = 100):# NDCG@K = DCG@K / IDCG@K# DCG = rel(1) + sum(rel(i)/log(i))# IDCG就是按rel排序之后的DCGNDCG_result = []for query in qrels_dict:# 獲取相關(guān)信息                                          test_result = test_dict[query]                       # 檢索文檔true_list = list(qrels_dict[query].values())         # 相關(guān)文檔的gain列表true_list = sorted(true_list, reverse=True)          # 按gain(rel)倒序排列use_length = min(k, len(test_result),len(true_list)) # 用不超過100條文檔計算if use_length <= 0:print('query:', query, '未找到')return []# 聲明變量i = 1DCG = 0.0 IDCG = 0.0# 計算DCG和IDCGrel1 = qrels_dict[query].get(test_result[0], 0)DCG += rel1for doc_id in test_result[1: use_length]:i += 1rel = qrels_dict[query].get(doc_id, 0)DCG += rel / math.log(i, 2)IDCG += true_list[i - 2] / math.log(i, 2)NDCG = DCG / IDCG# print('query:', query, '的NDCG評估結(jié)果:', NDCG)NDCG_result.append(NDCG)# 取平均值后返回return np.mean(NDCG_result)

🐇調(diào)試結(jié)果

---

參考博客：信息檢索實驗3- IR Evaluation