LightRAG/docs/MultilingualNER-Comparison-zh.md

多语言实体提取工具全面对比（英文及其他语种）

快速回答

英文和其他语种的推荐：

语言	最佳选择	次选	备选
英文	spaCy（速度+质量平衡）	StanfordNLP（最高质量）	GLiNER（零样本灵活）
中文	HanLP（专门优化）	-	GLiNER（差距大）
法/德/西	GLiNER（零样本）	spaCy（预训练模型）	mBERT（多语言）
日/韩	spaCy（有支持）	HanLP（日语优秀）	GLiNER（零样本）
多语言混合	GLiNER ⭐⭐⭐⭐⭐	mBERT	商业 API
任意语言	GLiNER ⭐⭐⭐⭐⭐	XLM-RoBERTa	LLM

核心结论：

• ✅ 英文：spaCy 是最佳平衡选择（质量 90%+，速度极快）
• ✅ 多语言/混合场景：GLiNER 是王者（零样本，40+ 语言）
• ✅ 中文：HanLP 无可替代（质量差距太大）
• ✅ 需要极致质量（英文）：StanfordNLP
• ✅ 需要自定义实体：GLiNER（任何语言）

---

详细对比

1. 英文 NER 工具对比

spaCy（推荐作为默认选择）

基本信息：

GitHub: https://github.com/explosion/spaCy
Stars: 30k+
组织: Explosion AI
语言支持: 70+ 语言（英文最成熟）
许可证: MIT

性能（CoNLL 2003 英文基准）：

模型: en_core_web_trf (Transformer)
Precision: 90.2%
Recall:    89.8%
F1:        90.0%

速度: 1000+ 句/秒 (GPU)
      100-200 句/秒 (CPU)
模型大小: ~440MB (Transformer)
          ~50MB (CNN)

优点：

✅ 速度极快（工业界最快之一）
✅ 质量高（F1 ~90%）
✅ 文档完善，社区活跃
✅ 易于集成（pip install spacy）
✅ 多种模型（小/中/大/Transformer）
✅ 支持 70+ 语言
✅ 内置 pipeline（分词+词性+NER+依存）
✅ 可视化工具（displaCy）

缺点：

❌ 实体类型固定（需要重新训练）
❌ 自定义实体需要标注数据
❌ 非英语语言质量参差不齐

使用示例：

import spacy

# 加载英文模型
nlp = spacy.load("en_core_web_trf")

text = "Apple Inc. was founded by Steve Jobs in Cupertino, California."
doc = nlp(text)

# 提取实体
for ent in doc.ents:
    print(f"{ent.text}: {ent.label_}")

# 输出:
# Apple Inc.: ORG
# Steve Jobs: PERSON
# Cupertino: GPE
# California: GPE

支持的实体类型（OntoNotes）：

• PERSON, ORG, GPE, LOC, DATE, TIME, MONEY, PERCENT
• PRODUCT, EVENT, FAC, LANGUAGE, LAW, NORP, ORDINAL, QUANTITY, WORK_OF_ART

---

StanfordNLP / CoreNLP（最高质量）

基本信息：

GitHub: https://github.com/stanfordnlp/CoreNLP
Stars: 10k+
组织: Stanford NLP Group
语言支持: 8 种（英文最强）
许可证: GPL v3

性能（CoNLL 2003）：

F1: 92.3%  ← 比 spaCy 高 2-3%

速度: 50-100 句/秒 (CPU)
     ← 比 spaCy 慢 2-5 倍
模型大小: ~500MB
依赖: Java Runtime

优点：

✅ 质量最高（英文 F1 92%+）
✅ 学术界标准工具
✅ 依存句法分析优秀
✅ 共指消解能力强
✅ 支持关系提取

缺点：

❌ 速度慢（比 spaCy 慢 2-5x）
❌ 需要 Java（部署复杂）
❌ 内存占用大
❌ API 不够现代（相比 spaCy）
❌ 语言支持有限（8 种）

使用场景：

• 学术研究（质量优先）
• 法律/医疗文本（需要极高准确率）
• 小规模数据处理（速度不敏感）

---

GLiNER（零样本，灵活性最强）

基本信息：

GitHub: https://github.com/urchade/GLiNER
Stars: 3k+
发布: NAACL 2024
语言支持: 40+ 语言（零样本）
许可证: Apache 2.0

性能（英文 - CoNLL++ 等数据集）：

Zero-shot F1: 60.5  ← 零样本场景
Fine-tuned F1: 92.0  ← 微调后接近 StanfordNLP

速度: 500-2000 句/秒 (GPU)
      300-500 句/秒 (CPU)
      ← 比 spaCy 稍快

模型大小: 280MB

优点：

✅ 零样本学习（任意实体类型）
✅ 无需训练即可使用
✅ 灵活性极高
✅ 速度快
✅ 支持 40+ 语言
✅ 模型轻量（280MB）
✅ 在英文上表现优秀
✅ 超越 ChatGPT（零样本场景）

缺点：

❌ 零样本性能不如监督学习
❌ 依赖实体类型描述质量
❌ 非英语语言性能下降
❌ 需要仔细调整实体类型定义

使用示例：

from gliner import GLiNER

# 加载模型
model = GLiNER.from_pretrained("urchade/gliner_large-v2.1")

text = "Apple Inc. was founded by Steve Jobs in Cupertino, California."

# 动态指定任意实体类型
labels = ["company", "person", "city", "state", "founder", "tech company"]

entities = model.predict_entities(text, labels)

# 输出:
# [
#   {'text': 'Apple Inc.', 'label': 'tech company', 'score': 0.95},
#   {'text': 'Steve Jobs', 'label': 'founder', 'score': 0.92},
#   {'text': 'Cupertino', 'label': 'city', 'score': 0.88},
#   {'text': 'California', 'label': 'state', 'score': 0.90}
# ]

---

英文工具综合对比

工具	F1（监督）	F1（零样本）	速度	灵活性	易用性	推荐场景
spaCy	90%	N/A	⭐⭐⭐⭐⭐	⭐⭐⭐	⭐⭐⭐⭐⭐	通用首选
StanfordNLP	92%	N/A	⭐⭐⭐	⭐⭐	⭐⭐⭐	学术/高质量
GLiNER	92%	60%	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	零样本/自定义
Flair	93%	N/A	⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐	研究/fine-tuning
LLM (GPT-4)	N/A	55-65%	⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	原型/复杂实体

推荐决策树：

英文 NER 选择:

需要自定义实体类型？
├─ 是 → GLiNER（零样本）
└─ 否 → 继续

追求极致质量（F1 > 91%）？
├─ 是 → StanfordNLP
└─ 否 → 继续

需要高吞吐量（>100 句/秒）？
├─ 是 → spaCy（Transformer 或 CNN）
└─ 否 → spaCy（默认推荐）

结论: 90% 场景用 spaCy 就够了

---

2. 多语言场景对比

GLiNER-Multi（多语言之王）

支持语言（官方测试）：

拉丁文字（性能优秀）:
✅ English, Spanish, German, French, Italian, Portuguese
✅ Dutch, Swedish, Norwegian, Danish
✅ Polish, Czech, Romanian

非拉丁文字（性能中等）:
⭐ Chinese, Japanese, Korean
⭐ Arabic, Hebrew, Russian, Greek

其他（零样本支持）:
🌐 40+ 语言（包括低资源语言）

性能（MultiCoNER 数据集）：

语言	GLiNER-Multi F1	ChatGPT F1	对比
English	60.5	55.2	✅ GLiNER 胜
Spanish	50.2	45.8	✅ GLiNER 胜
German	48.9	44.3	✅ GLiNER 胜
French	47.3	43.1	✅ GLiNER 胜
Dutch	52.1	48.7	✅ GLiNER 胜
Russian	38.4	36.2	✅ GLiNER 胜
Chinese	24.3	28.1	❌ ChatGPT 胜
Japanese	31.2	29.8	✅ GLiNER 胜
Korean	28.7	27.4	✅ GLiNER 胜

关键发现：

• ✅ 欧洲语言（拉丁文字）：GLiNER 优秀（F1 45-60%）
• ⚠️ 东亚语言（中日韩）：GLiNER 中等（F1 25-35%）
• ✅ 所有语言都超过 ChatGPT（除中文外）
• ⚠️ 零样本性能不如监督学习（但非常灵活）

使用示例：

from gliner import GLiNER

# 加载多语言模型
model = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")

# 法语文本
text_fr = "Emmanuel Macron est le président de la France depuis 2017."
labels_fr = ["personne", "pays", "date", "poste"]
entities_fr = model.predict_entities(text_fr, labels_fr)

# 德语文本
text_de = "Angela Merkel war Bundeskanzlerin von Deutschland."
labels_de = ["Person", "Land", "Position"]
entities_de = model.predict_entities(text_de, labels_de)

# 西班牙语文本
text_es = "Madrid es la capital de España desde 1561."
labels_es = ["ciudad", "país", "fecha"]
entities_es = model.predict_entities(text_es, labels_es)

# 日语文本
text_ja = "東京は日本の首都です。"
labels_ja = ["都市", "国"]
entities_ja = model.predict_entities(text_ja, labels_ja)

---

spaCy 多语言支持

支持语言：70+ 语言，但质量参差不齐

高质量支持（F1 > 85%）：

✅ English (90%)
✅ German (88%)
✅ Spanish (87%)
✅ French (86%)
✅ Italian (85%)
✅ Portuguese (85%)
✅ Dutch (87%)

中等质量（F1 60-85%）：

⭐ Chinese (60-70%)  ← 仍在改进中
⭐ Japanese (65-75%)
⭐ Korean (60-70%)
⭐ Russian (75-80%)
⭐ Polish (78-82%)

可用但质量较低（F1 < 60%）：

⚠️ Arabic, Hebrew, Hindi, Thai, Vietnamese...

模型示例：

import spacy

# 德语
nlp_de = spacy.load("de_core_news_lg")
# 法语
nlp_fr = spacy.load("fr_core_news_lg")
# 西班牙语
nlp_es = spacy.load("es_core_news_lg")
# 日语
nlp_ja = spacy.load("ja_core_news_lg")

# 使用
doc = nlp_de("Angela Merkel ist die ehemalige Bundeskanzlerin.")
for ent in doc.ents:
    print(ent.text, ent.label_)

---

mBERT / XLM-RoBERTa（多语言 BERT）

基本信息：

模型: bert-base-multilingual-cased-ner-hrl
支持语言: 10 种高资源语言
  - Arabic, German, English, Spanish, French
  - Italian, Latvian, Dutch, Portuguese, Chinese

模型: XLM-RoBERTa
支持语言: 100+ 语言
训练: 2.5TB 多语言文本

性能（平均）：

高资源语言（英/德/法/西）: F1 75-85%
中资源语言（意/葡/荷/中）: F1 65-75%
低资源语言: F1 50-65%

速度: 50-100 句/秒 (CPU)
      300-500 句/秒 (GPU)

优点：

✅ 支持 100+ 语言
✅ 跨语言迁移能力强
✅ 可以 fine-tune 到特定领域
✅ Hugging Face 集成好

缺点：

❌ 需要 fine-tuning（不是开箱即用）
❌ 质量不如单语言模型
❌ 比 GLiNER 灵活性差

使用示例：

from transformers import pipeline

# 加载多语言 NER 模型
ner = pipeline("ner", model="Davlan/bert-base-multilingual-cased-ner-hrl")

# 支持多种语言
text_en = "Apple Inc. is located in Cupertino."
text_de = "Apple Inc. befindet sich in Cupertino."
text_es = "Apple Inc. está ubicada en Cupertino."

entities_en = ner(text_en)
entities_de = ner(text_de)
entities_es = ner(text_es)

---

3. 按语言族推荐

拉丁文字语言（法/德/西/意/葡等）

推荐优先级：

1. GLiNER（零样本，灵活性强）⭐⭐⭐⭐⭐

   优势:
   - 零样本 F1 45-60%（已经很不错）
   - 任意自定义实体类型
   - 无需训练数据
   - 跨语言迁移能力强
   
   适合:
   - 多语言混合文本
   - 自定义实体类型
   - 快速原型
   

2. spaCy（预训练模型）⭐⭐⭐⭐

   优势:
   - F1 85-90%（监督学习）
   - 速度快
   - 易于集成
   
   缺点:
   - 实体类型固定
   - 需要为每种语言加载模型
   

3. mBERT / XLM-RoBERTa（需要 fine-tune）⭐⭐⭐

   优势:
   - 跨语言能力强
   - 可以在少量数据上 fine-tune
   
   缺点:
   - 需要标注数据
   - 部署复杂
   

示例代码（多语言 RAG 系统）：

from gliner import GLiNER

class MultilingualEntityExtractor:
    """多语言实体提取器"""

    def __init__(self):
        # 使用 GLiNER 多语言模型
        self.model = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")

        # 定义多语言实体类型
        self.entity_types = {
            'en': ["person", "organization", "location", "date", "product"],
            'es': ["persona", "organización", "ubicación", "fecha", "producto"],
            'de': ["Person", "Organisation", "Ort", "Datum", "Produkt"],
            'fr': ["personne", "organisation", "lieu", "date", "produit"],
            'it': ["persona", "organizzazione", "luogo", "data", "prodotto"],
        }

    def extract(self, text: str, language: str = 'en'):
        """提取实体"""
        labels = self.entity_types.get(language, self.entity_types['en'])
        entities = self.model.predict_entities(text, labels)

        return [
            {'text': e['text'], 'type': e['label'], 'score': e['score']}
            for e in entities
            if e['score'] > 0.5
        ]

# 使用
extractor = MultilingualEntityExtractor()

# 法语文本
entities_fr = extractor.extract(
    "Apple a été fondée par Steve Jobs à Cupertino.",
    language='fr'
)

# 德语文本
entities_de = extractor.extract(
    "Apple wurde von Steve Jobs in Cupertino gegründet.",
    language='de'
)

---

东亚语言（中/日/韩）

推荐优先级：

1. 专门模型（最高质量）⭐⭐⭐⭐⭐

   中文: HanLP (F1 95%)
   日文: HanLP (F1 90%+)
   韩文: KoNLPy + mecab (F1 85-90%)
   

2. spaCy（通用选择）⭐⭐⭐⭐

   中文: F1 60-70% (仍在改进)
   日文: F1 65-75%
   韩文: F1 60-70%
   
   优势: 速度快，易集成
   缺点: 质量不如专门模型
   

3. GLiNER（零样本，灵活）⭐⭐⭐

   中文: F1 ~24% (不推荐)
   日文: F1 ~31%
   韩文: F1 ~29%
   
   仅在需要零样本自定义时考虑
   

推荐策略：

def get_asian_extractor(language: str):
    """根据东亚语言选择提取器"""

    if language == 'zh':
        # 中文: 强烈推荐 HanLP
        import hanlp
        return hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_BASE_ZH)

    elif language == 'ja':
        # 日文: HanLP 或 spaCy
        # HanLP 日文也很强
        import hanlp
        return hanlp.load('CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_JA')

    elif language == 'ko':
        # 韩文: spaCy 或 KoNLPy
        import spacy
        return spacy.load("ko_core_news_lg")

    else:
        # 其他: 使用 GLiNER
        from gliner import GLiNER
        return GLiNER.from_pretrained("urchade/gliner_multi-v2.1")

---

其他语言（阿拉伯/俄语/印地语等）

推荐：GLiNER 或商业 API

原因：

• 开源模型对这些语言支持有限
• GLiNER 零样本能力在这些语言上仍然可用
• 商业 API（如 Google Cloud NLP, Azure）对这些语言支持更好

商业 API 对比：

服务	语言支持	价格	F1（估算）
Google Cloud NLP	100+	$1-5/1k 文档	75-85%
Azure Text Analytics	50+	$2-10/1k 文档	70-80%
AWS Comprehend	20+	$1-3/1k 文档	70-80%
IBM Watson	30+	$3-8/1k 文档	75-85%

---

4. 混合语言文本处理

场景：英文 + 中文混合文档

问题：

文本示例:
"Apple Inc. 在库比蒂诺(Cupertino)总部发布了新款 iPhone，
由 CEO Tim Cook 主持发布会。"

挑战:
- 英文实体: Apple Inc., Cupertino, iPhone, Tim Cook
- 中文实体: 库比蒂诺, CEO
- 需要同时处理两种语言

方案 1: 语言检测 + 分别处理（推荐）

import langdetect
from gliner import GLiNER
import hanlp
import spacy

class HybridLanguageExtractor:
    """混合语言实体提取器"""

    def __init__(self):
        self.hanlp = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_BASE_ZH)
        self.spacy_en = spacy.load("en_core_web_trf")
        self.gliner = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")

    def segment_by_language(self, text: str):
        """按语言分割文本"""
        # 简化版：基于字符分割
        segments = []
        current_segment = ""
        current_lang = None

        for char in text:
            if '\u4e00' <= char <= '\u9fff':  # 中文字符
                lang = 'zh'
            elif 'a' <= char.lower() <= 'z':  # 英文字符
                lang = 'en'
            else:
                lang = current_lang  # 标点等保持当前语言

            if lang != current_lang and current_segment:
                segments.append((current_segment.strip(), current_lang))
                current_segment = char
                current_lang = lang
            else:
                current_segment += char
                current_lang = lang

        if current_segment:
            segments.append((current_segment.strip(), current_lang))

        return segments

    def extract(self, text: str):
        """提取混合语言文本中的实体"""
        segments = self.segment_by_language(text)
        all_entities = []

        for segment, lang in segments:
            if not segment:
                continue

            if lang == 'zh':
                # 使用 HanLP 处理中文
                result = self.hanlp(segment, tasks='ner')
                # 解析结果...
                entities = self._parse_hanlp(result)

            elif lang == 'en':
                # 使用 spaCy 处理英文
                doc = self.spacy_en(segment)
                entities = [
                    {'text': ent.text, 'type': ent.label_}
                    for ent in doc.ents
                ]

            else:
                # 其他语言使用 GLiNER
                entities = self.gliner.predict_entities(
                    segment,
                    ["person", "organization", "location", "product"]
                )

            all_entities.extend(entities)

        return all_entities

方案 2: 直接使用 GLiNER（简单但质量较低）

from gliner import GLiNER

model = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")

text = "Apple Inc. 在库比蒂诺(Cupertino)总部发布了新款 iPhone"

# GLiNER 可以处理混合语言（但质量不如方案1）
labels = ["company", "person", "location", "product", "公司", "地点", "产品"]
entities = model.predict_entities(text, labels)

# 优势: 简单，一次调用
# 缺点: 中文部分质量较低

---

5. 完整工具对比矩阵

按语言和质量排序

工具	英文	中文	法/德/西	日/韩	其他	零样本	速度	易用性
HanLP	90%	95%	-	90%	-	❌	⭐⭐⭐⭐	⭐⭐⭐⭐
spaCy	90%	65%	88%	70%	60%	❌	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐
StanfordNLP	92%	80%	85%	-	-	❌	⭐⭐⭐	⭐⭐⭐
GLiNER	92%	24%	50%	31%	45%	✅	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
mBERT	80%	70%	75%	65%	60%	❌	⭐⭐⭐⭐	⭐⭐⭐
LLM (GPT-4)	65%	60%	55%	50%	50%	✅	⭐⭐	⭐⭐⭐⭐

按场景推荐

场景	首选	次选	备选
纯英文，标准实体	spaCy	StanfordNLP	GLiNER
纯英文，自定义实体	GLiNER	LLM	Flair
纯中文	HanLP	-	spaCy
纯法/德/西	GLiNER	spaCy	mBERT
纯日/韩	HanLP (日) / spaCy	GLiNER	-
多语言混合	GLiNER	分别处理	LLM
任意语言	GLiNER	LLM	商业 API
追求极致质量（英）	StanfordNLP	spaCy	GLiNER（微调）
追求极致速度	spaCy (CNN)	GLiNER	-
需要零样本	GLiNER	LLM	-

---

6. LightRAG 集成建议

推荐策略：按主要语言选择

# lightrag/llm/multilingual_entity_extractor.py

from typing import List, Dict
import spacy
from gliner import GLiNER

class MultilingualEntityExtractor:
    """LightRAG 多语言实体提取器"""

    def __init__(self, primary_language: str = 'en'):
        """
        Args:
            primary_language: 主要语言
                - 'en': 英文
                - 'zh': 中文
                - 'multi': 多语言混合
        """
        self.primary_language = primary_language

        if primary_language == 'zh':
            # 中文优先：使用 HanLP
            import hanlp
            self.extractor = hanlp.load(
                hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_BASE_ZH
            )
            self.extract_method = self._extract_hanlp

        elif primary_language == 'en':
            # 英文优先：使用 spaCy
            self.extractor = spacy.load("en_core_web_trf")
            self.extract_method = self._extract_spacy

        else:  # 'multi' 或其他
            # 多语言：使用 GLiNER
            self.extractor = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")
            self.extract_method = self._extract_gliner

    def extract(self, text: str, custom_labels: List[str] = None) -> List[Dict]:
        """提取实体

        Args:
            text: 输入文本
            custom_labels: 自定义实体类型（仅 GLiNER 支持）

        Returns:
            [{'entity': '...', 'type': '...', 'score': 0.9}, ...]
        """
        return self.extract_method(text, custom_labels)

    def _extract_spacy(self, text, custom_labels=None):
        """使用 spaCy 提取"""
        doc = self.extractor(text)
        return [
            {'entity': ent.text, 'type': ent.label_, 'score': 1.0}
            for ent in doc.ents
        ]

    def _extract_hanlp(self, text, custom_labels=None):
        """使用 HanLP 提取"""
        result = self.extractor(text, tasks='ner')
        entities = []
        # 解析 HanLP 结果...
        # (详细实现见 HanLP vs GLiNER 文档)
        return entities

    def _extract_gliner(self, text, custom_labels=None):
        """使用 GLiNER 提取"""
        if custom_labels is None:
            # 默认实体类型
            custom_labels = [
                "person", "organization", "location",
                "date", "product", "event"
            ]

        entities = self.extractor.predict_entities(text, custom_labels)
        return [
            {'entity': e['text'], 'type': e['label'], 'score': e['score']}
            for e in entities
            if e['score'] > 0.5
        ]

# 使用示例
# 英文文档
extractor_en = MultilingualEntityExtractor(primary_language='en')
entities = extractor_en.extract("Apple Inc. was founded by Steve Jobs.")

# 中文文档
extractor_zh = MultilingualEntityExtractor(primary_language='zh')
entities = extractor_zh.extract("苹果公司由史蒂夫·乔布斯创立。")

# 多语言文档
extractor_multi = MultilingualEntityExtractor(primary_language='multi')
entities = extractor_multi.extract(
    "Apple Inc. 在库比蒂诺发布新产品。",
    custom_labels=["company", "location", "product", "公司", "地点", "产品"]
)

---

7. 性能和成本对比

索引 10,000 chunks（多语言混合）

方案	时间	GPU 成本	质量（估算）
LLM (Qwen-7B)	500s	$0.25	F1 85%
spaCy (英)	50s	$0.025	F1 90%
HanLP (中)	100s	$0.05	F1 95%
GLiNER (多语言)	30s	$0.015	F1 45-60%
混合策略*	80s	$0.04	F1 85-90%

*混合策略：中文用 HanLP，英文用 spaCy，其他用 GLiNER

结论：

• ✅ 混合策略质量最高且成本可控
• ✅ GLiNER 速度最快但质量较低
• ✅ 根据语言分别处理是最佳实践

---

8. 最终推荐

对于 LightRAG 用户

场景 1: 纯英文文档

推荐: spaCy
理由:
- F1 90%（质量高）
- 速度极快
- 易于集成
- 成本低

实施:
pip install spacy
python -m spacy download en_core_web_trf

场景 2: 纯中文文档

推荐: HanLP
理由:
- F1 95%（最高质量）
- 专门为中文优化
- 集成分词

实施:
pip install hanlp
# 使用 ELECTRA 模型

场景 3: 多语言文档（英+中+其他）

推荐: GLiNER + 混合策略
理由:
- GLiNER 支持 40+ 语言
- 零样本灵活性
- 可针对主要语言优化

实施:
# 主要语言用专门模型
# 次要语言用 GLiNER
# 详见上面的 MultilingualEntityExtractor

场景 4: 需要自定义实体类型

推荐: GLiNER（任何语言）
理由:
- 零样本学习
- 无需训练数据
- 任意实体类型

实施:
from gliner import GLiNER
model = GLiNER.from_pretrained("urchade/gliner_multi-v2.1")

---

9. 实战建议

阶段 1: 确定主要语言

# 分析你的文档语料库
python scripts/analyze_language_distribution.py --input docs/

# 输出示例:
# English: 65%
# Chinese: 25%
# French: 5%
# German: 3%
# Other: 2%

阶段 2: 选择工具

主要语言 > 80%:
  └─ 使用该语言的最佳工具
     - 英文 → spaCy
     - 中文 → HanLP
     - 法/德/西 → GLiNER 或 spaCy

主要语言 50-80%:
  └─ 混合策略
     - 主要语言用专门模型
     - 其他语言用 GLiNER

多语言混合（无明显主要语言）:
  └─ GLiNER（零样本）

阶段 3: 实施和评估

# 实施
python scripts/integrate_ner_model.py --model spacy --language en

# 评估质量
python scripts/evaluate_entity_extraction.py \
    --method spacy \
    --baseline llm \
    --num_samples 100

# 评估端到端 RAG 效果
python lightrag/evaluation/eval_rag_quality.py

---

总结

核心要点

1. 英文：spaCy 是最佳平衡

   • F1 90%，速度快，易用
   • StanfordNLP 质量更高（F1 92%）但速度慢
   • GLiNER 适合需要自定义实体的场景

2. 中文：HanLP 无可替代

   • F1 95% vs GLiNER 24%
   • 质量差距太大，不考虑 GLiNER

3. 多语言/其他语种：GLiNER 是王者

   • 支持 40+ 语言
   • 零样本灵活性
   • 欧洲语言表现优秀（F1 45-60%）

4. 混合策略最优

   • 主要语言用专门模型
   • 次要语言用 GLiNER
   • 兼顾质量和成本

5. 自定义实体：GLiNER 独领风骚

   • 任何语言都可零样本识别自定义实体
   • 无需训练数据
   • 灵活性无可比拟

决策流程图

┌─────────────────────────────────┐
│ 确定主要语言                     │
└────────────┬────────────────────┘
             ▼
      ┌──────────────┐
      │ 英文 > 80%?  │
      └──┬────────┬──┘
         │ 是     │ 否
         ▼        ▼
     spaCy    ┌──────────────┐
              │ 中文 > 80%?  │
              └──┬────────┬──┘
                 │ 是     │ 否
                 ▼        ▼
              HanLP   ┌─────────────────┐
                      │ 需要自定义实体? │
                      └──┬──────────┬───┘
                         │ 是       │ 否
                         ▼          ▼
                      GLiNER    混合策略
                                (主要+GLiNER)

---

参考资源

开源工具

• spaCy: https://spacy.io/
• GLiNER: https://github.com/urchade/GLiNER
• HanLP: https://github.com/hankcs/HanLP
• StanfordNLP: https://stanfordnlp.github.io/CoreNLP/
• Flair: https://github.com/flairNLP/flair

基准数据集

• CoNLL 2003 (英文)
• MSRA (中文)
• MultiCoNER (11 语言)
• OntoNotes (英中)
• Universal NER (多语言)

论文

• GLiNER: "Generalist Model for NER" (NAACL 2024)
• Universal NER: "Gold-Standard Multilingual NER" (2024)
• spaCy: "Industrial-strength NLP" (2020)

---

需要我帮你：

• 实现具体语言的集成？
• 创建混合策略代码？
• 运行多语言性能测试？