Python 中有多种优秀的语言识别工具，以下是一些常用的工具和库：
1. langdetect
• 简介: langdetect 是一个非常流行的语言检测库，基于 Google 的 language-detection 项目。它可以检测多种语言，并且对于短文本也有不错的识别效果。
• 安装:
pip install langdetect
• 使用示例:
from langdetect import detect
text = “Bonjour tout le monde”
language = detect(text)
print(language) # 输出: ‘fr’ (法语)
2. langid
• 简介: langid 是另一个非常强大的语言识别库，支持97种语言。它的特点是完全自包含且无需外部依赖。
• 安装:
pip install langid
• 使用示例:
import langid
text = “Hola, ¿cómo estás?”
language, _ = langid.classify(text)
print(language) # 输出: ‘es’ (西班牙语)
3. polyglot
• 简介: polyglot 是一个支持多语言处理的库，它不仅提供语言识别功能，还支持情感分析、实体识别等多种自然语言处理任务。
• 安装:
pip install polyglot
• 使用示例:
from polyglot.detect import Detector
text = “Ceci est un exemple de texte en français”
detector = Detector(text)
language = detector.language.code
print(language) # 输出: ‘fr’ (法语)
4. TextBlob
• 简介: TextBlob 是一个简洁易用的自然语言处理工具包，虽然它主要用于情感分析、词性标注等任务，但也支持语言识别。
• 安装:
pip install textblob
• 使用示例:
from textblob import TextBlob
text = “Hello, how are you?”
blob = TextBlob(text)
print(blob.detect_language()) # 输出: ‘en’ (英语)
5. FastText (by Facebook)
• 简介: FastText 是一个由 Facebook 提供的开源库，除了高效的词向量表示外，它也能很好地进行语言识别。它支持多达170多种语言。
• 安装:
pip install fasttext
• 使用示例:
import fasttext
model = fasttext.load_model(‘lid.176.bin’) # 下载预训练模型
text = “Ceci est un texte en français”
prediction = model.predict(text)
print(prediction) # 输出: (‘__label__fr’,)
6. cld3 (Compact Language Detector v3)
• 简介: cld3 是一个高效的语言检测库，基于 Google 的 Compact Language Detector v3。它对短文本和多语言文本都有不错的支持。
• 安装:
pip install cld3
• 使用示例:
import cld3
text = “Hola, ¿cómo estás?”
language = cld3.get_language(text)
print(language) # 输出: Language: es (西班牙语)
总结：
• 如果需要一个简单、易用的工具，langdetect 和 langid 都是不错的选择。
• 如果对处理多语言的文本和需要其他 NLP 功能有需求，可以考虑使用 polyglot 或 TextBlob。
• 如果需要更高精度的检测，尤其是在短文本的情况下，FastText 和 cld3 是更强大的选择。
你可以根据具体需求选择适合的工具！