自然语言处理标签_松山湖开发者村综合服务平台

自然语言处理

Base LLM | 从 NLP 到 LLM 的算法全栈教程第一天

把新词加入词表，“教会”

fof920
2026-03-16 17:33:36

 522

 13

#自然语言处理 #人工智能
机器学习全景指南-启蒙篇——人工智能与机器学习的宏观版图

深度学习是机器学习的一种特殊方法，而机器学习是实现人工智能的主要途径。

Yardon_Official
2026-03-08 21:59:16

 747

 12

#人工智能 #机器学习 #学习 +4
【自然语言处理】02 文本规范化

本文介绍了英文分词、词规范化及分句技术。分词涵盖空格/标点分割、正则表达式匹配及BPE子词算法；词规范化包括大小写折叠与词目还原；分句通过标点符号分割，需解决句号歧义，常结合分词结果判定句子边界。

Francek Chen
2026-01-26 09:00:00

 1442

 75

#自然语言处理 #easyui #人工智能 +2
动手学深度学习 - NLP 词嵌入全解析：从 Word2Vec/GloVe 到 FastText/BPE 与 BERT

本文系统介绍了NLP中的词嵌入技术发展历程。首先讲解了Word2Vec的Skip-Gram和CBOW模型原理及其在中文文本的应用；然后介绍了融合全局统计的GloVe模型，并给出代码实践；针对传统词嵌入的缺陷，分析了FastText子词嵌入和BPE字节对编码的优势；最后重点阐述了上下文敏感的预训练模型BERT，包括其双向编码特性、输入表示方法以及中文分词器的具体使用方法。通过从静态词嵌入到动态上下文

 nju_spy
2026-01-16 21:47:32

 986

 14

#深度学习 #自然语言处理 #word2vec
从森林到梯度——梯度提升树的原理、调参与实战

grad = preds - labels # 一阶梯度hess = np.ones_like(preds) # 二阶梯度适用于 Quantile Regression、Focal Loss 等场景。梯度提升树不仅是算法，更是一种认知范式：承认当前模型的不完美，以谦卑之心，一步步修正偏差。复杂问题，可以分解为一系列简单修正；最优解，往往藏在误差的梯度方向里；真正的强大，源于对细节的极致把控。

渡我白衣
2026-01-12 08:31:58

 1591

 98

#机器学习 #人工智能 #自然语言处理 +4
【自然语言处理】应用07：自然语言推断：微调BERT

本文介绍了在SNLI数据集上微调预训练BERT模型进行自然语言推断的方法。通过加载小版本BERT，构建包含多层感知机的分类器，处理文本对数据，并进行训练优化，最终实现序列级文本分类任务，提升推断准确性。

Francek Chen
2026-01-12 09:00:00

 1469

 97

#自然语言处理 #bert #人工智能 +2
【自然语言处理】应用06：针对序列级和词元级应用微调BERT

BERT为自然语言处理提供通用解决方案，微调时只需加全连接层。本文介绍了其在单文本分类、文本对分类或回归、文本标注和问答等任务上的应用及微调方法。

Francek Chen
2026-01-08 09:00:00

 1717

 88

#自然语言处理 #bert #人工智能 +2
【RAG】基于PDF文档构建语义搜索引擎

Vectorstore 实现了一个 as_retriever 方法，该方法会生成一个 Retriever 对象，具体来说是 VectorStoreRetriever 对象。这些 Retriever 对象包含特定的 search_type 和 search_kwargs 属性，用于标识要调用底层 Vectorstore 的哪些方法以及如何对这些方法进行参数化。基于文档检索的目的是取回Document

耶夫斯基
2025-12-24 10:15:35

 1107

 38

#nlp #python #自然语言处理
知识工程：人工智能从通用求解到知识驱动的演进基石

本文系统梳理了知识工程的发展历程与核心技术。知识工程作为人工智能从通用问题求解转向知识驱动的关键转折，其发展经历了四个阶段：起步期（符号主义主导）、成长期（专家系统崛起）、快速发展期（语义网兴起）和多元化发展期（大数据与机器学习融合）。知识表示方法包括产生式规则、框架表示、状态空间和语义网络等，推理技术从经典逻辑发展为智能融合。当前知识图谱面临知识融合质量、扩展性和标准化三大挑战。随着技术进步，知

 2401_84149564
2025-12-22 21:26:40

 1767

 28

#自然语言处理 #人工智能 #知识图谱
【自然语言处理】应用03：情感分析：使用卷积神经网络

本文讲解用一维卷积和最大时间汇聚层构建textCNN模型进行情感分析。模型定义多个卷积核捕获局部特征，经汇聚和全连接层输出预测结果，加载预训练词向量后训练，可准确预测句子情感。

Francek Chen
2025-12-22 09:00:00

 1368

 69

#自然语言处理 #cnn #人工智能 +3
【自然语言处理】自然语言处理（NLP）的全景应用：从生活便利到产业革新的全维度渗透

本文系统梳理了自然语言处理（NLP）技术的发展与应用全景。从技术演进看，NLP经历了规则驱动、统计学习到大语言模型的三个阶段，实现了从专用智能向通用智能的跨越。在应用层面，NLP已深度融入生活服务（智能交互、信息推荐）、产业赋能（金融风控、医疗诊断）、社会治理（舆情监测、智慧政务）和科研创新（文献分析、知识挖掘）四大领域，显著提升了社会运行效率。尽管面临语言歧义性、数据偏见、可解释性不足等挑战，未

 2401_84149564
2025-12-19 20:57:22

 1929

 23

#自然语言处理 #人工智能
【自然语言处理】应用02：情感分析：使用循环神经网络

本文讲解用预训练GloVe词向量和双向循环神经网络进行情感分析。构建BiRNN模型，加载预训练词向量且不更新，训练后定义预测函数，并对简单句子进行情感预测。

Francek Chen
2025-12-18 09:00:00

 1778

 76

#自然语言处理 #rnn #人工智能 +3
【自然语言处理】自然语言理解的分层处理机制与程序语言编译器的对比研究

本文对比分析了自然语言处理（NLP）系统与程序语言编译器的分层处理机制。NLP系统处理自然语言的模糊性和歧义性，分为词法分析（处理分词歧义）、句法分析（构建依存树）和语义分析（理解真实意图）三个层次。编译器则处理形式化语言的严格规则，包括词法分析（识别固定token）、句法分析（构建AST）和语义分析（类型检查）。两者的根本差异源于自然语言为人类沟通设计（模糊灵活）而程序语言为计算机设计（精确严格

 2401_84149564
2025-12-10 23:02:58

 1712

 48

#自然语言处理 #人工智能 #深度学习 +1
【自然语言处理】预训练10：预训练BERT

本文在WikiText-2上预训练小型BERT，展示损失变化，并演示用预训练BERT表示文本及验证其上下文敏感性。

Francek Chen
2025-12-08 08:30:00

 1366

 80

#自然语言处理 #bert #人工智能 +2
【自然语言处理】区分he‘s和she‘s的缩写含义

本文系统分析了英语中{he,she}'s缩写的区分规则：当后接过去分词时为has（完成时），后接现在分词/形容词/名词时为is（进行时/主系表）。文章提供了4条优先级规则及典型例句，特别指出"过去分词=has"是最可靠判断标准。同时开发了Python程序，利用NLTK进行词性标注，自动判断缩写含义。测试显示该方法能准确区分95%的使用场景，为英语学习者和NLP处理提供了实用指南

 2401_84149564
2025-12-08 21:35:45

 2238

 53

#自然语言处理 #人工智能 #python
快速上手大模型：深度学习13（文本预处理、语言模型、RNN、GRU、LSTM、seq2seq）

本文摘要介绍了文本预处理和语言模型的基础知识，以及RNN、GRU、LSTM等神经网络模型。主要内容包括：1）文本预处理步骤（读取数据、词元化、构建词表）；2）语言模型定义与实现（n元语法模型、困惑度评估）；3）RNN及其变体GRU、LSTM的原理；4）编码器-解码器架构及其在seq2seq任务中的应用。重点强调了文本预处理和语言模型的重要性，而RNN系列模型仅需了解。文中提供了完整的代码实现，包括

 ?.W.
2025-11-24 22:08:21

 1013

 22

#语言模型 #人工智能 #自然语言处理 +2
【自然语言处理】预训练07：词的相似性和类比任务

本文介绍加载预训练GloVe词向量，通过词相似性和类比任务展示其语义，词相似性用余弦相似度找近义词，词类比通过向量运算完成，证明其能捕捉语义和句法信息。

Francek Chen
2025-11-17 09:00:00

 1590

 67

#自然语言处理 #人工智能 #深度学习 +1
【自然语言处理】预训练05：全局向量的词嵌入（GloVe）

本文讲解自然语言处理预训练的全局向量的词嵌入。上下文词共现含丰富语义信息，可预先计算共现统计。GloVe模型基于平方损失对跳元模型修改，用全局统计，中心词与上下文词向量数学等价，还可从共现概率比值理解。

Francek Chen
2025-11-07 17:05:43

 2147

 70

#自然语言处理 #人工智能 #pytorch +1
【自然语言处理】预训练04：预训练word2vec

本文讲解自然语言处理预训练的词嵌入（word2vec）的跳元语法模型，通过负采样在PTB数据集预训练。涵盖嵌入层定义、前向传播、二元交叉熵损失、模型训练及词向量应用（如余弦相似度找相似词），最终展示“chip”的相似词结果。

Francek Chen
2025-11-04 09:54:58

 1039

 71

#自然语言处理 #word2vec #人工智能 +2
Java 大视界 -- Java 大数据机器学习模型在自然语言处理中的对抗训练与鲁棒性提升

摘要：本文探讨Java大数据技术在NLP对抗训练与鲁棒性提升中的应用。针对对抗攻击导致模型性能下降的问题，提出基于Java生态的解决方案：1）利用Apache Flink实现文本数据的高效清洗；2）通过Deeplearning4j框架构建文本生成对抗网络(GAN)生成对抗样本。文章通过代码实例展示了Flink流式数据过滤和GAN模型构建方法，为后续智慧交通等场景的NLP应用奠定鲁棒性基础，体现了

 青云交
2025-11-03 23:29:23

 2309

 27

#机器学习 #自然语言处理 #集成学习
Decoder-Only架构下Decoder的学习

Decoder-Only架构下Decoder的学习

 缘友一世
2025-10-19 22:49:59

 1234

 19

#人工智能 #自然语言处理 #transformer
【大语言模型】—— 自注意力机制及其变体（交叉注意力、因果注意力、多头注意力）的代码实现

本文介绍了注意力机制的几种变体及其PyTorch代码实现。主要包括： Self-Attention：基础自注意力机制，通过Q、K、V计算注意力权重，适用于序列内部建模。 CrossAttention：让一个序列关注另一个序列，典型应用于Transformer解码器-编码器交互和多模态任务。 CausalAttention：通过三角掩码实现因果性，确保只能关注当前位置之前的token，适用于自回归生

 之墨_
2025-10-19 17:41:06

 1307

 17

#语言模型 #人工智能 #自然语言处理
Cohen‘s Kappa系数：衡量分类一致性的黄金标准及其在NLP中的应用

在分类任务（如医学诊断、机器学习模型评估、数据标注等）中，**两个评估者（或模型）的分类一致性**是衡量结果可靠性的关键指标。**Cohen's Kappa系数（κ）** 是一种经典的统计方法，用于评估分类一致性，同时**校正随机一致的影响**，比简单的“一致率”更可靠。

梦想画家
2025-10-09 09:48:07

 2794

 16

#分类 #自然语言处理 #数据挖掘
【自然语言处理】BERT模型

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，通过掩码语言模型（MLM）和下一句预测（NSP）任务实现深度双向语义理解。其核心创新在于双向上下文建模，突破了传统单向语言模型的局限。本文详细介绍了BERT的算法原理、实现步骤及训练流程，包括文本预处理、模型架构、训练策略和

 2401_84149564
2025-10-07 23:58:58

 2956

 43

#自然语言处理 #transformer #bert +4
人工智能通识与实践 - 自然语言处理

自然语言处理（Natural Language Processing, NLP）是研究如何让机器理解与生成自然语言的学科，核心目标是实现“人与计算机用自然语言有效通信”，属于人工智能中的“认知智能”范畴，被称为“人工智能皇冠上的明珠”。

般若Neo
2025-09-18 20:26:31

 1214

 11

#自然语言处理 #人工智能 #知识图谱
【自然语言处理】从0开始，构建用于语言翻译的 Transformer 模型（一）

训练好的分词器以 JSON 文件形式保存以便重用。训练时添加了三个特殊符号：[start]、[end] 和 [pad]，分别用于标记句子开始、结束以及对序列进行填充。通过 enable_padding() 配置，使用分词器处理字符串时会自动添加填充符号。在后续部分，我们将看到它们的使用方法。

秋说
2025-09-10 20:15:26

 2913

 15

#自然语言处理 #transformer #人工智能
卫生许可证识别技术：通过OCR与NLP实现高效合规管理，提升审核准确性与效率

在食品安全、公共卫生管理日益重要的今天，卫生许可证成为企业合规经营的关键凭证。传统人工审核方式效率低、易出错，而卫生许可证识别技术应运而生，正逐步革新监管与合规流程。下面深入解析这项技术的核心要素。

中科逸视
2025-08-19 21:47:55

 968

 16

#自然语言处理 #人工智能
NLP：Transformer模型构建

前言：前面讲解了Transformer的各个部分，本文讲解Transformer模型整体构建。

苏苏susuus
2025-08-16 23:04:22

 399

 9

#自然语言处理 #transformer #人工智能
LLM开发——基于Graph RAG知识图谱检索增强生成

Graph RAG：知识图谱增强的智能搜索新范式摘要：Graph RAG（检索增强生成）通过整合知识图谱和大型语言模型（LLM），为传统搜索技术带来革命性突破。相比基于向量检索的原始RAG方法，Graph RAG利用结构化知识图谱中的节点（实体）和边（关系），显著提升了搜索的上下文理解能力、推理深度和领域适应性。本文系统阐述了Graph RAG的技术原理，包括知识图谱构建、图嵌入表示、LLM集成

 知来者逆
2025-08-04 23:58:18

 1654

 21

#知识图谱 #人工智能 #自然语言处理 +1