旧经新练:实习 & 项目篇

旧经新练:实习 & 项目篇

Ginkgo True love prevails.

刷面经不如啃自己的项目。别人的面经是别人的,只有自己做过的才能讲出颗粒度。


一、实习经历

1. 浪潮信息 - AI软件研发 - 日常实习生

时间:2024.09 - 2025.03 | 部门:AI&HPC 人工智能与高性能计算部

参与了 Yuan 3.0 多模态大模型预训练环节的多模态数据构建以及其他研发相关工作,简历上一句话,实际上拆了三个方向:

① 多模态数据增强(预训练数据的多样性)

核心问题:大模型吃的数据太”平”了–2D图片缺乏空间多样性。

+1 的思路:从视觉视角变化入手。

  • 透视变换、仿射变换、球形透视、鱼眼透视等”空间”变换方式
  • 让 2D 图产生”立体感”
  • 本质上是在提升训练数据的空间多样性,让模型对视角变化更鲁棒

② 高质量数据构建(蒸馏 SOTA 模型数据)

用强模型生成更好的、更高质量的训练数据。

通过 VQA 的具体操作:

1
图片 → Qwen-2.5-VL-72B-Instruct → 生成5个与图片强相关的问题 → 逐个回答 → 得到微调数据

场景包括:图表问答、时间推理、比赛/生活等多种场景。核心是让模型自己出题自己答,数据质量比人工标注还稳定。

③ 模型评测

在 AIME 2025 上评测 DeepSeek / Qwen / Yuan 2.0 的数学能力。

④ EPAI 平台 datatool 部分功能开发

EPAI 是浪潮开发的、对外的大模型应用开发平台,其中 datatool 是为了支持模型训练数据的格式转化而开发的核心数据处理工具
例如,为了给 VLM 准备训练数据,搞了个 epub(电子书)转 PDF 的解析工具,支持多格式文档的结构化处理。

⑤ llama.cpp 量化研究

部门刚接触模型量化,我负责:

  • 完整跑通 llama.cpp 量化流程
  • 把 Yuan 2.0 量化成 gguf 格式
  • 对比推理速度 vs 精度损失

2. 中烟创新 - AI软件研发 - 日常实习生

时间:2025.11 - 2026.03 | 部门:算法岗

核心项目:智能案卷审查-算法后端

从 PDF/案卷到结构化数据 + 审查结果,整个算法端 pipeline 都是我搭的。

全链路流程:

1
2
3
4
5
6
7
8
9
10
11
12
PDF / Word 输入
↓ 图片预处理(二值化、去印章、方向识别) ← 基于方向识别与去印章基于 PaddleOCR 子模块,去印章先检测印章区域,再通过传统 cv 算法去除
↓ MinerU 结构识别(v2.5)
↓ LLM 标题重写 → 按标题分割子文书
↓ DeepSeek-OCR2 子文书内容 OCR 重识别 ← 实测质量最高
↓ 表格识别(阿里读光表格线识别 + PaddleOCR 进一步解析)
↓ 文本解析(段落/句分割)
↓ LLM 实体抽取(键值对)
↓ 前端展示(提取文本值 → 定位原文位置 → 匹配 OCR 结果 → 得到用于前端展示的 bbox 定位)
↓ 规则引擎审查(输入:规则+关联实体值,动态批处理)
↓ SSE 实时推送返回结果
(注:LLM 经过 Qwen2.5-Instruction-7b → Qwen2.5-Instruction-14b → Qwen3-14b 的迭代

我负责的:

  • FastAPI 搭整个算法后端
  • 整体 pipeline 流程设计
  • 模型调研、选型、评估
  • 规则引擎设计(V2 规划做成 Agent,用 Tool/Function Call 能力更进一步处理时间/数字计算的问题)
  • OAuth2 认证 + SSE 实时推送

⚠️ 硬约束: 这是 TO C 产品,用户要求只有 2 张 4090,且必须内网离线部署。资源受限下的工程取舍是这项目的核心挑战。

准确率怎么验证?验证方式:

  • 构造测试样本,对比字段级 OCR accuracy + 规则命中率
  • 人工抽样 + GPT等先进模型辅助辅助,验证系统输出的正确性

附带项目:薪资表格智能比对

  • 基于 PaddleX 表格识别模型做参数调优
  • PDF 薪资数据提取 → 与 Excel 标准数据自动比对
  • 处理逻辑与上述表格识别相似,属于上述项目的前置项目

面试小问题准备:SSE 与 WebSocket 的区别

  • SSE:服务器 → 客户端单向,基于 HTTP,自动重连,适合消息推送
  • WebSocket:全双工,适合实时交互(聊天、协同编辑)
  • 这个场景只是后端推进度,SSE 够用且简单

面试小问题准备:OAuth2 认证是什么?为什么要实现?

  • OAuth 2.0:是一种授权协议,允许第三方应用在不获取用户密码的情况下,安全地访问用户在其他平台上的资源。
  • 因为这个系统是前端/客户端-Java业务服务端-算法服务端架构,业务与算法通信通过 Access Token 控制接口访问权限,提升系统安全性。

二、科研经历

1. Future_Requirement_Issue_Localization(华为合作科研性项目)

目标: 给定代码仓库 + issue 描述 + 修复 patch,做函数级定位–找出 issue 应该在哪些文件、类、函数上修改。

项目全链路: SOTA 调研 → Benchmark 构建(FRL_Bench)→ SOTA 复现 → 基准测评 → 方法提出。前期编写了多个转换脚本,将 SWE-Rank、LocAgent 等 baseline 的输出统一为标准格式,支持从 patch diff 自动提取 edit_files / edit_functions。

我的核心产出:CodeGraphBuilder

从 LocAgent 项目中抽离的独立代码知识图谱构建模块,核心架构:

① 代码知识图谱构建

对仓库全量 .py 文件做 AST 解析,提取类/函数/方法及其层级关系,进一步提取 import、继承、调用关系,构建包含 directory/file/class/function 四种节点和 CONTAINS/IMPORTS/INHERITS/INVOKES 四种边的有向异构图。基于 NetworkX MultiDiGraph 存储,支持 Pickle 持久化和 Neo4j 后端。

技术难点: Python 语法边界 case 处理–constants.False(变量名与关键字冲突)、except Exception, e:(Python 2 旧语法)、\ufeff BOM 头字符等,直接调用 ast.parse 会失败,需先通过正则清洗再解析。

将图谱索引到 Milvus Lite,构建 4 个专用向量索引(Node Name / Code Snippet / File Chunk / Folder Summary),支持语义搜索。代码分块按 Python 语法结构智能切分,而非固定字符数硬切。

② 历史信息增强(PR co-change 分析)

核心思想:如果两个文件/函数经常在同一 PR 中被修改,它们很可能存在隐式依赖–即使 AST 分析无法直接看出关联。

通过 GitHub API 拉取 issue 创建前的已合并 PR,对 PR 同时构建 BM25 和向量索引,采用 RRF 融合排序筛选 top-K 相关 PR。在此基础上统计 co-change 关系,不仅支持文件级别,还深入到类/函数级别(符号级 co-change),为 AST 分析无法覆盖的文件提供可解释的补充线索。

技术难点: GitHub API 限流处理(token + 缓存机制);PR 数量大时先用 hybrid search(BM25 + embedding)根据 issue 描述筛选,而非全量处理。commit vs PR 的取舍:commit 粒度太细(一个 PR 可能包含 10 个 commit,每个只改 1-2 行),co-change 信号太弱;PR 级别聚合了完整的修改上下文(多个 commit + issue 描述 + labels),信息量大得多。

③ Agent 化实验 & ④ 评估

用 LLM Agent 自动完成 issue 定位和修复:克隆仓库 → 建图 + 历史索引 → 渲染 prompt(issue 描述 + 检索结果)→ 调用 LLM CLI(Codex / Claude Code / Gemini)→ 输出 git diff。统一封装多 Provider,通过 config.toml 切换后端;每个 instance 独立运行目录,支持 ThreadPoolExecutor 并发执行。

评估从 git diff 自动提取 edit_files / edit_classes / edit_functions,与 ground truth 对比,计算 Location Accuracy、Patch Accuracy、Location Set Metrics(精确率/召回率)。

🌟 项目亮点

  1. 图 + 检索双通道融合: 知识图谱的结构推理(”这个函数被谁调用”)与向量检索的语义理解(”找处理认证相关的代码”)互补
  2. 历史 co-change 定位增强: 为 AST 分析遗漏的文件提供可解释的补充线索
  3. 独立可复用包: 支持 Pluggable Storage(Pickle / Neo4j)、Batch Processing、多种 Embedding 后端
  4. 端到端 pipeline: 数据加载 → 仓库克隆 → 建图 → 检索 → Agent 执行 → 结果评估

面试问答预演

问题 回答要点
为什么只支持 Python? Python AST 是最成熟的,其他语言没有同等质量的内置解析器。支持 JS/Go 需引入 tree-sitter,工程量大
AST 解析遇到的坑? 变量名与关键字冲突、Python 2 旧语法、BOM 头等边界 case,直接 ast.parse 会失败,需先正则清洗
commit vs PR 为什么选 PR? Commit 粒度太细,co-change 信号弱;PR 聚合了完整修改上下文,信息量大。代价是 API 限流,需 token + 缓存
知识图谱 vs 向量检索? 图谱擅长结构推理(调用链、继承关系),向量检索擅长语义理解。两者互补
未来演进方向? 短期:tree-sitter 支持多语言;中期:co-change 在线增量更新;长期:Agent 自动生成修复方案

2. 多模态神经机器翻译综述

EMNLP 2025 Main Conference | 2024.03 - 2024.11 | 与 Zhenyu Hou 共同主导

研究目标: 多模态机器翻译(MNMT)想用图像辅助文本翻译,但现有方法效果不稳定——有时候加了图反而翻得更差。做系统性综述,搞清楚问题在哪、未来往哪走。

我做的:

① 技术路线全景梳理

将 MNMT 方法按应用视角分为五大类:

  • 消歧导向方法: 跨模态门控 / 跨模态注意力 / 跨模态预训练 / 多任务学习
  • 视觉均衡方法: 单视图融合 / 文本引导生成(无图时幻觉出相关视觉特征)
  • 视觉枢纽方法: 用图像作语言无关桥梁,支撑无监督/低资源翻译
  • 大模型方法: 把视觉特征转成 LLM 可理解的 token 格式
  • 测试阶段解耦方法: 视觉幻觉(训练时学,推理时不依赖图)/ 自适应图像检索

② 数据集分类体系 & 核心挑战

类别 代表数据集 特点
通用域 Multi30K, Flickr30K, MS COCO 日常场景描述,句子简短
领域特定 Fashion-MMT, EMMT, OCRMT30K 电商/时尚领域,含专业术语和歧义表达
多域 WIT, Conceptual Captions, BLATID 跨场景、多语言、大规模

数据集四大硬伤:长尾现象严重、低资源多模态数据稀缺、缺乏对抗样本(换张噪声图模型就崩)、图文语义共现不足(图里大量背景信息是纯噪声)。

七大核心挑战中最关键是语义偏移——图像是双刃剑,对齐时提升翻译,噪声时导致严重错译(如把 “tank” 背心翻成 “坦克”)。此外还有视觉不平衡、计算成本、模型可解释性、LLM/MLLM 适配等问题。

③ 评估方法与核心结论

梳理了翻译质量评估(BLEU / METEOR / COMET 等)、视觉贡献评估(跨模态门控分析 / 对抗评估)、融合效果评估三大类方法。当前缺乏统一评估框架,不同论文用不同数据集+指标,模型间很难直接对比。

核心结论: 视觉信息不是始终有用。它在文本有歧义时才有明显价值(消歧),其他时候模型更依赖文本,视觉反而可能成为噪声甚至导致语义偏移。

这篇综述直接促成了本科毕设:基于提示微调与迁移学习的多模态神经机器翻译系统。

面试追问预演

问题 回答要点
为什么视觉信息有时候没用? 很多句子本身信息完整,模型自然更依赖文本;噪声图反而会带偏翻译(语义偏移)
怎么解决语义偏移? 更强的跨模态对齐(细粒度 cross-attention)、引入对齐监督信号、设计门控机制让模型学会”什么时候该看图”
LLM/MLLM 表现如何? GPT-4 在通用域能和 SOTA 打平,领域场景照样翻车;MLLM 引入视觉后性能反而下降,核心问题是细粒度图文对齐能力不足
数据集最大问题? 太”简单”——句子短、场景日常、几乎全是图文对齐的”好样本”,缺少对抗样本

三、项目经历

1. 基于 Neo4j 知识图谱的烟机 KBQA 系统

时间:2023.03 - 2024.02 | 合作:浙江大学软件学院

背景: 烟叶配方平控、烟机日常检修需要行业专属问答系统。用户(操作工/维修工)用自然语言提问,系统从知识图谱中检索答案。端到端 KBQA。

整体架构:

1
2
离线:行业文档/维修手册/配方数据 → 关系抽取 → 实体归一化 → Neo4j 建图
在线:用户提问 → NER → 模板匹配(语义相似度) → Cypher 查询 → 返回答案

我做的:

离线阶段 - 知识图谱构建

  • 关系抽取(CasRel): 从非结构化文本中抽取 (主体, 关系, 客体) 三元组。BIO 标注体系,部分人工标注 + CasRel 自动抽取
  • 实体归一化: 对别名/变体做字符串相似度匹配(编辑距离 + 语义相似度),用并查集维护等价类,合并冗余节点(如 "PROTOS70" 和 "Protos 70" → PROTOS 70)
  • Neo4j 建图: 三元组导入 Neo4j,最终规模数千个设备/部件节点,上万条关系边

在线阶段 - 问答流程

以 "PROTOS M5 的检修周期是多少?" 为例:

  1. NER(BERT + BiLSTM + CRF): 用垂直领域数据微调,从问题中识别设备名、部件名等实体
  2. 模板匹配: 将问题实体替换为占位符 → 句子向量化(sentence-transformer)→ 计算与模板库的语义相似度 → 选最高分模板填入槽位。比纯规则泛化更强(能处理”检修周期是多久”和”多久检修一次”的同义表达)
  3. Cypher 生成 + 查询: 模板实例化为 Cypher 查询语句 → 执行 Neo4j 查询 → 返回答案

夏令营面试被问过的问题:

  • 为什么用模板匹配而不是 LLM? 模板匹配更稳定、轻量、可控–生产系统(操作工查检修周期)首要目标是”不出错”,2023 年初 LLM 还达不到这个可靠性。
  • 为什么两部分模型不一样? CasRel 是从句子中”抽已有事实”建知识库;在线 NER 是从用户问题中”抽实体”去 KG 查答案,两者目标不同。

面试追问预演

问题 回答要点
CasRel 是什么?为什么选它? 级联标注框架,把关系抽取转成两个序列标注任务(先标主体,再标客体),解决联合抽取中主体-客体配对组合爆炸的问题
并查集在知识图谱里怎么用? 实体归一化时,发现两个实体名指向同一事物就 union,最终每个等价类选一个代表名,图谱更干净
用户问了模板库里没有的问题? 模板匹配有置信度阈值,低于阈值回复”暂时无法回答”。这是模板系统的天然局限,后续可用 LLM 做意图理解+模板生成
和现在 LLM 做 KBQA 比,优劣? 优势:稳定、可解释、延迟低、不需要 GPU。劣势:模板覆盖有限。2025+ 用 LLM + Function Calling 转 Cypher 是更好方案,但 2023 年初 LLM 还没到能稳定做这件事的阶段

2. 基于 AIGC 与私有 RAG 知识库的智能出行助手

2023.11 - 2024.04 | 软件创新大赛参赛项目

一句话: 旅游垂直领域的 RAG 问答 + AIGC 交互,实现旅程规划、景点推荐、行程总结的智能化与个性化。

我做的:

  • 搭建 RAG pipeline(LangChain + ChatGLM2-6B),实现旅游场景的问答与行程生成
  • 爬取携程笔记、小红书旅游笔记等数据,构建私有知识库(按目的地/主题分类索引)
  • Prompt 工程调优,优化旅程规划、景点推荐、行程总结的输出质量
  • 探索 AIGC 在旅行场景的落地应用

核心功能:

  • 旅程规划: 根据用户偏好(时间/预算/兴趣)生成个性化行程
  • 景点推荐: 基于 RAG 检索相似旅行笔记,结合用户画像做推荐
  • 行程总结: 旅行结束后自动生成结构化总结

进行中:多模态旅游导游

  • 结合旅途中的照片 + 简单初稿笔记 → 利用 AIGC 生成排版完善、可直接发布的旅行笔记(社区功能)
  • 多模态交互:支持图文混合输入,理解照片中的场景信息辅助推荐

可以升级的方向: 套 Agent 框架,接入天气查询、交通查询等 tools,从搜索工具升级为真正的”出行助理”。


四、我的 AI Coding 实践

双 AI 助手模式

1
2
3
需求 → Claude Code(编码主力)→ 读写文件 → 运行测试 → 迭代
↗
Openclaw(分析/文档/自动化/查资料)
  • Claude Code:主攻编码,任务级委托(”帮我实现 X 功能”),不是行级补全
  • Openclaw:文档、数据分析、格式化、网络搜索–不需要直接碰代码的活
  • 项目结束阶段:AI 做代码审查

沉淀积累

  • 可复用的 prompt 模板
  • 包装成自己的 skill

待补的坑

Multi-Agent 编排(Claude Code 背后可能包装了,但我还没真正用起来)。

研究流程 AI 化(中长期规划)

1
跑实验 → 看结果 → 分析 → 读论文 → 改进 → 再跑实验

这段流程里很多环节可以用 AI 加速,但目前还在探索怎么改。


附录:面试语录

“你可以项目没有那么大,也可以论文还没发,但你要能把自己做过的讲清楚。”

“面试官想看你是不是’能把东西做出来并且知道怎么验证’的人。”

“写简历上的项目,都得准备到输入是什么、输出是什么、流程是什么、验证怎么做、你自己到底改了什么。”


以上均为个人真实经历。每个项目均能讲清楚”输入-输出-流程-验证-个人贡献”。准备充分,面试不慌

  • Title: 旧经新练:实习 & 项目篇
  • Author: Ginkgo
  • Created at : 2026-04-24 21:32:20
  • Updated at : 2026-04-26 21:32:33
  • Link: https://g1nkgo7.github.io/2026/04/24/旧经新练-项目篇/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments