JSSST 2026:从单模型实验走向多模型 NPC 比较
2026 年 9 月,我参加了日本软件科学会第 43 回大会,在函馆的公立函馆未来大学发表了第二阶段的 NPC 研究。大会正式会期是 9 月 8 日至 10 日,9 月 7 日另有相关活动。大会官网
这次研究继续和小林篤史老师合作,从第一次的单模型基础实验,推进到 DeepSeek、Gemini、Claude 的比较。
两种发表形式
官方日程列出了这项研究的口头发表和海报发表:9 月 9 日的海报场次编号为 4-P,9 月 10 日「生成 AI・知识处理」口头场次编号为 7a-1-R。官方日程
论文题目是:
TIPI-Jに基づく大規模言語モデルを用いたゲームNPC人格対話生成に関する研究
可以译为《基于 TIPI-J 的大语言模型游戏 NPC 人格对话生成研究》。论文与海报分别整理了背景、人格设置、实验条件和比较结果。官方论文
第二次研究增加了什么
第一次研究的酒馆对话,让我开始观察性格如何进入生成的互动。第二次把问题进一步集中到:同一套人格信息与场景,交给不同模型,表现会有什么区别?
研究使用 TIPI-J 所对应的 Big Five 维度组织人格设置,将人格信息转换成自然语言提示,并统一对话场景、提示词形式和评价方法。
角色仍然是 Aki、Mika、Yui、Rina 和 Kana。场景则改为地震发生后的避难情况,让它们讨论安全确认、避难路线、伤员处理与后续行动。
每个模型分别进行一百回实验,总计三百回。它们属于第二次研究,不是第一次一百回实验简单换一个标题。
怎样评价人格一致
论文以各 NPC 的十五次发言作为检查范围。至少八次被判断与设定人格一致,才达到成功条件;如果首次发言已经与设定明显矛盾,也会判为不一致。
每个模型先分别统计五名角色的成功回数,再计算角色一致率与五名角色的平均值,报告时取整。
这一方法让比较有了明确的统计口径,同时也留下需要继续改进的问题:人格一致如何判断,评价是否稳定,以及不同角色的特点是否同样容易在文本中观察。
官方论文报告的结果
模型 | 人格一致率 |
DeepSeek | 81% |
Gemini | 86% |
Claude | 89% |
在这次实验条件下,Claude 的一致率最高,Gemini 次之,DeepSeek 再次之。论文还报告,Rina 与 Mika 的一致率相对其他角色更低,角色特征的表达方式同样值得关注。
这些结果说明的是这组实验,而不是所有版本、所有场景中的模型排名。更换话题、提示词、评价方式或具体模型版本,都需要重新验证。
第一次的 77% 与这次的结果也不能直接当成能力提升幅度:两次研究的场景、设置和评估条件发生了变化。
这次发表让我更关注比较的条件
从一个模型扩展到三个模型,功能上是增加调用入口;研究上则需要更认真地固定比较条件。
同样的角色名称并不保证使用了同样的设定,同样的轮数也不保证统计的是同一种样本。论文、海报和实验材料,需要把这些条件讲清楚。
我希望后续继续保留模型版本、提示词与评价记录,让读者可以理解数字从哪里来。静态人格之外,记忆、情绪和关系变化也是值得探索的方向,但它们仍然属于后续研究。
同一个问题,两次推进
三月的研究让我把 NPC 人格对话整理成一个可以检查的基础实验,九月的研究则把它推进到多模型比较。
我想继续沿着这个方向做下去:从生成一段看起来像角色的文本,到理解角色在不同情境与长期互动中怎样保持自己的特点。
大会论文收录情况可在官方论文集查看。这次记录的是大会发表与讲演论文,不将其描述为期刊发表。