论文中常提到的tokens是什么意思
发布网友
发布时间：2022-04-25 20:05
共3个回答
热心网友
时间：2022-06-17 00:44
在语料库语言学中，会计算文本的tokens和types。tokens指的是“形符”，就是文本中出现的所有词的个数；types指的是“类符”，就是文本中出现的不重样的词的个数。
比如，有一个两句话的文本：I am a boy. I am a boy.
那么这个文本里面有8个tokens，有4个types。两个数值可以对所建立的语料库进行描述，也可以计算二者之比，来计算语料库文本的复杂程度等等吧。
这是语言学方面，尤其是语料库语言学经常出现的tokens的意思。更详细的可以看一些语料库语言学方面的文章。
热心网友
时间：2022-06-17 00:44
论文中常提到的tokens是象征的意思
热心网友
时间：2022-06-17 00:45
tokens
释义
n.
代币（token的复数）；
符号
