在許多NLP模型的tokenize方法中,return_tensors參數(shù)可以指定tokenize之后返回的張量類型,常見的可選值包括:

‘tf’: 返回TensorFlow的張量對(duì)象Tensor。
‘pt’: 返回PyTorch的張量對(duì)象torch.Tensor。
‘np’: 返回NumPy的ndarray對(duì)象。
None: 默認(rèn)值,返回一個(gè)數(shù)字列表(list)。
這個(gè)參數(shù)可以根據(jù)使用的后端框架不同,選擇返回不同的張量類型,以方便后續(xù)模型的輸入。

例如:

import tensorflow as tf 
from transformers import AutoTokenizertokenizer = AutoTokenizer.from_pretrained("bert-base-cased")# 返回TensorFlow張量
tokens = tokenizer("Hello world!", return_tensors='tf') 
print(type(tokens['input_ids'])) # <class 'tensorflow.python.framework.ops.Tensor'># 返回PyTorch張量
tokens = tokenizer("Hello world!", return_tensors='pt')
print(type(tokens['input_ids'])) # <class 'torch.Tensor'># 返回Numpy數(shù)組
tokens = tokenizer("Hello world!", return_tensors='np')
print(type(tokens['input_ids'])) # <class 'numpy.ndarray'># 返回列表
tokens = tokenizer("Hello world!") 
print(type(tokens['input_ids'])) # <class 'list'>

可以看到根據(jù)return_tensors不同,tokenizer返回的結(jié)果可以是TensorFlow/PyTorch/Numpy對(duì)象,或者默認(rèn)的列表。

這提供了很大的靈活性,允許Tokenizer輸出適應(yīng)不同的后端框架,并且可以優(yōu)化內(nèi)存和速度。

完結(jié)！