tokenizeとは
tokenizeの検索結果 |
2件 検索結果一覧を見る |
|---|
tokenize の意味・使い方・読み方
-
tokenize
【他動】- 《コ》トークン化する◆文字列｛もじれつ｝などを分割｛ぶんかつ｝すること
- （人）をトークン・マイノリティーとして扱｛あつか｝う◆【参考】token minority
tokenizeを含む検索結果一覧
該当件数 : 2件
-
tokenizer
【名】- 《コ》トークナイザ◆関数｛かんすう｝などで、入力文字列｛にゅうりょく もじれつ｝をトークンに分解｛ぶんかい｝するもの。