tokenizers

PyPI v0.22.2

32,483,598 weekly downloads · 1 依存数

出典データ取得時点:

概要

インストール pip install tokenizers

レジストリの値

公式レジストリの値を、各値ごとに出典を明記してそのまま再掲しています。

週間DL数 32,483,598 出典: PyPI (Python Package Index)
リリース数 97 最終リリース: 2026-01-05 出典: PyPI (Python Package Index)
依存数 1 出典: PyPI (Python Package Index)

パッケージ詳細

パッケージ
tokenizers
レジストリ
PyPI
バージョン
0.22.2
週間DL数
32,483,598 (weekly)
依存数
1: huggingface-hub
リリース数
97
最終リリース
2026-01-05
初回公開
2019-11-01
キーワード
NLP, tokenizer, BPE, transformer, deep learning
リポジトリ
https://github.com/huggingface/tokenizers

「—」が表示される理由: 「—」は、そのパッケージについて出典レジストリが値を公開していないことを意味します。Quantetaは推測値を埋めません。欠損は空欄のままにしています。

派生指標(算出方法を公開)

以下のレジストリの値からQuantetaが算出した指数です。測定値ではなく派生指標です。算出式は「データと出典」ページに掲載しています。

Q-Vitality Quanteta 44.3 / 100 メンテナンス活発度の指数(リリース頻度+DL水準)。
Q-Trust Quanteta 8.5 / 100 普及・安定度の指数(コミュニティ規模+DL安定性+経過年数)。
Q-Risk Quanteta 46.3 / 100 依存表面の指数。高いほどリスク要因が多い。

データと出典