tokenizers

PyPI v0.23.1

48,689,869 weekly downloads · 1 依存数

最近公開

出典データ取得時点:

概要

インストール pip install tokenizers

レジストリの値

公式レジストリの値を、各値ごとに出典を明記してそのまま再掲しています。

週間DL数 48,689,869 出典: PyPI (Python Package Index)
リリース数 100 最終リリース: 2026-04-27 出典: PyPI (Python Package Index)
依存数 1 出典: PyPI (Python Package Index)

パッケージ詳細

パッケージ
tokenizers
レジストリ
PyPI
バージョン
0.23.1
週間DL数
48,689,869 (weekly)
依存数
1: huggingface-hub
リリース数
100
最終リリース
2026-04-27
初回公開
2019-11-01
キーワード
NLP, tokenizer, BPE, transformer, deep learning
リポジトリ
https://github.com/huggingface/tokenizers

「—」が表示される理由: 「—」は、そのパッケージについて出典レジストリが値を公開していないことを意味します。Quantetaは推測値を埋めません。欠損は空欄のままにしています。

派生指標(算出方法を公開)

以下のレジストリの値からQuantetaが算出した指数です。測定値ではなく派生指標です。算出式は「データと出典」ページに掲載しています。

Q-Vitality Quanteta 78.0 / 100 メンテナンス活発度の指数(リリース頻度+DL水準)。
Q-Trust Quanteta 8.5 / 100 普及・安定度の指数(コミュニティ規模+DL安定性+経過年数)。
Q-Risk Quanteta 43.2 / 100 依存表面の指数。高いほどリスク要因が多い。

データと出典