autotokenizer

Crates.ioautotokenizer
lib.rsautotokenizer
version
sourcesrc
created_at2025-02-18 11:08:51.972823+00
updated_at2025-02-18 12:31:42.156242+00
description我就只是想要rust能有一個簡單的，從hg上拉下config並製作chat prompt的，也這麼難！要我發明輪子，天啊！
homepage
repository
max_upload_size
id1559795
Cargo.toml error:TOML parse error at line 17, column 1 | 17 | autolib = false | ^^^^^^^ unknown field `autolib`, expected one of `name`, `version`, `edition`, `authors`, `description`, `readme`, `license`, `repository`, `homepage`, `documentation`, `build`, `resolver`, `links`, `default-run`, `default_dash_run`, `rust-version`, `rust_dash_version`, `rust_version`, `license-file`, `license_dash_file`, `license_file`, `licenseFile`, `license_capital_file`, `forced-target`, `forced_dash_target`, `autobins`, `autotests`, `autoexamples`, `autobenches`, `publish`, `metadata`, `keywords`, `categories`, `exclude`, `include`
size0
kautism (darkautism)

documentation

README

AutoTokenizer

AutoTokenizer 是一個用於自動從 Hugging Face 下載 token 配置並生成 prompt 的 Rust 庫，靈感來自 Python 的 AutoTokenizer。

安裝

您可以通過在 Cargo.toml 文件中添加以下內容來安裝此庫：

[dependencies]
autotokenizer = "0.1.0"

使用範例

以下是一個簡單的範例，展示如何使用 AutoTokenizer：

use autotokenizer::{AutoTokenizer, DefaultPromptMessage};

fn main() -> Result<(), Box<dyn std::error::Error + Send + Sync>> {
    // 從 Hugging Face 預訓練模型加載 Tokenizer
    let a = AutoTokenizer::from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0".to_string(), None)?;

    // 定義對話上下文
    let ctx = vec![
        DefaultPromptMessage::new("system", "Hello"),
        DefaultPromptMessage::new("user", "Hello"),
        DefaultPromptMessage::new("assistant", "Hello"),
    ];

    // 應用對話模板並生成 prompt
    let chat = a.apply_chat_template(ctx, true)?;
    println!("This is chat: {}", chat);

    Ok(())
}

功能

  • 從 Hugging Face 下載 token 配置
  • 自動生成對話 prompt
  • 支援自訂對話角色和內容
Commit count: 0

cargo fmt