Instructions to use halilneed/turkish-pii-detection-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use halilneed/turkish-pii-detection-GGUF with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf halilneed/turkish-pii-detection-GGUF:BF16
# Run inference directly in the terminal:
llama cli -hf halilneed/turkish-pii-detection-GGUF:BF16

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf halilneed/turkish-pii-detection-GGUF:BF16
# Run inference directly in the terminal:
llama cli -hf halilneed/turkish-pii-detection-GGUF:BF16

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf halilneed/turkish-pii-detection-GGUF:BF16
# Run inference directly in the terminal:
./llama-cli -hf halilneed/turkish-pii-detection-GGUF:BF16

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf halilneed/turkish-pii-detection-GGUF:BF16
# Run inference directly in the terminal:
./build/bin/llama-cli -hf halilneed/turkish-pii-detection-GGUF:BF16

Use Docker

docker model run hf.co/halilneed/turkish-pii-detection-GGUF:BF16

Llama new
LM Studio
Jan

vLLM

How to use halilneed/turkish-pii-detection-GGUF with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "halilneed/turkish-pii-detection-GGUF"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "halilneed/turkish-pii-detection-GGUF",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/halilneed/turkish-pii-detection-GGUF:BF16

Ollama
How to use halilneed/turkish-pii-detection-GGUF with Ollama:
```
ollama run hf.co/halilneed/turkish-pii-detection-GGUF:BF16
```
Unsloth Desktop
Docker Model Runner
How to use halilneed/turkish-pii-detection-GGUF with Docker Model Runner:
```
docker model run hf.co/halilneed/turkish-pii-detection-GGUF:BF16
```

Lemonade

How to use halilneed/turkish-pii-detection-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull halilneed/turkish-pii-detection-GGUF:BF16

Run and chat with the model

lemonade run user.turkish-pii-detection-GGUF-BF16

List all available models

lemonade list

Atomic Chat

turkish-pii-detection-GGUF

What is this model? turkish-pii-detection-GGUF is the GGUF (BF16, Q8_0) build of halilneed/turkish-pii-detection for local PII masking of Turkish text with Ollama or llama.cpp on CPU, without Python or transformers.

EN: Turkish PII detection / KVKK data masking, offline — GGUF (BF16, Q8_0) build for Ollama and llama.cpp. TR: Türkçe kişisel veri tespiti / KVKK veri maskeleme, çevrimdışı — Ollama ve llama.cpp için GGUF (BF16, Q8_0) sürümü. Model page & setup help / Model sayfası ve kurulum desteği: halilneed.agency/models/turkish-pii-detection

halilneed/turkish-pii-detection v02'nin GGUF sürümü: Ollama ve llama.cpp ile yerelde, Python ve transformers olmadan çalışır. Türkçe metindeki kişisel verileri (ad, TCKN, IBAN, telefon, e-posta, adres ve 53 etiketin geri kalanı) metin bir LLM'e ya da log deposuna gitmeden önce etiketle değiştirir; maskeleme politikasını talimat olarak okur.

Files / Dosyalar: turkish-pii-detection-Q8_0.gguf 299.7 MB (299,748,544 bytes) · turkish-pii-detection-BF16.gguf 551.0 MB (551,038,144 bytes). Runs on CPU, no GPU needed (llama.cpp / Ollama) / GPU gerekmez, CPU'da çalışır. Try the browser demo / Tarayıcı demosunu deneyin (demo runs the base model's ONNX conversion, not these GGUF files / demo bu GGUF dosyalarını değil ana modelin ONNX dönüşümünü çalıştırır).

Dosya	Boyut	Benchmark (1.000 satır, tam eşleşme)	Ana modelle aynı çıktı
ana model, transformers BF16	536 MB	0.944	—
`turkish-pii-detection-BF16.gguf`	551 MB	0.943	%99,6
`turkish-pii-detection-Q8_0.gguf`	300 MB	0.944	%98,9

Ölçüm: cagrigungor/turkish-pii-masking-benchmark, satır düzeyi tam eşleşme (strip sonrası karakter karakter aynı), ana model kartındaki betikle aynı metrik. GGUF'lar Ollama 0.40.7 üzerinden, sıcaklık 0 ile koşuldu. Model tahminini yaptığı 1.000 satırın 996'sında (BF16) ve 989'unda (Q8_0) ana modelle birebir aynı çıktıyı verdi.

Q8_0'ın zayıf dilimleri ana modelle aynı: ek almış PII 0.803, BÜYÜK HARF 0.847. Tek fark, 20 satırlık çok kişili metin diliminde: 0.650, ana modelde 0.750 (iki satır). Çok kişili metinleri maskeliyorsan BF16'yı kullan.

Q4_K_M yok: modelin 268M parametresinin 168M'i embedding tablosunda ve Q8_0 zaten 300 MB. 4 bitlik sürümü küçük bir modelde kaybını ölçmeden yayınlamıyorum.

Ollama

ollama pull hf.co/halilneed/turkish-pii-detection-GGUF:Q8_0

Deterministik çıktı ve doğru durma için bu repodaki Modelfile ile kendi adını ver:

# Modelfile ve .gguf aynı klasörde
ollama create turkish-pii -f Modelfile
ollama run turkish-pii "Metindeki tüm kişisel verileri uygun etiketlerle maskele.

Metin: müşteri Ayşe Yılmaz tc 12345678950 tel 0532 111 22 33"
# -> müşteri [AD] tc [TCKN] tel [TEL]

İstek her zaman <talimat>, boş satır, Metin: <metin> biçimindedir. Talimat politikayı belirler: "Sadece telefon numaralarını maskele", "TCKN dışındaki her şeyi maskele" gibi. Politikalar ve 53 etiketlik şema ana model kartında.

Python'dan, Ollama'nın yerel API'siyle:

import json, urllib.request

def maskele(metin, talimat="Metindeki tüm kişisel verileri uygun etiketlerle maskele."):
    body = {"model": "turkish-pii", "prompt": f"{talimat}\n\nMetin: {metin}", "stream": False,
            "options": {"temperature": 0}}
    req = urllib.request.Request("http://127.0.0.1:11434/api/generate", json.dumps(body).encode(),
                                 {"Content-Type": "application/json"})
    return json.loads(urllib.request.urlopen(req).read())["response"].strip()

llama.cpp

llama-cli -hf halilneed/turkish-pii-detection-GGUF:Q8_0 --temp 0 -n 512

Dönüştürme

llama.cpp convert_hf_to_gguf.py (commit 1ab09d6), --outtype bf16 ve --outtype q8_0, ana modelin v02 ağırlığından (sha256 Hub'daki model.safetensors ile aynı).
Ana modelin tokenizer'ında embedding tablosunda karşılığı olmayan bir token var: Gemma 3'ün görsel tokenı <image_soft_token> (id 262144). Dönüştürücü bunu kabul etmediği için dönüştürme kopyasından çıkarıldı. Benchmark'ın 1.000 promptu ve 1.000 beklenen çıktısında tokenizasyon birebir aynı kaldı.
Ollama 0.40.7 safetensors içe aktarmada Gemma 3'ü desteklemiyor; bu yüzden GGUF.

Sınırlar

Ana modelin sınırları geçerli: sentetik veriyle değerlendirildi, üretimden önce kendi metninde ölç; bağlamsız kısa parçalarda temkinli; şema dışı etiket üretebilir, çıktıyı etiket listesine karşı doğrula. KVKK/GDPR uyumu kullananın sorumluluğundadır. Lisans: Gemma Terms of Use.

English

GGUF build of halilneed/turkish-pii-detection v02, a 270M model that masks Turkish personal data (names, national ID numbers, IBANs, phone numbers, emails, addresses; 53 labels) following a Turkish instruction. Runs locally with Ollama or llama.cpp. On the 1,000-row cagrigungor/turkish-pii-masking-benchmark, Q8_0 (300 MB) scores 0.944 row-level exact match, the same as the original model, and BF16 scores 0.943. The one difference is the 20-row multi-person slice, where Q8_0 scores 0.650 against 0.750. The prompt is <instruction>, a blank line, then Metin: <text>; use the Modelfile here for temperature 0 and the right stop token.

Model page with every result: halilneed.agency/models/turkish-pii-detection

Related models / İlgili modeller

halilneed/turkish-pii-detection — instruction-conditioned PII masking / talimatla kişisel veri maskeleme (270M)
halilneed/turkish-pii-detection-GGUF — GGUF (BF16, Q8_0) for Ollama & llama.cpp, CPU / çevrimdışı GGUF sürümü (this model / bu model)
halilneed/turkish-kvkk-classifier — KVKK / VERBİS personal-data category classifier / kişisel veri kategori sınıflandırıcı
halilneed/turkish-bseby-classifier — BSEBY banking data & secrecy classifier / bankacılık veri ve sır sınıflandırıcı
halilneed/turkish-prompt-injection-classifier — Turkish prompt injection detection / Türkçe prompt injection tespiti

All five in one collection / Hepsi tek koleksiyonda: Turkish Privacy & Safety Models

FAQ / Sık sorulan sorular

Which file should I use? / Hangi dosyayı kullanmalıyım? Q8_0 (300 MB) scores 0.944 row-level exact match on the 1,000-row benchmark, same as the original model; BF16 (551 MB) scores 0.943. On the 20-row multi-person slice Q8_0 scores 0.650 vs 0.750, so use BF16 for multi-person texts. / Çok kişili metinler için BF16 önerilir.

Is there a Q4_K_M build? / Q4_K_M sürümü var mı? No. 168M of the 268M parameters are in the embedding table and Q8_0 is already 300 MB; a 4-bit build is not published without measuring its loss. / Hayır, kaybı ölçülmeden yayınlanmıyor.

What is the prompt format? / İstek biçimi nedir? <instruction>, a blank line, then Metin: <text>. Use the Modelfile in this repo for temperature 0 and the right stop token. / Talimat maskeleme politikasını belirler.

Does it guarantee KVKK/GDPR compliance? / KVKK/GDPR uyumu sağlar mı? No. It was evaluated on synthetic data; measure on your own text, validate labels against the schema. Compliance is the user's responsibility. / Uyum kullananın sorumluluğundadır.