Εισαγωγή

Φίλες και φίλοι του Vibecoding Greece, σήμερα θα μιλήσουμε για κάτι που αλλάζει τα πάντα: πώς μετατρέπουμε ένα «γενικό» AI μοντέλο σε έναν εξειδικευμένο ψηφιακό υπάλληλο που ξέρει τη δουλειά σας, μιλάει τη γλώσσα σας και δουλεύει με τα δεδομένα σας.

Ο οδηγός απευθύνεται σε δύο κοινότητες:

• Αρχάριους — business owners, marketers, non-technical — που θέλουν να καταλάβουν τη λογική.
• Προχωρημένους — developers, data scientists — που θέλουν να υλοποιήσουν τα πάντα μόνοι τους.

Τα 3 User Cases

User Case	Κλάδος	Πρόκληση
🎨 Sunny Design Ltd	Creative Studio	Το AI να μιλάει με το καλλιτεχνικό μας ύφος
🏨 George's Boutique Hotel	Τουρισμός	Το AI να απαντά σε ερωτήσεις πελατών 24/7
📦 Milano Logistica	Logistics	Το AI να βρίσκει ακριβείς κωδικούς παραγγελιών

Τα 2 Μοντέλα

• Gemma 3 (4B) — Το «ελαφρύ»: τρέχει τοπικά, γρήγορο, ιδανικό για RAG. Απαιτεί 6-8GB VRAM. Model ID: google/gemma-3-4b-it.
• Qwen3 (30B) — Το «βαρύ»: για complex reasoning, ανάλυση, παραγωγή synthetic data. Απαιτεί ~20GB VRAM με 4-bit quantization. Model ID: Qwen/Qwen3-30B-A3B.

Μέρος 1: Η Φιλοσοφία — Context vs Behavior

RAG = «Τι ξέρει το μοντέλο»

Το Retrieval-Augmented Generation (RAG) δίνει στο μοντέλο πρόσβαση στα δικά σας δεδομένα — PDFs, βάσεις δεδομένων, emails — χωρίς να το επανεκπαιδεύσουμε. Σκεφτείτε το σαν να δίνετε σε έναν νέο υπάλληλο ένα εγχειρίδιο πριν ξεκινήσει δουλειά.

LoRA = «Πώς μιλάει το μοντέλο»

Το Fine-Tuning — συγκεκριμένα το LoRA — αλλάζει το ύφος και τη συμπεριφορά του μοντέλου. Σκεφτείτε το σαν να εκπαιδεύετε έναν υπάλληλο να μιλάει με συγκεκριμένο τόνο: φιλικό, επαγγελματικό, καλλιτεχνικό.

Πότε χρειάζεσαι τι;

Ανάγκη	Λύση	Παράδειγμα
«Θέλω το AI να ξέρει τα προϊόντα μου»	RAG	George's Hotel: τιμές δωματίων, παροχές
«Θέλω το AI να μιλάει σαν εμένα»	LoRA	Sunny Design: καλλιτεχνικό ύφος
«Θέλω και τα δύο»	RAG + LoRA	Milano Logistica: δεδομένα + ύφος

Στάδιο 0 — Data Curation: Το Θεμέλιο

Βήμα 1: Data Collection — Τι Μαζεύουμε

Τύπος δεδομένων	Για RAG	Για Fine-Tuning	Παράδειγμα
PDFs / Word docs	✅	❌	Οδηγοί, contracts, FAQs
Emails / Slack	✅	✅	Επικοινωνία με πελάτες
Βάσεις δεδομένων (SQL)	✅	❌	Παραγγελίες, απογραφή
Διάλογοι (Q&A pairs)	❌	✅	Παραδείγματα σωστής απάντησης
Spreadsheets (CSV/Excel)	✅	❌	Τιμοκατάλογοι, πολιτικές

Βήμα 2: Data Cleaning

Τι αφαιρούμε: Headers/footers, disclaimers και legal boilerplate, κενές σελίδες, διπλότυπο περιεχόμενο.

Τι κρατάμε: Ουσιώδες περιεχόμενο, σαφείς τίτλους και δομή, αριθμητικά δεδομένα (τιμές, ημερομηνίες, κωδικοί).

Εργαλείο: Unstructured.io — αυτόματο parsing και cleaning για PDFs, Word, HTML, εικόνες.

Βήμα 3: Chunking — Πώς Κόβουμε τα Κείμενα

Το chunking χωρίζει τα κείμενα σε μικρά κομμάτια για το RAG. Είναι κρίσιμο και συχνά αγνοείται.

Μέθοδος	Πότε	Παράδειγμα
Fixed-size (512 tokens)	Γρήγορο setup	FAQ docs
Sentence-based	Φυσικό κείμενο	Hotel guide
Semantic (embeddings)	Πολύπλοκα έγγραφα	Legal contracts
Hierarchical	Δομημένα docs	Technical manuals

Βήμα 4: Dataset Construction για Fine-Tuning

Τα πιο διαδεδομένα formats:

• Alpaca — instruction / input / output. Για simple Q&A.
• ShareGPT (Προτιμώμενο για chatbots) — conversations με human → gpt turns.
• ChatML — messages με roles: system / user / assistant. Για OpenAI-compatible μοντέλα.

Πόσα δείγματα χρειάζεσαι;

Στόχος	Ελάχιστο	Ιδανικό
Αλλαγή τόνου/ύφους	50	200–500
Εξειδικευμένη γνώση domain	200	500–2000
Πλήρης custom behavior	500	2000+

Εργαλείο annotation: Argilla — web UI για annotation, review και διαχείριση datasets.

Στάδιο 1 — RAG Pipeline

Το RAG είναι η καρδιά ενός enterprise AI system. Επιτρέπει στο μοντέλο να απαντάει με βάση τα δικά σου δεδομένα, όχι τη γενική γνώση του.

Πώς Λειτουργεί

1. Indexing: Τα έγγραφά σου μετατρέπονται σε vectors και αποθηκεύονται σε Vector Database.
2. Retrieval: Η ερώτηση του χρήστη μετατρέπεται σε vector και συγκρίνεται με τα αποθηκευμένα.
3. Generation: Τα πιο σχετικά chunks στέλνονται στο LLM μαζί με την ερώτηση για να παραχθεί η απάντηση.

Hybrid Search: Vector + BM25

Ο Vector Search (semantic) βρίσκει έννοιες: «ποιο είναι το καλύτερο κρασί;» → «red wine recommendations». Ο BM25 (keyword) βρίσκει ακριβείς λέξεις: «κωδικός #12345». Ο συνδυασμός τους — Hybrid Search — δίνει μέγιστη ακρίβεια.

Πηγή: Elasticsearch Hybrid Search Guide

Re-ranking: Cross-Encoder

Αφού το RAG βρει τα top-20 σχετικά chunks, ένα Cross-Encoder τα ξαναβαθμολογεί για να κρατήσει τα top-5. Είναι κρίσιμο για technical queries όπως κωδικούς παραγγελιών.

Εργαλείο: SBERT Cross-Encoder

Εργαλεία RAG

🟢 AnythingLLM — Για Αρχάριους

• All-in-one desktop app (Windows/Mac/Linux)
• Drag & drop PDFs, ενσωματωμένο RAG + chat interface
• Υποστηρίζει τοπικά μοντέλα μέσω Ollama
• Ιδανικό για: George's Hotel — γρήγορο setup χωρίς κώδικα

🔵 LlamaIndex — Για Προχωρημένους

• Python framework για custom pipelines
• Υποστηρίζει SQL, graphs, multi-modal
• Ιδανικό για: Milano Logistica — σύνθετα queries, integration με databases

Τα 3 User Cases στο RAG

Στάδιο 1.5 — Synthetic Data Generation

Το 90% των επιχειρήσεων δεν έχουν έτοιμα datasets. Η λύση: χρησιμοποιείς ένα ισχυρότερο μοντέλο (Teacher = Qwen3 30B) για να παράγει δεδομένα για το μικρότερο (Student = Gemma 3 4B).

Μέθοδος 1: Document-to-QA (Για Γνώση Domain)

Παίρνεις τα έγγραφά σου και ζητάς από το Qwen3 30B να δημιουργήσει ρεαλιστικά ζεύγη Ερώτησης-Απάντησης. Ζήτα 5 ζεύγη ανά chunk, με ποικιλία στη διατύπωση (formal, informal, urgent). Η απάντηση πρέπει να προέρχεται αυστηρά από το κείμενο — όχι από γενική γνώση. Output: JSONL format.

Μέθοδος 2: Self-Instruct / Evol-Instruct (Για Ύφος)

Ξεκινάς με 5–10 χειροκίνητα παραδείγματα (seeds) και ζητάς επέκταση. Ιδανικό για τη Sunny Design: δίνεις 3 παραδείγματα creative director απαντήσεων και ζητάς 10 νέα με ακριβώς το ίδιο minimalist, confident ύφος.

Μέθοδος 3: Back-Translation & Paraphrasing (Για Ποικιλία)

Αν έχεις λίγα δείγματα, τα πολλαπλασιάζεις: κάθε ερώτηση ξαναγράφεται σε 5 διαφορετικές διατυπώσεις — formal/informal, σύντομη/αναλυτική, τεχνική/απλή.

Ποιοτικός Έλεγχος

• LLM-as-Judge: Χρησιμοποίησε ένα δεύτερο LLM για να βαθμολογήσει κάθε ζεύγος (1–5) για Ακρίβεια και Τόνο. Κράτα μόνο ό,τι παίρνει ≥4.
• MinHash Deduplication: Αφαίρεσε πανομοιότυπες ερωτήσεις χρησιμοποιώντας το datasketch library. Κατώφλι ομοιότητας: 70%.

Εργαλείο: distilabel — το κορυφαίο open-source framework για synthetic data pipelines.

Στάδιο 2 — PEFT / LoRA Fine-Tuning

Όταν θέλεις το μοντέλο να μιλάει με συγκεκριμένο ύφος, χρησιμοποιείς Parameter-Efficient Fine-Tuning (PEFT).

Οι Τύποι των Adapters

LoRA (Low-Rank Adaptation)

• Προσθέτει trainable matrices στα attention layers του μοντέλου.
• Τα original weights παραμένουν παγωμένα — δεν χάνεις τη γενική γνώση.
• 70–80% λιγότερο VRAM από full fine-tuning.
• Standard choice για τις περισσότερες περιπτώσεις.

QLoRA (Quantized LoRA) — Η πιο πρακτική επιλογή

• 4-bit quantization του base model + LoRA adapters σε full precision.
• Επιτρέπει fine-tuning 30B μοντέλων σε RTX 4090 (24GB VRAM).
• Μικρή (<5%) μείωση ποιότητας έναντι full LoRA.

DoRA, AdaLoRA, VeRA

• DoRA: Αποσυνθέτει βάρη σε magnitude + direction. Πιο σταθερό σε domain shifts.
• AdaLoRA: Δυναμικό rank ανά layer. Πιο αποδοτικό για domain-specific tasks.
• VeRA: 10x λιγότερες trainable παράμετροι. Ιδανικό για απλά tasks με περιορισμένη μνήμη.

Βασικοί Hyperparameters

Hyperparameter	Τι κάνει	Τιμή εκκίνησης
r (rank)	Χωρητικότητα adapter — μεγαλύτερο = πιο ισχυρό	16–64
lora_alpha	Scaling factor — συνήθως 2×r	32–128
lora_dropout	Regularization για αποφυγή overfitting	0.05–0.1
learning_rate	Βήμα εκμάθησης	2e-4
num_epochs	Πόσες φορές βλέπει το dataset	3–5

Frameworks Fine-Tuning

🟢 Unsloth — Ταχύτητα & Απλότητα (Αρχάριοι)

• 2–5x ταχύτερο training, 70% λιγότερο VRAM χάρη σε custom CUDA kernels.
• Single-GPU focused — ιδανικό για consumer hardware.
• Υποστηρίζει Gemma 3, Qwen3, Llama, Mistral.

🔵 Axolotl — Production & Multi-GPU (Προχωρημένοι)

• Multi-GPU & multi-node support με DeepSpeed/FSDP.
• YAML-driven configuration — reproducible πειράματα.
• Multimodal support (vision-language models).

🟡 LLaMA-Factory — Zero-Code & Web UI

• Web UI για όσους δεν θέλουν κώδικα.
• Χρησιμοποιεί Unsloth ως backend — αυτόματα γρήγορο.

Hardware Requirements

Μοντέλο	Method	VRAM	GPU
Gemma 3 4B	QLoRA (4-bit)	~6GB	RTX 3060 / 4060
Gemma 3 4B	LoRA (16-bit)	~12GB	RTX 3080 / 4070
Qwen3 30B	QLoRA (4-bit)	~20GB	RTX 4090
Qwen3 30B	LoRA (16-bit)	~60GB+	2× A100 / cloud

Στάδιο 3 — Full Fine-Tuning: Η Κόκκινη Γραμμή

Catastrophic Forgetting

Το μοντέλο ξεχνάει τις γενικές γνώσεις του και γίνεται υπερ-ειδικευμένο στο dataset σου. Αν εκπαιδεύσεις με δεδομένα logistics, μπορεί να ξεχάσει πώς να μιλάει Ελληνικά. Το LoRA δεν έχει αυτό το πρόβλημα γιατί τα original weights παραμένουν παγωμένα.

Πότε να Χρησιμοποιήσεις Full Fine-Tuning

• Εξειδικευμένες γλώσσες που το μοντέλο δεν γνωρίζει (αρχαία Ελληνικά, COBOL).
• Νέες αρχιτεκτονικές tasks που δεν εντάσσονται στο Q&A pattern.
• Τεράστιο dataset (100k+ δείγματα) και compute resources (πολλαπλά A100s).

Στάδιο 4 — Production Pipeline

⚡ vLLM — High-Throughput Inference

Ο ταχύτερος inference engine για LLMs. Χρησιμοποιεί PagedAttention για να εξυπηρετεί πολλαπλούς χρήστες ταυτόχρονα με ελάχιστο VRAM waste.

• vLLM Documentation
• How to Deploy vLLM — Modal
• Ultimate Guide to vLLM — Newline

🔀 LiteLLM — Unified API Proxy

Διαχείριση πολλαπλών μοντέλων και adapters μέσω ενός API — ακριβώς σαν OpenAI API. Ιδανικό για το George's Hotel: Adapter Α για Ελληνικά, Β για Αγγλικά, Γ για Γερμανικά — auto-routing ανά γλώσσα χρήστη.

• LiteLLM Documentation
• LiteLLM Proxy Setup Guide — TECHSY

📊 RAGAS — Evaluation

Μην μαντεύεις αν το RAG σου δουλεύει. Μέτρα το.

Metric	Τι μετράει	Τι σημαίνει χαμηλή τιμή
Faithfulness	Η απάντηση βασίζεται στο context;	Το μοντέλο «φαντάζεται» πληροφορίες
Answer Relevancy	Η απάντηση αφορά την ερώτηση;	Irrelevant ή off-topic απαντήσεις
Context Precision	Το retrieved context είναι σχετικό;	Χαμηλή ποιότητα retrieval
Context Recall	Βρέθηκε όλη η απαραίτητη πληροφορία;	Missing chunks — αναθεώρησε το chunking

• RAGAS Documentation
• RAGAS Evaluation Walkthrough — SurePrompts

Roadmap & Επόμενα Βήματα

Το Πλήρες Roadmap

Φάση	Τι κάνεις	Εργαλείο	Χρόνος
Α — Data Collection	Μάζεμα εγγράφων, exports, emails	Φάκελοι, Drive	1–2 μέρες
Β — Data Cleaning	Καθαρισμός PDFs, αφαίρεση θορύβου	Unstructured.io	1–2 μέρες
Γ — RAG Implementation	Setup vector store + hybrid search	AnythingLLM / LlamaIndex	3–5 μέρες
Δ — Synthetic Data	Παραγωγή Q&A pairs με teacher model	distilabel + Qwen3 30B	2–3 μέρες
Ε — Fine-Tuning	LoRA/QLoRA adapter training	Unsloth / Axolotl	1–2 μέρες
Ζ — Production	Deploy με vLLM + LiteLLM proxy	vLLM + LiteLLM	3–5 μέρες
Η — Evaluation	Μέτρηση RAGAS metrics + iteration	RAGAS	Συνεχές

Συνολικά: ~3–4 εβδομάδες για αρχάριους | ~1–2 εβδομάδες για developers.

🟢 Αν Είσαι Αρχάριος

1. Κατέβασε το AnythingLLM (δωρεάν, Windows/Mac/Linux).
2. Εγκατάστησε το Ollama και κατέβασε το Gemma 3: ollama pull gemma3:4b
3. Ανέβασε 3–5 PDFs της επιχείρησής σου στο AnythingLLM.
4. Δοκίμασε ερωτήσεις — δες αν οι απαντήσεις είναι ακριβείς.
5. Αν θέλεις custom ύφος, βρες έναν developer για το LoRA βήμα.

🔵 Αν Είσαι Προχωρημένος

1. Εβδομάδα 1: Data pipeline — Unstructured.io + LlamaIndex RAG + RAGAS baseline.
2. Εβδομάδα 2: Synthetic data με distilabel + Gemma 3 4B fine-tune με Unsloth.
3. Εβδομάδα 3: Production — vLLM + LiteLLM proxy + monitoring.
4. Εβδομάδα 4: Iteration — RAGAS evaluation + hyperparameter tuning.

Πλήρης Βιβλιογραφία

Μοντέλα & Documentation

• Gemma 3 4B — Hugging Face
• Google Gemma 3 Overview — Google AI
• Qwen3 30B — Hugging Face
• Open LLM Leaderboard — Hugging Face

Data Preparation

• Unstructured.io Documentation
• Argilla Guide to Dataset Curation
• Hugging Face Datasets Documentation
• Distilabel Documentation
• Distilabel GitHub
• Synthetic Data with Distilabel — ADaSci
• Synthetic Data Generation Tutorial — Google Colab

RAG

• What is RAG? — Databricks
• RAG Explained — SuperAnnotate
• Elasticsearch Hybrid Search Guide
• SBERT Cross-Encoder Documentation
• AnythingLLM Documentation
• Getting Started with AnythingLLM — Dev.to
• LlamaIndex Documentation
• LlamaIndex for Beginners 2025 — Medium

Fine-Tuning

• LoRA Explained — Docker
• LoRA and QLoRA Guide 2026 — Effloow
• LoRA Hyperparameters Guide — Unsloth
• QLoRA Fine-Tuning with Unsloth — Medium
• Fine-Tuning LLMs Using QLoRA — GeeksforGeeks
• In-depth Guide to LoRA and QLoRA — Mercity
• Unsloth — GitHub
• Unsloth Guide — LearnOpenCV
• Unsloth Studio Guide — DataCamp
• Axolotl Documentation
• Axolotl is All You Need — Medium
• How to Fine-Tune with Axolotl — RunPod
• LLaMA-Factory — GitHub
• Fine-Tune Qwen3 on Consumer Hardware — ZenVanRiel
• Fine-Tuning Qwen3 Step-by-Step — DataCamp

Production & Evaluation

• vLLM Documentation
• How to Deploy vLLM — Modal
• Ultimate Guide to vLLM — Newline
• LiteLLM Documentation
• LiteLLM Proxy Setup — TECHSY
• RAGAS Documentation
• RAGAS Evaluation Walkthrough — SurePrompts

Video Tutorials

• Introduction to RAG with LLMs — YouTube
• Discover LlamaIndex Video Series
• Synthetic Data Generation Tutorial — Google Colab

---