AIOCR

🎯 Vue d'ensemble

AIOCR est une application complète d'extraction et de gestion de factures utilisant l'intelligence artificielle. Elle permet d'extraire automatiquement les données structurées des factures PDF et images, de les stocker dans une base de données, de les rechercher sémantiquement, et de gérer un agenda des échéances de paiement.

Fonctionnalités principales :

• 📄 Extraction automatique de données depuis PDF et images
• 💾 Stockage dans base de données SQLite
• 🔍 Recherche sémantique via Qdrant
• 💬 Chat intelligent avec les factures
• 📅 Agenda des échéances avec conversion en CHF
• 👁️ Visionneuse de factures avec édition des métadonnées
• 📊 Statistiques détaillées des coûts API (persistantes en base)
• ⚙️ Gestion complète des services (Qdrant, MinIO, serveur web)
• 🔐 Système d'authentification avec gestion des utilisateurs
• 📋 Liste des dernières factures importées avec pagination
• 📈 Indicateur de progression en temps réel (x/y) pour le traitement OCR
• 🌐 Choix du provider LLM (OpenAI/Infomaniak) dans le header
• ⚙️ Interface de configuration organisée en 5 onglets

🔄 Processus d'extraction complet

🏠 Page d'accueil

La page d'accueil permet d'importer des factures et affiche les dernières factures importées :

• Upload de fichiers : Sélection multiple de PDF ou images pour traitement
• Indicateur de progression : Affichage en temps réel du traitement (x/y fichiers traités)
• Liste des dernières factures : Affichage des 10 dernières factures importées en bas de page avec pagination (boutons précédent/suivant)
• Cartes interactives : Chaque facture est affichée dans une carte cliquable pour ouvrir la visionneuse
• Nettoyage automatique : Le répertoire temporaire est vidé automatiquement après traitement

📅 Page Agenda

L'agenda permet de visualiser les factures à payer par date d'échéance :

• Vue annuelle : Affiche le total des montants par mois et par année, convertis en CHF. Cliquez sur un mois pour accéder directement à la vue mensuelle.
• Vue mensuelle : Affiche un calendrier avec le total des montants par jour, plus une liste complète de toutes les factures du mois en bas avec des cartes interactives
• Navigation intuitive : Boutons ◀◀/▶▶ pour naviguer entre les années, boutons ◀/▶ pour naviguer entre les mois
• Liste des factures : En vue mensuelle, toutes les factures du mois sont affichées en bas sous forme de cartes cliquables avec toutes les informations (fournisseur, numéro, montant, dates)
• Détails du jour : Cliquez sur un jour du calendrier pour faire défiler vers les factures de ce jour (mise en surbrillance automatique)
• Conversion automatique : Tous les montants sont convertis en CHF au taux de change du jour d'importation (stocké en base)
• Protection des montants : Les montants ne sont pas détectés comme des liens téléphone par les navigateurs
• Liens vers les factures : Chaque carte de facture est cliquable pour ouvrir la visionneuse

👁️ Visionneuse de factures

La visionneuse permet de consulter et modifier les factures :

• Affichage du document : PDF ou image affiché dans la colonne de gauche
• Zoom pour images : Boutons zoom in/out, reset, et molette de souris pour les images (largeur par défaut)
• Édition des métadonnées : Formulaire éditable dans la colonne de droite
• Sauvegarde : Bouton "Enregistrer" pour mettre à jour la base de données
• Pré-remplissage automatique : Les métadonnées sont automatiquement chargées depuis la base de données

💬 Fonctionnalité Chat

Le chat permet d'interroger les factures stockées en utilisant la recherche vectorielle :

1. Question utilisateur → Encodée en embedding
2. Recherche dans Qdrant → Trouve les 3 factures les plus similaires
3. Contexte au LLM → Les factures pertinentes sont envoyées au LLM avec un prompt personnalisable
4. Réponse intelligente → Le LLM répond en se basant sur les factures trouvées
5. Rendu Markdown → Les réponses sont formatées en Markdown pour une meilleure lisibilité

⚙️ Configuration

La page Configuration est organisée en 5 onglets pour une navigation claire :

1. 📊 Statut des services : Affiche le statut en temps réel de Qdrant, MinIO et du serveur web avec possibilité de redémarrage individuel
2. 👥 Gestion utilisateurs : Création, modification et suppression des utilisateurs (admin uniquement)
3. 🤖 Configuration LLM : Paramètres de l'API (provider, clé API, modèle, température, timeout)
4. 📝 Prompts : Personnalisation des prompts OCR, Texte brut et Chat
5. ⚠️ Zone de réinitialisation : Réinitialisation sélective des bases de données et du stockage

👥 Gestion des utilisateurs

Le système d'authentification permet de gérer les accès :

• Rôles : Admin (accès complet) et User (accès standard, pas d'accès à la config)
• Authentification obligatoire : Toutes les pages sauf la page marketing nécessitent une connexion
• Se souvenir de moi : Option pour sauvegarder les identifiants dans le navigateur
• Gestion des utilisateurs : Les admins peuvent créer, modifier et supprimer des utilisateurs
• Utilisateur par défaut : Un compte admin (admin/admin) est créé automatiquement au premier démarrage

🔑 Paramètres API

• Provider : OpenAI ou Infomaniak (choix disponible dans le header pour tous les utilisateurs connectés)
• Clé API : Token d'authentification
• URL de base : Endpoint de l'API
• Modèle : gpt-4o, qwen3, mistral3, etc.
• Temperature : Contrôle la créativité (0-2, recommandé: 0)
• Timeout : Délai d'attente en millisecondes (défaut: 60000)

Note : Le choix du provider peut être modifié directement depuis le header par tous les utilisateurs connectés, sans accéder à la page de configuration.

📝 Prompts personnalisés

Vous pouvez personnaliser les prompts utilisés par le LLM :

• Prompt OCR (Images/PDF) : Utilisé pour l'extraction depuis les images et PDFs
• Prompt Texte brut : Utilisé pour l'extraction depuis les fichiers texte
• Prompt Chat : Utilisé pour les réponses du chat

Chaque prompt peut être restauré aux valeurs par défaut avec le bouton "Restaurer le prompt par défaut".

📊 Statut des services

Indicateurs en temps réel du statut de chaque service :

• 🟢 Vert : Service démarré et fonctionnel
• 🟠 Orange : Service en cours de redémarrage
• 🔴 Rouge : Service arrêté

Chaque carte de service dispose d'un bouton "Redémarrer" pour redémarrer individuellement Qdrant, MinIO ou le serveur web.

🗑️ Réinitialisation

Boutons pour réinitialiser les données :

🗄️ Bases de données

• Réinitialiser DB Factures : Supprime toutes les factures de la base de données SQLite (table invoices)
• Réinitialiser DB Statistiques : Supprime toutes les statistiques API de la base de données SQLite (table api_stats)

💾 Stockage

• Réinitialiser Qdrant : Supprime tous les points de la collection (avec confirmation)
• Réinitialiser MinIO : Supprime tous les fichiers du bucket (avec confirmation)
• Réinitialiser Tout : Supprime toutes les données de stockage (double confirmation requise)

⚠️ Toutes les actions de réinitialisation sont irréversibles et demandent une confirmation.

📊 Statistiques

La page Statistiques affiche des informations détaillées sur l'utilisation de l'API :

📅 Périodes disponibles

• Aujourd'hui : Statistiques du jour en cours
• Cette semaine : Statistiques des 7 derniers jours
• Ce mois : Statistiques du mois en cours
• Période personnalisée : Sélectionnez une date de début et une date de fin
• Tout : Toutes les statistiques depuis le début

📈 Données affichées

• Coût total : Coûts d'utilisation de l'API (USD), stocké en base de données et persistant après redémarrage
• Appels API : Nombre total de requêtes
• Tokens entrants : Total des tokens d'entrée
• Tokens sortants : Total des tokens de sortie
• Nombre de factures : Total des factures stockées dans la base de données
• Nombre de pages : Total des pages traitées (pour les PDFs multi-pages)
• Statistiques par modèle : Détails par modèle utilisé (gpt-4o, qwen3, etc.)
• Statistiques quotidiennes : Graphique des coûts par jour
• Points Qdrant : Nombre de factures indexées
• Recherches : Nombre de recherches effectuées

💾 Stockage des données

🗄️ Base de données SQLite

Fichier : database.db

Table invoices :

• Stocke toutes les métadonnées des factures
• Index unique sur invoice_number pour éviter les doublons
• Champs : vendor, invoiceNumber, invoiceDate, dueDate, total, vat, currency, iban, bank, filename, filePath, exchange_rate_to_chf, exchange_rate_date, etc.
• Les factures sans numéro reçoivent un préfixe TEMP-

Table api_stats :

• Stocke les statistiques de chaque appel API
• Champs : date, model, endpoint, input_tokens, output_tokens, cost
• Permet l'analyse historique des coûts
• Les statistiques sont persistantes et chargées depuis la base au démarrage

Table users :

• Stocke les utilisateurs de l'application
• Champs : id, username (unique), password_hash, role (admin/user), created_at, updated_at
• Mots de passe hashés avec bcrypt
• Un utilisateur admin par défaut (admin/admin) est créé au premier démarrage

📦 MinIO (Stockage objet)

Stocke les fichiers originaux des factures :

• Port API : 9000
• Port Console : 9001
• Bucket : "factures"
• Identifiants par défaut : minioadmin / minioadmin
• Stockage local : minio-data/
• Les PDFs sont stockés en original, pas les images converties

🔍 Qdrant (Base vectorielle)

Stocke les embeddings pour la recherche sémantique :

• Port HTTP : 6333
• Port gRPC : 6334
• Dashboard : http://localhost:6333/dashboard
• Collection : "factures"
• Distance : Cosine
• Dimensions : 1536
• Stockage local : qdrant/storage/

🔧 Technologies utilisées

• Backend : Node.js + Express.js
• Base de données : SQLite (better-sqlite3)
• LLM : OpenAI GPT-4o ou Infomaniak (support multimodal)
• Base vectorielle : Qdrant (local, intégré au projet)
• Stockage objet : MinIO (local, intégré au projet)
• Embeddings : Générés via OpenAI (text-embedding-3-small, 1536 dimensions)
• Conversion PDF : pdf-poppler
• Taux de change : exchangerate-api.com
• Rendu Markdown : marked (bibliothèque JavaScript)
• Frontend : HTML/CSS/JavaScript vanilla

📝 Format de sortie

Les données extraites suivent ce schéma JSON :

🚀 Démarrage de l'application

Pour démarrer l'application :

Le script start.js démarre automatiquement :

1. Qdrant (si non installé, télécharge et installe automatiquement)
2. MinIO (si non installé, télécharge et installe automatiquement)
3. Le serveur web Node.js sur le port 3000

URLs d'accès :

• Application web : http://localhost:3000
• Chat : http://localhost:3000/chat.html
• Qdrant Dashboard : http://localhost:6333/dashboard
• MinIO Console : http://localhost:9001

⚠️ Notes importantes

• Le LLM analyse directement les documents sans extraction de texte préalable
• Qdrant et MinIO sont intégrés localement et démarrent automatiquement
• Les coûts sont calculés selon les tarifs du provider utilisé et stockés en base de données
• Les embeddings sont générés via OpenAI (pas de modèle local)
• Les PDFs multi-pages sont analysés page par page, y compris les QR codes sur la dernière page
• Les factures sont indexées par numéro de facture pour éviter les doublons
• Les montants sont convertis en CHF au taux du jour d'importation et stockés en base
• Les prompts peuvent être personnalisés pour adapter l'extraction à vos besoins
• Le redémarrage des services tue les processus par port, même s'ils ne sont pas dans la variable globale
• Les statistiques sont mises à jour en temps réel après chaque appel API et persistent après redémarrage
• L'authentification est obligatoire pour toutes les fonctionnalités sauf la page marketing
• Le répertoire temporaire est automatiquement vidé après chaque traitement
• L'indicateur de progression affiche le nombre de fichiers traités en temps réel (x/y)

🔒 Sécurité

L'application respecte les meilleures pratiques de sécurité :

• Les clés API sont stockées dans config.json ou .env (non versionnées)
• Les fichiers sensibles ne sont pas exposés publiquement
• Les services (Qdrant, MinIO) sont accessibles uniquement en localhost
• Conformité RGPD : Les données sont stockées localement
• Système d'authentification : Mots de passe hashés avec bcrypt, sessions sécurisées
• Gestion des rôles : Séparation admin/user avec restrictions d'accès
• Protection des routes : Middleware d'authentification et d'autorisation sur toutes les routes sensibles
• Stockage local sécurisé : Option "Se souvenir de moi" avec stockage local côté client uniquement