Visual Thinking with AI - La boucle de dialogue visuel humain-IA
INKFORGE est une plateforme de dialogue visuel bidirectionnel avec l'IA. Le concept central : une conversation continue par le croquis où l'humain et l'IA échangent visuellement.
┌─────────────────────────────────────────────────────────────┐
│ THE LOOP │
│ │
│ ┌──────────┐ ┌──────────┐ │
│ │ HUMAN │ ────── sketch ─────► │ AI │ │
│ │ │ ◄───── sketch ────── │ │ │
│ └──────────┘ └──────────┘ │
│ │ │ │
│ ▼ ▼ │
│ Tu griffonnes Claude répond │
│ une idée vague ───► avec un diagramme │
│ structuré │
│ │ │ │
│ └──────────── ITERATE ─────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
| Catégorie | Outils existants | Limitation |
|---|---|---|
| Sketch → Code | tldraw "Make Real", Visily | Unidirectionnel |
| AI → Diagram | DiagramGPT, Miro AI, Whimsical | Unidirectionnel |
| Whiteboards | Excalidraw, tldraw, Miro | Pas de loop AI natif |
| Smart pens | XNote, Flowtica Scribe | Hardware propriétaire |
Le gap : Personne n'a fait la boucle complète - une conversation visuelle continue où l'humain et l'IA itèrent ensemble sur des idées.
INKFORGE
├── Core: Visual Loop Engine
│ ├── Stroke capture → Claude Vision
│ ├── Claude response → SVG/Mermaid render
│ └── State management (conversation history)
│
├── Inputs (hardware-agnostic)
│ ├── Wacom tablet (recommandé pour desktop)
│ ├── tldraw canvas (web, souris/touch)
│ ├── iPad + Apple Pencil
│ ├── reMarkable (e-ink, portable)
│ └── Any stylus-enabled device
│
└── Outputs
├── SVG (scalable, editable)
├── Mermaid (flowcharts, sequence, ERD)
├── PNG (for display)
└── Code (quand pertinent)
| Tu dessines... | Claude répond avec... | Tu itères... |
|---|---|---|
| Idée vague en bullets | Mind map structurée (SVG) | Tu annotes, il affine |
| Wireframe rough | Version propre + suggestions UX | Tu corriges, il génère le code |
| Architecture floue | Diagramme technique + questions | Tu précises, il détaille |
| Flowchart incomplet | Version complète + edge cases | Tu valides, il implémente |
| Équation griffonnée | Visualisation + code NumPy | Tu ajustes les params |
- Brainstorm - Idées brutes → structuration progressive
- Design - Wireframes → UI components
- Architecture - Schémas → Infrastructure as Code
- Debug - Croquis du problème → analyse + solution
- Documentation - Concepts → diagrammes techniques
Frontend:
- tldraw SDK (React)
- Canvas interception des strokes
- Render SVG/Mermaid inline
Backend:
- Claude API (Vision + Text)
- WebSocket pour real-time
- State: conversation + canvas history
Integration:
- npm: @tldraw/tldraw
- License: watermark ou commercialApp:
- Electron ou Tauri
- Wacom SDK pour pressure/tilt
- Canvas custom ou tldraw embedded
AI:
- Claude API direct
- Local processing pour latence
Avantages:
- Meilleure intégration stylus
- Pas de watermark
- Mode offline possibleWeb canvas (tldraw) + Desktop bridge pour Wacom
- tldraw pour le rendering
- Driver Wacom natif pour l'input
- Best of both worlds- tldraw + Claude Vision basique
- Capture canvas → envoi à Claude → affichage réponse
- Test avec souris (en attendant tablette)
- Conversation history (multi-turn)
- Claude génère SVG inline dans le canvas
- Annotations sur la réponse de Claude
- Intégration Wacom (pressure, tilt)
- Optimisation latence
- Mode "drawing area" mappé sur le canvas
- Templates de conversation (brainstorm, design, archi)
- Export (PDF, PNG, code)
- Historique des sessions
| Format | Usage | Qualité |
|---|---|---|
| SVG | Diagrammes, icônes, formes | Excellent pour l'abstrait |
| Mermaid | Flowcharts, séquence, ERD, Gantt | Très bon |
| ASCII | Schémas textuels | Bon |
| Code | React components, algorithmes | Excellent |
- Pas de photoréalisme
- Objets du monde réel approximatifs
- Esthétique géométrique/technique
- tldraw - Whiteboard SDK, "Make Real" demo
- Excalidraw - Whiteboard collaboratif
- DiagramGPT - AI diagram generation
- Miro AI - Whiteboard + AI
- Whimsical AI - Diagrams from text
- Code Shaping (CHI 2025) - Sketch-to-code research
- Wacom - Tablettes graphiques de référence
- reMarkable - E-ink tablet (portable option)
Si tu veux cibler reMarkable comme device portable :
- E-ink (confort visuel, outdoor)
- Distraction-free
- Sensation papier
- Écosystème fermé
- Refresh rate lent
- Dev natif complexe (rmkit, SDK Yocto)
- rM-docker - Émulateur
- rmkit - Framework apps
- remarkable.guide - Community guide
Le support reMarkable peut être ajouté comme "output adapter" une fois le core loop fonctionnel.