...
srv log_server_r: done request: POST /v1/chat/completions 127.0.0.1 200
srv log_server_r: request: {"model":"current-model","stream":false,"temperature":0.25,"top_k":1,"top_p":1,"min_p":0,"seed":42,"messages":[{"role":"system","content":"\nTu es un expert en droit administratif fran\u00e7ais.\n\nTu sais retrouver les \u00e9l\u00e9ments d\u2019un acte administratif:\n - sa date \n - sa r\u00e9f\u00e9rence (ex: \"ARRETE 2017\/0660\", \"ARR\u00caT\u00c9 n\u00b0 BDNPC-2023-43\", \"Arr\u00eat\u00e9 n\u00b02021-0246\")\n - son auteur\n - son sujet\n - le territoire (localisation) concern\u00e9\n\n**Attention** : Tu vas traiter des extraits d\u2019actes:\n - donc **TU NE POURRAS PAS TOUJOURS RETROUVER** les informations demand\u00e9es\n - et un extrait pourra contenir la fin d\u2019un acte et le d\u00e9but d\u2019un autre acte\n\nSi tu ne trouve pas NE PAS INVENT\u00c9, NE PAS D\u00c9DUIRE, SOIT FACTUEL.\n\nR\u00e9ponds UNIQUEMENT avec un objet JSON valide. Attention a **ne pas mettre de caract\u00e8re \" dans les valeurs du JSON**.\n\nLe format du JSON:\n{\n \"acte_date\": string ou null,\n \"acte_reference\": string ou null,\n \"acte_auteur\": string ou null,\n \"acte_sujet\": string ou null,\n \"acte_territoire\": string ou null,\n \"r\u00e9sum\u00e9\": string,\n}\n\nV\u00e9rifie que le JSON est valide avant de r\u00e9pondre.\n"},{"role":"user","content":"\nVoici un extrait de texte \u00e0 analyser :\n\n<extrait>\n\u2013acquisition de 10 hectares au lieu-dit \u00ab Pombreton \u00bbsur la commune de Nersac et ses alentours (Charente) ;\n\u2013acquisition de 10 hectares dans le bois des Autures et les coteaux de la vall\u00e9e du Claix pour \u00e9tendre la pr\u00e9servation des pelouses s\u00e8ches et des esp\u00e8ces d'int\u00e9r\u00eat patrimonial \u00e0 la quasi-totalit\u00e9 du secteur de Roullet-Saint-Est\u00e8phe\/Claix (Charente) ;\n\u2013acquisition de 10 hectares sur les communes de Champagne-Vigny, B\u00e9cheresse, Blanzac-Porcheresse, P\u00e9rignac et Saint-L\u00e9ger (Charente) ;\n\u2013restauration de 2,5 kilom\u00e8tres de haies sur la commune de Poullignac et ses alentours (Charente);\nR\u00e9gions Aquitaine\/Poitou-Charentes\n\u2013acquisition de 100 hectares dans le massif forestier de la Double Saintongeaise, les parcelles foresti\u00e8res non replant\u00e9es suite aux diff\u00e9rentes temp\u00eates seront vis\u00e9es en priorit\u00e9 ;\n\u2013acquisition de 300 hectares de zones humides dans un rayon de 2 \u00e0 3 kilom\u00e8tres de l'infrastructure hors massif forestier de la Double Saintongeaise et les Landes de Montendre dans l'aire du plan national d'actions du Vison d'Europe ;\n\nR\u00e9gion Aquitaine\n\u2013acquisition de 10 hectares dans le secteur prairial de C\u00e9zac\/Cavignac (Gironde) ;\n\u2013acquisition de 30,5 hectares de landes s\u00e8ches dans le massif forestier de la Double Saintongeaise (Gironde) ;\n\u2013restauration de 5 kilom\u00e8tres de haies sur la commune d'Aubie-et-Espessas et ses alentours (Gironde);\n\u2013acquisition de 18,5 hectares dans le marais de la Virv\u00e9e (Gironde) ;\nConcernant les boisements compensateurs demand\u00e9s dans le cadre des autorisations de d\u00e9frichement au titre du code forestier, un minimum de 200 hectares devra \u00eatre situ\u00e9 dans un rayon de 10 kilom\u00e8tres autour de la bande DUP.\nLa mise en \u0153uvre compl\u00e8te de ces mesures doit \u00eatre assur\u00e9e dans un d\u00e9lai de 4 ans \u00e0 compter de la date de signature du pr\u00e9sent arr\u00eat\u00e9.\nCes terrains devront faire l'objet d'une gestion conservatoire par un organisme qualifi\u00e9 sur une dur\u00e9e de 25 ans \u00e0 compter de l'effectivit\u00e9 de cette gestion, d\u00fbment notifi\u00e9e aux directeurs r\u00e9gionaux de l'environnement, de l'am\u00e9nagement et du logement des r\u00e9gions concern\u00e9es. Les terrains acquis dans le cadre des compensations pr\u00e9vues au pr\u00e9sent arr\u00eat\u00e9 feront l'objet d'une r\u00e9trocession \u00e0 titre gracieux \u00e0 une structure agr\u00e9\u00e9e au sens de l'article L.141-1 du code de l'environnement ayant pour mission la conservation de la biodiversit\u00e9 ou seront int\u00e9gr\u00e9s dans les biens de retour de la concession.\nRFF devra pr\u00e9senter un bilan annuel des actions mises en \u0153uvre les cinq premi\u00e8res ann\u00e9es, puis tous les cinq ans, pendant 25 ans. Ces bilans des actions mises en \u0153uvre seront transmis aux directions r\u00e9gionales de l'environnement, de l'am\u00e9nagement et du logement des r\u00e9gions impact\u00e9es et au conseil national de protection de la nature.\nEn fonction des termes du contrat de concession, le concessionnaire s'engagera le cas \u00e9ch\u00e9ant \u00e0 mettre en \u0153uvre \u00e0 la place de RFF l'ensemble des mesures prescrites par le pr\u00e9sent arr\u00eat\u00e9.\nArticle 5\nIl est mis en place, sous la pr\u00e9sidence du pr\u00e9fet de la r\u00e9gion de Poitou-Charentes, un comit\u00e9 inter-d\u00e9partemental de suivi des mesures de compensation aux destructions de sp\u00e9cimens et d'habitats d'esp\u00e8ces prot\u00e9g\u00e9es. Ce comit\u00e9 est compos\u00e9 de repr\u00e9sentants des services de l'Etat charg\u00e9s de la protection de la nature, du demandeur, des \u00e9tablissements publics de l'Etat, des collectivit\u00e9s territoriales concern\u00e9es par la LGV SEA, d'associations agr\u00e9\u00e9es pour la protection de la nature et, en tant que de besoin, d'experts d\u00e9sign\u00e9s par l'Etat. Le comit\u00e9 inter-d\u00e9partemental de suivi est charg\u00e9 de contr\u00f4ler la mise en \u0153uvre effective des mesures inscrites \u00e0 l'article 4 du pr\u00e9sent arr\u00eat\u00e9.\nArticle 6\nLes \u00e9l\u00e9ments du dossier compl\u00e9mentaire du 26 d\u00e9cembre 2009 se substituent aux \u00e9l\u00e9ments \u00e9quivalents du dossier initial du 29 octobre 2009 lorsque le pr\u00e9sent arr\u00eat\u00e9 fait r\u00e9f\u00e9rence au dossier de demande de d\u00e9rogation.\nArticle 7\nLes secr\u00e9taires g\u00e9n\u00e9raux des pr\u00e9fectures de la Gironde, de la Vienne, de la Charente-Maritime, de l'Indre-et-Loire, de la Charente et des Deux-S\u00e8vres, et les directeurs r\u00e9gionaux de l'environnement, de l'am\u00e9nagement et du logement des r\u00e9gions Centre, Poitou-Charentes et Aquitaine sont charg\u00e9s, chacun en ce qui le concerne, de l'ex\u00e9cution du pr\u00e9sent arr\u00eat\u00e9.\nFait le 05 f\u00e9vrier 2010\n\nLe Pr\u00e9fet de la r\u00e9gion Aquitaine,\nPr\u00e9fet de la Gironde\nDominique SCHMITT\nLe Pr\u00e9fet de la Charente-Maritime\nHenri MASSE\nLe Pr\u00e9fet de la Charente\nJacques MILLON\nLe Pr\u00e9fet de la r\u00e9gion Poitou-Charentes,\nPr\u00e9fet de la Vienne\nBernard TOMASINI\nLe Pr\u00e9fet de l'Indre-et-Loire\nJo\u00ebl FILY\nLa Pr\u00e9f\u00e8te des Deux-S\u00e8vres\nChristiane BARRET\n<\/extrait>\n\nAnalyse cet extrait et r\u00e9ponds avec ce format JSON exact :\n\nLe format du JSON:\n{\n \"acte_date\": (string) date au format \"YYYY-MM-DD\" ou null,\n \"acte_reference\": (string) r\u00e9f\u00e9rence de l\u2019acte ou null,\n \"acte_auteur\": (string) Nom et Fonction de l\u2019auteur ou null,\n \"acte_sujet\": (string) sujet de l\u2019acte ou null,\n \"acte_territoire\": (string) le territoire (localisation) ou null,\n \"r\u00e9sum\u00e9\": (string) un court r\u00e9sum\u00e9 de l\u2019extrait analys\u00e9,\n}\n\nV\u00e9rifie que le JSON est valide avant de r\u00e9pondre.\n"}]}
srv log_server_r: response:
slot process_toke: id 3 | task 5079 | n_decoded = 1534, n_remaining = -1, next token: 7273 'onde'
srv update_slots: run slots completed
que start_loop: waiting for new tasks
que start_loop: processing new tasks
que start_loop: processing task, id = 6614
slot release: id 3 | task 5079 | stop processing: n_tokens = 3301, truncated = 0
slot reset: id 3 | task 5079 |
que start_loop: processing task, id = 6613
que start_loop: update slots
srv update_slots: all slots are idle
que start_loop: waiting for new tasks
Name and Version
Hi
I can make thousands of requests using the model EuroLLM-9B-Instruct-GGUF (Q4_K_M), it works perfectly, thanks for your work. 💌
But I've just tried the new "EuroLLM-2512" version EuroLLM-9B-Instruct-2512-GGUF (Q4_K_M) which fails after some requests without visible error. 😩
In the server console there is just (verbose log below) :
And on the code side only a HTTP connection closed (no content, no header).
The server seems ok because I can relaunch my code and it works for several requests again.
I'm available to do operations for diagnostic, just ask me. 🐝
llama-server options:
llama-server version:
ggml_cuda_init: found 1 CUDA devices (Total VRAM: 11911 MiB):
Device 0: NVIDIA GeForce RTX 3060, compute capability 8.6, VMM: yes, VRAM: 11911 MiB
version: 8738 (d6f3030)
built with GNU 13.3.0 for Linux x86_64
Operating systems
Linux NS5x-NS7xAU.localdomain 6.17.0-20-generic #20~24.04.1-Ubuntu SMP PREEMPT_DYNAMIC Thu Mar 19 01:28:37 UTC 2 x86_64 x86_64 x86_64 GNU/Linux
Which llama.cpp modules do you know to be affected?
No response
Command line
Problem description & steps to reproduce
$ llama-server --port 8012 -m EuroLLM-9B-Instruct-2512.Q4_K_M.gguf --jinja
First Bad Commit
No response
Relevant log output
Logs