
De la stratégie à l’industrialisation, Inceptive crée et déploie des solutions sur mesure qui mettent l’intelligence artificielle au service du réel. #AI
Grenoble, France
Joined February 2014
- Tweets201
- Following129
- Followers291
- Likes145
Inceptive retweeted
How to Teach LLMs to Follow Instructions
I just shared a new tutorial video as part of the Build a Large Language Model From Scratch series!
In this one, we take a pre-trained decoder-only model and turn it into a small personal assistant that can handle free-form instruction-following tasks like answering questions, rewriting text, or generating short responses.
From my experience working with teams building LLM applications, I’ve noticed that many people still think instruction fine-tuning is complicated. But as you’ll see, we reuse the same loss function (and even the same training loop) as during pre-training. The only real difference? How we format the data.
In this video, I walk through:
1. What instruction fine-tuning actually is
2. How to format data into prompt/response pairs using common templates
3. A lightweight dataset to demonstrate the process
4. Practical tips like dynamic padding, loss masking, and clean end-of-text handling
The model we train here is not a ChatGPT competitor, but it is small and fast, which is ideal for educational use, and great way to understand the principles behind instruction-following LLMs.
The full walkthrough is available here: youtube.com/watch?v=4yNswvhP…
Inceptive retweeted
DeepSeek-R1 Thoughtology: Let’s <think> about LLM reasoning
142-page report diving into the reasoning chains of R1. It spans 9 unique axes: safety, world modeling, faithfulness, long context, etc.
Inceptive retweeted
"I built a SAAS in 3 days with 0 coding knowledge using AI. Developers are obsolete."
Their project:
Inceptive retweeted
Mini-R1: Reproduce @deepseek_ai R1 „aha moment“ a RL tutorial! Recreate an RL "aha moment" using Group Relative Policy Optimization (GRPO) and train an open model using reinforcement learning to teach it self-verification and search abilities all on its own to solve the Countdown Game.
TL;DR:
🤯 DeepSeek R1's "aha moment" demonstrates RL's potential for self-improvement in LLMs.
2️⃣ Using 2 reward functions, 1x for format (<think>,<answer>) and 1x for correctness
🤖 Qwen2.5-3B-Instruct model learns self-verification and search abilities.
⚙️ Use @MSFTDeepSpeed and @vllm_project for efficient and distributed online RL Training with @huggingface TRL
🤟 Include Training Observations and Hyperparameter improvements
🧮 Uses Countdown Game (arithmetic puzzles) to teach models self-correction via <think> and <answer> tags
📊 Achieves 50% success rate after 450 training steps on 4x H100 GPUs
⚡ Training takes ~6 hours on 4x H100 GPUs for 450 steps
Inceptive retweeted
💡 Événement inspirant à Strasbourg ! 💡
@DellTech etait aux cotés d' @AtheoCommunity, @inceptive_tech , Joulali Avocat, & Lemon Data pour une discussion passionnante sur l' #IA 🚀 sobre 🌳 et réglementée ⚖️
#DellCTOA, #IWork4Dell
Inceptive retweeted
Excellente histoire du Robots.txt, ce fichier qui autorise ou non l'indexation. Excellente mise en perspective qui explique pourquoi beaucoup souhaitent interdire l'indexation pour l'IA, mais peine à identifier les robots dédiés au-delà de GPTbot : theverge.com/24067997/robots…
📣 Demain, ne manquez pas l'événement @FTAlpsGrenoble x @ColaunchInGre ! Découvrez les perspectives Open Source alternatives à ChatGPT d'OpenAI. 🗓️ 12/09/23 🕕 18h 📍 Totem, Grenoble
🎟️ Réservez ici : yurplan.com/events/Explorati…
50
Inceptive retweeted
🏆Meet the 2⃣ #OpenCall winners!
🏅AI4CZC: application for accurate elements allowing Cross Zonal Capacity estimations for TSOs in EU energy market👉i-nergy.eu/2nd-open-calls-wi…
@BonsApps @AI4Copernicus @AIPlan4EU @AIonDemand @StairwAI @dih4ai
#ArtificialIntelligence #Horizon2020
Inceptive retweeted
This is huge: Llama-v2 is open source, with a license that authorizes commercial use!
This is going to change the landscape of the LLM market.
Llama-v2 is available on Microsoft Azure and will be available on AWS, Hugging Face and other providers
Pretrained and fine-tuned models are available with 7B, 13B and 70B parameters.
Llama-2 website: ai.meta.com/llama/
Llama-2 paper: ai.meta.com/research/publica…
A number of personalities from industry and academia have endorsed our open source approach: about.fb.com/news/2023/07/ll…
Inceptive retweeted
Palantir, la guerre algorithmique, une simulation complexe aux effets biens réels. time.com/6293398/palantir-fu…
Inceptive retweeted
[lecture] Dans la boucle de l'optimisation publicitaire : hubertguillaud.wordpress.com… - retour sur l'excellent livre de @timhwang qui dézingue le ciblage publicitaire
Inceptive retweeted
⚠️Quelques réflexions à chaud sur l'inquiétante proposition de loi installant la reconnaissance faciale en temps réel dans l'espace public, adoptée hier par le Sénat. Bienvenue dans le contrôle d'identité permanent et général.
telerama.fr/debats-reportage…
Nous vous invitons à explorer l'univers fascinant des #LLM, ces technologies changent notre accès à l'information et nos méthodes de recherche.
Une occasion de découvrir comment vous pouvez contrôler vos données tout en profitant des avantages de l'#IA.
app.livestorm.co/inceptive/r…
Inceptive vous invite au webinaire sur les Grands Modèles de Langage (LLMs) le 13 juin à 10h ! Découvrez les alternatives à OpenAI, explorez la transformation de l'accès à l'information grâce à ces technologies.
app.livestorm.co/inceptive/r…
27
Rejoignez Inceptive & @TENERRDIS le 17/05 à 10h pour un webinaire sur l'IA dans le secteur de l'énergie! Découvrez l'état de l'IA en 2023, les opportunités et méthodologies pour intégrer l'IA dans les processus métier. Inscrivez-vous maintenant.
tenerrdis.fr/fr/evenements/w…
52
Inceptive retweeted
Minalogic partenaire de l’événement vous invite à découvrir la dynamique du spatial français et à en devenir acteur. 2 jours intenses a ne pas rater. Préambule aussi à Grenoble avec le CNES le 16 mai pour découvrir la richesse de l’écosystème de la Région…lnkd.in/euqSVHqf
Inceptive retweeted
IA, le risque d'une accélération de la déqualification : hubertguillaud.wordpress.com…
Inceptive retweeted
Excellent @casilli : lvsl.fr/antonio-casilli-la-m… - L'innovation ne détruit pas le travail, elle déstructure l'emploi, c'est-à-dire la version formalisée et protégée du travail, pour revoir à la baisse les rémunérations















