Fumetti con l’intelligenza artificiale. Si può?

Mettiamo alla prova le nuove capacità di generazione grafica di ChatGPT e analizziamo come si può creare un fumetto utilizzando l’intelligenza artificiale.

In questo articolo vogliamo approfondire il tema “fumetti con l’intelligenza artificiale” dopo il recente annuncio di OpenIA (“Introducing 4o Image Generation”) nel quale si descrive il modello di generazione delle immagini ora direttamente integrato in ChatGPT.

Ricordiamo che abbiamo già trattato i fumetti in “Graphic novel e fumetti come strumento didattico” e la generazione di immagini con l’intelligenza artificiale in altri articoli, per esempio “Come l’IA trasforma le carte inventa storie” e “Creare immagini con l’intelligenza artificiale” .

Il problema della consistenza

Quando si parla immagini generate con l’intelligenza artificiale, specialmente nei fumetti, la consistenza si riferisce alla capacità di mantenere l’uniformità e la coerenza visiva dei personaggi, degli oggetti e dello stile artistico attraverso diverse vignette o scene.

Nel dettaglio la consistenza dovrebbe includere:

• l’aspetto fisso dei personaggi (volto, capelli, abbigliamento, proporzioni);
• lo stile del disegno (es. uso della linea chiara della scuola franco-belga del fumetto, manga giapponese ecc.);
• il mantenimento di dettagli ricorrenti (cicatrici, accessori ecc.);
• il contesto (ambientazioni e oggetti che rispettano lo stesso design nelle diverse scene);
• l’uniformità nell’estetica generale (uso o meno di texture, gestione del chiaroscuro ecc.).

Perché è difficile raggiungere questo risultato con l’intelligenza artificiale?

Gli strumenti di generazione immagini spesso producono variazioni indesiderate tra un’immagine e l’altra perché interpretano ogni prompt come un’istanza separata. Per ottenere consistenza servirebbero tecniche più o meno avanzate, come queste:

• prompt molto precisi (ripetendo continuamente descrizioni identiche);
• usare schizzi o mappe per guidare la generazione;
• addestrare un modello su un personaggio specifico.

Quest’ultima opzione non è, ovviamente, alla portata dell’utente finale.

Come si può migliorare la consistenza?

Chi ha già provato a usare strumenti di intelligenza artificiale per creare immagini sa che una delle difficoltà principali è proprio questa: la consistenza.

In un fumetto tradizionale, un personaggio ha un aspetto riconoscibile che si mantiene uguale in ogni scena. Ma con l’IA… non sempre è così semplice.

Ecco alcuni consigli pratici:

• descrivere con precisione ogni dettaglio di un personaggio e ripetere la descrizione per ogni vignetta;
• dare un nome ai personaggi (associando tale nome alla descrizione) e continuare a usarlo in ogni prompt;
• chiedere all’IA di mantenere lo stesso stile e/o lo stesso punto di vista;
• usare strumenti di IA che permettono di “ricordare” visivamente i personaggi (funzione che ChatGPT sta iniziando a offrire).

Proviamo a creare un mini fumetto di due sole vignette. Di seguito il prompt necessario.

Voglio creare un piccolo fumetto in cui la protagonista è Lucia, una bambina con i capelli ricci e castani, maglietta gialla, pantaloni blu. Lucia tiene in braccio un gattino bianco. 

Stile: disegno cartoon, adatto ai bambini.

Una prima vignetta quadrata con Lucia che sorride e tiene in braccio il gattino, in un parco.

Una seconda vignetta (quadrata come la prima) in cui Lucia corre mentre il gattino le salta dalle braccia.

Ecco il risultato (da notare che il taglio della vignetta a sinistra non è stato effettuato da noi, ma da ChatGPT).

In questo modo aiutiamo l’IA a tenere un filo logico visivo tra le immagini. Il risultato non è ancora perfetto, ma ci siamo vicini.

La coerenza visiva non è ancora impeccabile, ma sta migliorando velocemente. Già oggi si possono creare piccole storie illustrate coerenti, specialmente con personaggi semplici e uno stile cartoon.

Generare immagini (per fumetti) in ChatGPT

GPT-4o integra nativamente la generazione di immagini, permettendo di perfezionare i risultati attraverso una conversazione naturale. Grazie alla sua capacità di interpretare sia testo sia immagini nel contesto della chat, garantisce una coerenza visiva che attualmente possiamo definire avanzata.

Se vogliamo creare un personaggio per un fumetto ricorrente, è possibile definirne l’aspetto con prompt successivi, mantenendo l’uniformità nei dettagli tra una generazione e l’altra.

Secondo OpenAI, GPT-4.o può “tenere a mente” relazione e dettagli di 10 o anche 20 oggetti distinti in un’unica scena.

Inoltre, GPT-4o è in grado di analizzare immagini caricate dall’utente (es.: schizzi, riferimenti) per estrarne dettagli da utilizzare come guida per la generazione coerente delle immagini.

Si può quindi progettare un personaggio oppure approntare anche uno studio vero e proprio (si veda character design), per poi utilizzare quanto predisposto come riferimento per le vignette del fumetto vero e proprio.

Un fumetto di prova con l’intelligenza artificiale

Proviamo a generare un fumetto per bambini utilizzando (volutamente) un unico prompt, che tiene conto di quanto scritto sopra.

Crea un fumetto per bambini (in 8 vignette) che racconta la storia di Cappuccetto Rosso. Usa uno stile illustrato e colorato, simile a un cartone animato moderno, con linee morbide e espressioni facciali esagerate per renderlo divertente e coinvolgente.

Di seguito la struttura delle vignette:
1) Introduzione: Cappuccetto Rosso (bambina con vestito rosso e cestino) saluta la mamma fuori da una casetta nel bosco. Sullo sfondo, alberi stilizzati e un sentiero.
2) Incontro con il lupo: Cappuccetto incontra il lupo (sorriso furbo, non troppo spaventoso) nel bosco. Fiori e animali curiosi osservano.
3) Dialogo: il lupo chiede dove va Cappuccetto, lei indica la casa della nonna. Il lupo sogna una torta (fumetto a forma di nuvola).
4) Il lupo corre: il lupo scappa veloce verso la casa della nonna (linee di movimento, espressione maliziosa).
5) La nonna in pericolo: il lupo, travestito da nonna (cuffia e occhiali storti), è a letto. La stanza è disordinata.
6) Arrivo di Cappuccetto: Cappuccetto entra nella stanza, guarda sospettosa il "falso" nonna. Il lupo si lecca i baffi.
7) Il cacciatore arriva: Un cacciatore gentile (barba, fucile innocuo) apre la porta e sorprende il lupo.
8) Finale felice: Cappuccetto, la nonna e il cacciatore ridono insieme fuori casa. Il lupo scappa con la coda tra le gambe.

Dettagli aggiuntivi:
- Stile ispirato a libri illustrati per bambini.
- Colori vivaci, con sfumature pastello per lo sfondo.
- Testo: lascia spazio per balloon vuoti (aggiungerò i dialoghi dopo).
- Coerenza: mantieni lo stesso design per personaggi e ambientazioni in tutte le vignette.

Il risultato (mostrato sotto) è carino. Si nota subito, però, che le vignette sono 6 e non 8. Poi ci sono altri dettagli da rivedere. Nella sesta vignetta, per esempio, la nonna ha le zampe da lupo!

Lo stesso fumetto, un prompt alla volta

Proviamo a generare lo stesso fumetto, questa volta suddividendo il prompt in più richieste.

1‭ᵃ vignetta – Inizio

Cappuccetto Rosso (bambina con vestito rosso e cestino) saluta la mamma fuori da una casetta nel bosco. Sullo sfondo, alberi stilizzati e un sentiero.

2ᵃ vignetta – Incontro con il lupo

Cappuccetto incontra il lupo (sorriso furbo, non troppo spaventoso) nel bosco. Fiori e animali curiosi osservano.
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni della vignetta precedente.

3ᵃ vignetta – Dialogo

Il lupo chiede dove va Cappuccetto, lei indica la casa della nonna. Il lupo sogna una torta (fumetto a forma di nuvola).
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni delle vignette precedenti.

4ᵃ vignetta – Il lupo corre

il lupo scappa veloce verso la casa della nonna (linee di movimento, espressione maliziosa).
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni delle vignette precedenti.

5ᵃ vignetta – La nonna in pericolo

Il lupo, travestito da nonna (cuffia e occhiali storti), è a letto. La stanza è disordinata.
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni delle vignette precedenti.

6ᵃ vignetta – Arrivo di Cappuccetto Rosso

Cappuccetto entra nella stanza, guarda sospettosa la “falsa” nonna. Il lupo si lecca i baffi.
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni delle vignette precedenti.

7ᵃ vignetta – Arrivo del cacciatore

Un cacciatore gentile (barba, fucile innocuo) apre la porta e sorprende il lupo.
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni delle vignette precedenti.

8ᵃ vignetta – Finale felice

Cappuccetto, la nonna e il cacciatore ridono insieme fuori casa. Il lupo scappa con la coda tra le gambe.
Coerenza: mantieniamo lo stesso design per personaggi e ambientazioni delle vignette precedenti.

Molto meglio, no? Dovremo assolutamente tornare su questo argomento!