Fare scrivere un'applicazione inde a un agente IA, per curiosità!

per programmare con instant developer che non prevede un linguaggio espresso in formato testo occorre un agente che usi l’interfaccia grafica è possibile svilupparlo?

ChatGPT ha detto:

Sì Giovanni, è possibile sviluppare un agente AI che interagisca con l’interfaccia grafica di Instant Developer, ma ci sono alcune considerazioni importanti da fare. Ti spiego come si può fare e quali strumenti servono:


:bullseye: Obiettivo

Instant Developer (sia Cloud che Foundation) non usa un linguaggio testuale classico come JavaScript o C#, ma un sistema visuale con proprietà e eventi configurabili tramite l’interfaccia grafica IDE.

Quindi un agente AI dovrebbe:

  • Riconoscere visivamente l’interfaccia dell’IDE
  • Capire cosa fare (es. creare un form, associare un evento, configurare una proprietà)
  • Eseguire azioni con mouse/tastiera come farebbe un utente umano

:brain: Strategia: Agent che usa l’Interfaccia Grafica

:white_check_mark: Soluzione possibile: Agent basato su GUI automation + AI

  1. Automazione GUI con strumenti come:
  1. Controllo logico tramite un agente AI:
  • L’agente può essere un modello (es. GPT-4 o uno custom) che genera passi da eseguire
  • Gli script vengono eseguiti tramite gli strumenti sopra
  1. Esempio d’uso:
  • Tu dici all’agente: “Crea una maschera per la gestione dei clienti con nome, email e telefono”
  • L’agente simula click sull’interfaccia IDE, aggiunge il form, i campi, imposta le proprietà

:test_tube: Limiti pratici

  • È complesso e fragile, perché tutto si basa su coordinamento visivo, quindi se cambia l’interfaccia, va aggiornato.
  • Serve training personalizzato, anche con immagini e azioni registrate (es. via RPA)
  • Instant Developer non espone API pubbliche per costruire/modificare progetti, quindi non puoi evitare il frontend

:puzzle_piece: Alternative più stabili

  • Se usi Instant Developer Cloud, potresti automatizzare via browser con estensioni o strumenti tipo Playwright o Selenium.
  • Se invece lavori molto con Foundation, potresti usare RPA puro (tipo UiPath o Power Automate Desktop)

:hammer_and_wrench: Mini-esempio con pyautogui (Python)

python

CopiaModifica

import pyautogui
import time

# Apri Instant Developer prima di lanciare questo script
time.sleep(3)  # tempo per cliccare sulla finestra giusta

# Click su un ipotetico bottone "Nuovo oggetto"
pyautogui.moveTo(200, 300)
pyautogui.click()

# Scrivi il nome dell’oggetto
pyautogui.write("Clienti")
pyautogui.press("enter")

:rocket: Conclusione

:white_check_mark: Sì, si può fare, ma:

  • richiede RPA + AI + buona dose di scripting visivo
  • non è semplice né robusto, ma può funzionare per task ripetitivi
  • potrebbe diventare molto potente se combinato a un agente LLM addestrato sui tuoi progetti

Se vuoi, posso aiutarti a:

  • progettare un primo agente base
  • valutare strumenti RPA più visuali
  • integrare un LLM per i comandi naturali

Fammi sapere se vuoi partire da un esempio concreto (tipo “Crea una maschera clienti”) e ti preparo una demo o uno script base :man_technologist:

5 Mi Piace

Divertente esperimento.
Io per la parte di “browser automation” di solito uso puppeteer, che rende il processo di solito un po’ più semplice ma ovviamente gli altri vincoli restano; non è un compito facile (e stabile) automatizzare lo sviluppo software dall’esterno di Instant Developer Cloud proprio perché non è un linguaggio di programmazione in se ma un generatore di applicazioni basato su IDE.

2 Mi Piace

Vi scordate sempre tutti che la parte complicata della programmazione non è scrivere codice o fisicamente realizzare le applicazioni, ma è capire cosa scrivere/realizzare, e come farlo.

3 Mi Piace

pian piano ci arriveremo, consideriamo che chatGPT è un bebè di 3 anni :wink: