Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu doradczego agenta. To on odczytuje polecenia użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje konkretnych danych spoza swojej pamięci treningowej.
Ciekawym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy proces rozkłada się na kilka etapów i wymaga przełączania między różnymi źródłami informacji. To właśnie ta umiejętność odróżnia agenta od prostego skryptu, który wykonuje jedynie wcześniej zapisaną listę poleceń.
Osobną sprawą pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent potrafi rozpoznać, że otrzymany wynik nie zgadza się od oczekiwanego, i wrócić do poprzedniego etapu, by spróbować innej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej oddaniem.