מעבד GPU פשוט מורכב מהמספר סדרות (תלוי מודל) יחידות זרימה (streaming units).
כל יחידה כזו מכילה זיכרון מטמון (cache memory) רמה 1 עם פקודות לביצוע, זיכרון מטמון רמת 2 עם תוצאות של פעולות שבוצעו וגישה לזיכרון המשותף לכל היחידות ומעבד עצמו.
סדרות כאלה נועדו כדי לתמוך במקביליות הרבית שזו המטרה הראשית של מעבדים מסוג GPU.