Istilah arsitektur muncul dalam literatur komputer berkat konsep yang diusung Sir Lyle R. Johnson dan Sir Frederick P. Brooks, anggota departemen Organisasi Mesin, pada tahun 1959.

Sir Johnson mengemukakan konsep tentang format, jenis instruksi, keterbatasan perangkat keras, dan peningkatan kecepatan. Konsep ini berada pada tingkat arsitektur sistem dan lebih tepat disebut sebagai arsitektur komputer dibanding istilah organisasi mesin/komputer.

Pada awalnya, rancangan desain komputer oleh ahli arsitek komputer ditulis dan digambar pada sebuah kertas. Dari rancangan tersebut kemudian langsung dibentuk menjadi perangkat keras yang siap pakai.

Kemudian desain arsitektur komputer dirakit secara material dalam bentuk komputer transistor-transistor logic (TTL).

Pada 1990-an, arsitektur komputer baru biasanya dibangun, diperiksa, dan diubah di dalam arsitektur komputer lain, dalam simulator arsitektur komputer, atau bagian interior FPGA, sebagai mikroprosesor sebelum dibentuk menjadi perangkat keras utama.