Чтобы изменить пиксель, нужно сначала считать байт из видеопамяти, (а это значит надо еще и реализовать чтение на уровне шины), наложить маску и записать обратно.
Памяти-то может и немного, но адресное пространство же огромное. Можно и побитную адресацию сделать, или полноценный bit-band.
RISC‑V c ZX‑Spectum like адаптером с 12 битным цветом и атомиками на плате DE0-CV