Pareciera como si los niveles bajos tuvieran el mismo peso que los altos.
Te tiro dos alternativas, quitá el amplificador de la salida del DAC y:
Alternativa 1- Con 7 cables conectados al zócalo del uC del puerto C, llevalos a un protoboard y juga con los niveles de los bits, probá con todos a GND, menos 1 que vaya a 5V. Con un tester deberías ir midiendo una tensión continua en la salida del DAC.
Alternativa 2- Esperame mañana a la tardecita que te hago un programa que haga esa secuencia de los bits para ver la salida del DAC.
En ambos casos deberías comprobar que:
VDAC=(2^n)*5V/256
Donde n es el número de bit (0 a 7) que está a 5V y el resto a GND.
Ejemplo bit 7 => VDAC=(2^7)*5/256=2,5V
Ejemplo bit 6 => VDAC=(2^6)*5/256=1,25V
... etc