Hola:
Creo que el principal problema esta en que el operacional no es apropiado para hacerlo trabajar asi, si te fijas en el datasheet del TL082, veras que la entrada esta formada por dos transistores p-channel
J-fet las cuales, creo que te estan actuando como diodos ya que, si te vuelves a fijar en el datasheet del TL082, si no me equivoco, estas haciendo trabajar al operacional fuera de su rango de entrada (yo me fijo en "common-mode input voltage range").
Ahora que me fijo, los operacionales mas comunes estan diseñados para que funcionen en un rango de tension de entrada alto, por ejemplo desde Vcc (siendo la tension de alimentacion positiva) hasta Vdd+3v (aproximadamente) (siendo vdd la tension de alimentacion negativa, o en tu caso 0v). Tambien hay otros que funcionan al reves, con un rango de entrada desde Vcc-3v hasta Vdd. Y por ultimo hay otros que los llaman "
rail to rail" serian los de "full range". (Supongo que esta es la razon por la que funciona bien entre +12v y -12v).
En tu lugar probaria cambiando el operacional, yo te puedo dar unas referencias de los operacionales que yo utilizo, son solo referencias, puedes buscar otros que te sirvan fijandote en el "common-mode input voltage range".
Los que trabajan con la entrada cerca de la alimentacion negativa:
Lm358 (creo que este te ira bien, de todos modos, no tiene fama de ser un operacional muy bueno para audio, aun asi creo que para esto podria ir bien)
tlc220x (siendo x el numero de operacionales integrados, que yo sepa 1 o 2)
tlc226x, tlc227x (estos son carillos, no los recomiendo para esto)
Tambien conozco uno full rail to rail; con entradas y salidas rail to rail:
LMC7101 (estos los compre un monton a muy buen precio, chiquititos SMD y tabajan desde 2,7v hasta 15v, no es lo mejor que hay, pero los adoro)
un saludo.