Por voto de castigo se entiende la decisión de los que votan fundamentalmente para mostrar su desagrado con la situación presente. Es decir, la evaluación de la actividad gubernamental por ejemplo, hace que el elector determine el sentido de su voto. En especial, las condiciones económicas juegan un papel importante, de modo que si el elector está bien financieramente, opta por premiar al titular del puesto reeligiéndolo o reiterándole su apoyo a su partido; de lo contrario, los sanciona negándoles su voto. Se produce sólo cuando el elector puede relacionar cambios en su situación personal financiera con tendencias económicas más amplias y con políticas gubernamentales concretas. Así, el rencor se convierte en poderoso motivador de la conducta, porque el elector, aunque no esté seguro de por cual partido votar, puede decidir sacar al que está en el poder. Por eso, en un país sujeto a la inflación y al desempleo no es raro que el gobierno sea derrocado por las armas o por el voto.

Se conoce también como voto retrospectivo porque los electores toman sus decisiones acerca del futuro con base en juicios del pasado

Para un titular que intenta reelegirse, el voto retrospectivo normalmente significa reelección, pero también, la pérdida de su puesto, ya que más que en las nuevas promesas, el elector encuentra en sus logros un indicador más creíble acerca de cómo desempeñará el puesto que se disputa en la elección.

Allan Lichtman (The Keys to the White House) considera que las elecciones en Estados Unidos son un referéndum respecto a la actuación del partido político que ocupa la Casa Blanca, el cual se mantiene en el poder cuando la gente está satisfecha con su desempeño y no existen otros factores que puedan motivar que el elector vote por su relevo, como crisis internacionales, descontento importante por la situación socioeconómica, divisiones dentro de ese partido gobernante o un candidato opositor carismático.

El voto de castigo es uno de los efectos electorales más importantes y quizá pueda valorarse, cuando se da, entre un 10 y un 20%.

Señala Sanchis (Cómo Ganar el Poder) que "el voto de castigo bien estructurado, bien alimentado, bien argumentado, puede servir para crear una gran corriente de opinión, un gran movimiento de gente en una u otra dirección". Por eso es frecuente en las campañas electorales el uso propagandístico de la frase: "Es tiempo de cambiar"...

En México, según Buendía (El elector mexicano en los noventa: ¿un nuevo tipo de votante?) los votantes son básicamente retrospectivos y el tipo de información a la que le dan la mayor importancia tiene que ver con la economía nacional. Al analizar el periodo 91-97, Buendía encontró que no obstante los cambios políticos, el cálculo de los electores no se modificó, lo que cambio fue la gestión económica del gobierno. El resultado de las elecciones presidenciales del 2000 fue, para algunos, un voto de castigo al PRI, que había gobernado durante setenta años con un gran consenso aunque sin democracia; los asesinatos de Colosio y Ruiz Massieu, las matanzas de campesinos en Acteal y Aguas Blancas, "el error de diciembre" (que desencadenó la peor crisis económica del siglo XX mexicano), el rescate bancario (FOBAPROA), cuyo pago gravará a varias generaciones, se cuentan entre los principales hechos que indujeron a la gente a votar en contra del PRI.