3795 INDICADORES DE DESEMPENHO, QUALIDADE(S) E

Transcrição

Actas do X Congresso Internacional Galego-Português de Psicopedagogia. Braga: Universidade do Minho, 2009
ISBN- 978-972-8746-71-1
INDICADORES DE DESEMPENHO, QUALIDADE(S) E MELHORIA
Virgínio Sá- Universidade do Minho/IEP
[email protected]
Resumo
A definição de sistemas de indicadores de desempenho que reconheçam e captem as diferentes faces
d
ae
s
c
o
l
ae
nq
u
a
n
t
o“
o
r
g
a
ni
z
a
ç
ã
oe
du
c
a
t
i
vac
ompl
e
x
a
”
,i
s
t
oé
,q
u
ec
a
pt
e
mn
ã
oa
p
e
na
sas
uaqu
a
l
i
d
a
de
científica e pedagógica, mas também a sua qualidade democrática (Afonso, 2002), constitui hoje um
dos principais desafios na agenda do Estado Avaliador. A construção de tais sistemas de indicadores
deve ancorar-se, entre outros suportes, nos dados da investigação disponível. Contudo, e ao contrário
do que subentendem as perspectivas mais gerencialistas e tecnocráticas, em educação não existe um
“
mo
de
l
oe
xp
l
i
c
a
t
i
v
o
”s
uf
i
c
i
e
n
t
e
me
n
t
ec
on
s
e
n
s
u
a
l
i
z
a
do a partir do qual se possam derivar sistemas de
indicadores capazes de reconhecer as distintas qualidades que compõem a escola.
Nesta comunicação pretende-se confrontar diferentes lógicas de regulação inerentes aos distintos
processos avaliativos e articula-las com os factores que, com base na literatura específica, devem ser
considerados na criação de um sistema de indicadores. Pretende-se, nomeadamente, explorar as
considerações políticas, técnico-científicas e práticas, relevando as suas tensões e contradições
internas.
1.
As pressões performativas e a centralidade da agenda avaliativa
Ao longo das duas últimas décadas, em geografias sócio-políticas muito diversas, a agenda
avaliativa e as pressões performativas, nas suas diferentes configurações e domínios de
incidência, têm vindo a configurar-se como um dos vectores estruturantes dos discursos, das
propostas e das medidas de política educativa.1 As razões deste aparente consenso em torno da
urgência da avaliação educacional em geral, e da avaliação das escolas em particular,
inscrevem-se num quadro de racionalidades plurais 2 que evidenciam lógicas em tensão, umas
1
De resto, Dias Sobrinho (2000: 184) considera mes
moq
ue“
adé
c
a
daden
ov
e
nt
af
oic
h
a
ma
d
aadé
c
a
d
a
d
aa
va
l
i
a
ç
ã
o”
.
2
Num esforço de inventariação dos factores subjacente
sà“
pr
e
s
s
ã
op
a
r
aaa
va
l
i
a
ç
ã
od
a
se
s
c
o
l
a
s
”
,Az
e
ve
do
(
2
00
7)di
s
c
r
i
mi
nad
oz
e“
q
u
e
s
t
õe
s
”qu
earruma em três grandes categorias: i
)“
p
ol
í
t
i
c
a
s
”
;i
i
)“
s
o
c
i
a
i
s
”
;i
i
i
)e
“
e
c
o
nó
mi
c
a
s
”
.Ne
s
t
al
i
s
t
a
g
e
mi
n
c
l
ue
ms
ead
e
s
c
e
nt
r
a
lização e a autonomia e a correlativa prestação de
contas; a reivindicação de informação por parte do consumidor como condição para práticas de escolha
informadas; a assunção da escola c
o
mo “
un
i
d
a
d
ec
r
í
t
i
c
a
”a
s
s
o
c
i
a
da a
o
se
s
t
u
do
ss
o
br
eo “
e
f
e
i
t
oe
s
t
a
be
l
e
c
i
me
n
t
o
”
;a
spr
e
o
c
up
a
ç
õ
e
sc
oma(
ba
i
x
a
)“
p
r
od
ut
i
v
i
d
a
d
e
”d
a
se
s
c
ol
a
se
mc
on
t
r
a
s
t
ec
o
mos(
s
up
os
t
os
)
e
l
e
va
do
si
nv
e
s
t
i
me
nt
o
sp
úb
l
i
c
o
s
;o“
i
n
s
uc
e
s
s
o”d
ae
s
cola em assegurar o sucesso de todos; a avaliação
e
nt
e
n
di
dac
o
mo“
e
s
t
r
a
t
é
g
i
ad
emarketing”
;o(
s
up
os
t
o
)de
s
f
a
s
a
me
n
t
oe
nt
r
ea
se
x
i
g
ê
n
c
i
a
sd
o“
mu
n
dod
o
t
r
a
b
a
l
ho
”eao
f
e
r
t
ae
d
uc
a
tiva das escolas; a crise de confiança na escola decorrente, nomeadamente, da sua
“
ma
s
s
i
f
i
c
a
ç
ã
o”
;aa
va
l
i
a
ç
ã
o(
s
é
r
i
a
)c
omoum c
on
t
r
a
p
on
t
oà
sf
o
r
ma
s“
p
r
e
gu
i
ç
os
a
s
”dea
va
l
i
a
ç
ã
o(
e
x
.o
s
rankings); as pressões internacionais e aa
v
a
l
i
a
ç
ã
oc
o
moa
l
t
e
r
n
a
t
i
v
aà“
ve
r
i
f
i
c
a
ç
ã
od
ac
o
nf
o
r
mi
d
a
d
e
”
;a
avaliação como factor de melhoria e como condição para o desenvolvimen
t
ode“
c
omu
ni
da
de
sp
r
o
f
i
s
s
i
on
a
i
s
”
(p. 21-22).
3795
ISBN- 978-972-8746-71-1
mais referenciáveis às preocupações com a vigilância e o controlo, outras filiadas em agendas
emancipatórias e orientadas para a melhoria e desenvolvimento organizacional.
Oc
o
nt
e
xt
o ma
c
r
oe
s
t
r
u
t
ur
a
le
m q
ue o “
s
ur
t
o de avaliacionite” (
Es
t
ê
vã
o
,2
00
1)e a
“
e
s
qu
i
z
o
f
r
e
n
i
ad
ap
e
r
f
o
r
ma
t
i
vi
da
d
e
”(
Si
mõe
s
,2007) se vêm desenvolvendo constitui um dos
topos e
ma
n
c
i
p
a
t
ó
r
i
o
”
,q
ue
r
f
a
c
t
or
e
sf
o
r
t
e
me
n
t
ec
o
n
di
c
i
o
na
n
t
e
sd
as
u
as
ub
or
di
n
a
ç
ã
oq
ue
raum “
3
aum “
topos r
e
g
ul
a
t
ó
r
i
o”
.
Ora, como refere Ball (2002: 4), reportando-se sobretudo ao contexto
i
ng
l
ê
s
,“
o
se
l
e
me
nt
osc
ha
v
ed
o‘
p
a
c
o
t
e
’d
ar
e
f
orma da educação- e isto aplica-se com igual
vigor e importância a escolas, colégios e universidades- são o mercado, a capacidade de gestão e
4
ap
e
r
f
o
r
ma
t
i
vi
da
d
e
.
”Pa
r
ae
s
t
ea
u
t
o
r
,a“
pe
r
f
or
ma
t
i
v
i
d
a
deéumat
e
c
no
l
o
gi
ap
ol
í
t
i
c
a
, uma
cultura e um modo de regulação que se serve de críticas, comparações e exposições como meios
d
ec
o
nt
r
o
l
o,a
t
r
i
t
o e mu
da
n
ç
a
”(
i
b
i
de
m)
.Ac
r
e
s
c
e
n
t
ad
e
po
i
s Ba
l
lq
ue o
s“
t
e
r
r
o
r
e
s da
p
e
r
f
o
r
ma
t
i
v
i
d
a
de
”p
od
e
mi
mp
l
i
c
a
rv
á
r
i
o
sr
i
s
c
o
spa
r
aa“
n
a
t
u
r
e
z
adaa
l
mad
op
r
o
f
e
s
s
o
r
”ep
od
e
m
5
i
nd
uz
i
r“
f
a
b
r
i
c
a
ç
õ
e
s
”
d
i
v
e
r
s
a
s
.Ne
s
t
ec
o
nt
e
xt
o,a“
ge
s
t
ã
od
ai
mp
r
e
s
s
ã
o”p
od
es
ob
r
e
p
or
s
eà
s
relações baseadas na autenticidade.
De resto Ball (2002: 12) afirma mesmo que “
O qu
eép
r
o
du
z
i
d
oéu
me
s
pe
c
t
á
c
u
l
o
,o
uoq
ue
p
od
e
r
í
a
mosc
on
s
i
d
e
r
a
ruma‘
f
a
n
t
a
s
i
ae
nc
e
n
a
d
a
’(
But
ler, 1990), que está lá apenas para ser vista
ej
u
l
ga
d
a
.
” Co
nt
ud
o
,a“
ge
s
t
ã
od
ai
mp
r
e
s
s
ã
o
”p
od
ei
mpl
i
c
a
rd
i
s
p
e
n
d
i
o
s
a
s“
op
e
r
a
ç
õe
sd
e
c
os
mé
t
i
c
a
”(
Es
t
ê
vã
o
,20
01
)
,c
o
m ac
o
ns
e
q
ue
n
t
ed
e
s
l
ocação de recursos para fins outros que não
aqueles que, presumidamente, estão no cerne das organizações educativas. A própria aquisição e
o
r
ga
n
i
z
a
ç
ã
ode“
i
nf
or
ma
ç
ã
op
e
r
f
o
r
ma
t
i
va
”p
od
ee
nvolver custos tão elevados que exaure os
recursos necessários à promoção de uma oferta educativa de qualidade. Como afirma Elliot
(1996: 15), citado por Ball (2002: 12), a obtenção d
a
q
ue
l
ai
n
f
o
r
ma
ç
ã
o“
c
o
ns
o
met
a
n
t
ae
n
e
r
gi
a
,
que reduz drasticamente a energiad
i
s
po
ní
v
e
lpa
r
as
ef
a
z
e
r
e
m me
l
ho
r
a
me
n
t
o
spa
r
as
ee
v
ol
ui
r
”
.
Daqui podem resultar, como advertimos noutros momentos (Sá, 2004; 2008; 2009), alguns
“
e
f
e
i
t
o
sp
e
r
ve
r
s
os
”e“
da
n
osc
ol
a
t
e
r
a
i
s
”q
ue
,entre outras consequências, podem redundar numa
qualidade desqualificada.
Nav
e
r
d
a
de
,a“
di
s
p
e
r
s
ã
os
e
mâ
nt
i
c
a
”d
oc
on
c
e
i
t
oqualidade (Manilla, 1989), associada à sua
despolitização, têm facilitado a sua instrumentalização ao serviço de agendas e de agentes muito
diversos. Por exemplo, a imposição de uma versão hegemónica (e parcial) da qualidade- a sua
versão mercadorizada importada do mundo empresarial- tem conduzido ao privilegiar de
3
Expressões que tomamos aqui de Estêvão (2001: 159).
4
Ba
l
l(
20
02
:6
)e
s
c
l
a
r
e
c
equ
e“
Ast
e
c
n
ol
og
i
a
spo
l
í
t
i
c
a
senvolvem a distribuição calculada de técnicas e
a
r
t
e
f
a
c
t
o
spa
r
aor
g
a
ni
z
a
rf
o
r
ç
a
sec
a
pa
c
i
d
a
d
e
sh
u
ma
n
a
se
mr
e
d
e
so
pe
r
a
c
i
on
a
i
sef
u
nc
i
o
na
i
sd
ep
od
e
r
.
”
5
Es
c
l
a
r
e
c
eBa
l
l(
20
02
:15
)q
uea
s“
As fabricações são versões de uma organização (ou pessoa) que não
e
xi
s
t
e
-n
ã
oe
s
t
ã
o‘
f
o
r
adav
e
r
d
a
de
’ma
st
a
mb
é
mn
ã
o transmitem simplesmente explicações directas e
verdadeiras- elas são produzidas prop
os
i
t
a
d
a
me
n
t
ep
a
r
a‘
s
e
r
e
me
x
p
l
i
c
á
v
e
i
s
’
.
3796
ISBN- 978-972-8746-71-1
indicadores de desempenho que valorizam sobretudo o que é mensurável, gerando sombra e
opacidade sobre outras faces do poliedro educativo. Assim, por exemplo, como referimos
noutro texto (Sá, 2008), quando a qualidade é medida em termos de resultados escolares, e estes
são aferidos a partir dos desempenhos nos exames nacionais, as escolas serão induzidas a
concentrarem-se na preparação dos alunos para que estes sejam bem sucedidos nesses
mo
me
nt
o
sd
e(
i
n)
ve
r
da
de
.Es
t
e“
t
e
a
c
ht
ot
h
et
e
s
t
”(
Ba
l
l
,1
99
3:1
07
)
,i
nd
uz
i
r
á
,e
nt
r
eo
ut
r
a
s
consequências, a secundarização das aprendizagens mais dificilmente mensuráveis como, por
exemplo, a educação para a democracia e para a participação, o desenvolvimento do espírito
crítico, desenvolvimento global da personalidade.6 Na verdade, os exames, além de efectuarem
u
ma“
us
u
r
p
a
ç
ã
od
oc
u
r
r
í
c
u
l
o
”
,c
o
moa
f
i
r
maSo
br
i
n
ho(
2
00
0:9
7)
,“
a
c
a
ba
ml
a
nç
a
nd
oumavi
s
ã
o
embaçada sobre o ensino e a aprendizagem e empobrecem os objectivos curriculares a fim de
p
od
e
r
e
m me
d
i
l
o
s
”
,de
s
t
af
or
ma c
on
t
r
i
bu
i
n
do para mais uma das muitas formas de
desqualificação da qualidade que supostamente perseguem. Como nos ensina Gentilli (1997, p.
1
72
)
,“
O s
i
gn
i
f
i
c
a
d
o da q
ua
l
i
d
a
de e
,c
o
n
s
e
q
ue
ntemente, a definição dos instrumentos
apropriados para avaliá-la, são espaços de poderedec
o
nf
l
i
t
oqu
enã
od
e
ve
ms
e
ra
b
a
nd
on
a
do
s
.
”
Reconhecer a natureza política e pluridimensional da qualidade tem, portanto, implicações
diversas, desde logo, como se realça na citação, p
a
r
aa“
de
f
i
n
i
ç
ã
odo
si
n
s
t
r
ume
n
t
o
sa
p
r
o
pr
i
a
d
os
p
a
r
aa
va
l
i
á
l
a
”
.
2.
Indicadores de desempenho e qualidades plurais
Ap
e
s
a
rde p
a
r
e
c
e
rc
o
ns
e
n
s
ua
la
f
i
r
ma
rqu
e“
u
m mo
de
l
od
ed
e
s
e
mpe
n
ho nã
op
o
de s
e
r
estabelecido sem se ancorar fortemente na invest
i
g
a
ç
ã
oe
x
i
s
t
e
nt
e
”(
Cl
í
ma
c
o
,1
99
1
b:7
)equ
ea
s
“
performances escolares só têm sentido no quadro de um modelo incontestável de eficácia
e
s
c
ol
a
r
”(
Fi
ga
r
i
,1
99
9:14
5)
,av
e
r
da
d
eéqu
e
,c
o
mo afirma de seguida o mesmo autor, tal
mo
de
l
o“
a
i
nd
anã
oe
s
t
ác
o
ns
t
r
u
í
d
o
”(
i
de
m,i
bi
de
m)
.
Na literatura que explora os processos de organização de sistemas de indicadores confere-se
habitualmente um espaço à discussão dos conceitos de referente e de referencial e ao processo
de
referencialização
(Figari,
1996;
1999).
Contemplam-se
também
algumas
das
“
c
on
s
i
de
r
a
ç
õe
s
”qu
edevem presidir à escolha dos sistemas de indicadores. Nutall (1994: 22),
p
ore
xe
mp
l
o,
de
f
e
n
deq
u
ehát
r
ê
s“
c
o
ns
i
de
r
a
ç
ã
o
”bá
s
i
c
a
sar
e
s
pe
i
t
a
rn
ac
r
i
a
ç
ã
odeu
ms
i
s
t
e
made
i
nd
i
c
a
d
or
e
s
:i
)“
c
on
s
i
de
r
a
ç
õ
e
sp
ol
í
t
i
c
a
s
”
;i
i
)“
c
o
ns
i
de
r
a
ç
õ
e
st
é
c
ni
c
o/
c
i
e
n
t
í
f
i
c
a
s
”
;i
i
i
)e
6
Michael Apple (2001), numa entrevista concedida a Michael Shaughnessy, Kathy Peca e Janna Siegel,
a
s
s
u
mi
n
do u
maf
r
o
n
t
a
lde
n
ún
c
i
ad
oq
uev
e
m de
no
mi
n
a
n
d
od
e“
i
nd
i
v
i
du
a
l
i
s
mo po
s
s
e
s
s
i
v
o”
,a
f
i
r
mo
u:
“
Ac
t
ua
l
me
nt
e
,d
e
ba
i
x
o da i
nf
l
uê
nc
i
a do n
e
o
l
i
b
e
r
a
l
i
s
mo,o v
e
r
da
d
e
i
r
os
i
gn
i
f
i
c
a
do d
ac
i
da
d
a
ni
af
o
i
radicalmente transformado. Nos dias de hoje o cidadão é um simples consumidor. O mundo é visto como um
v
a
s
t
os
up
e
r
me
r
c
a
do
.
”(
p
.
17
)
3797
ISBN- 978-972-8746-71-1
“
c
on
s
i
de
r
a
ç
õe
spr
á
t
i
c
a
s
”
.Nop
r
i
me
i
r
oc
a
s
ooa
ut
or inclui a necessidade e legitimidade do poder
político em obter informação sobre o funcionamento do sistema de modo a perceber em que
medida os objectivos previamente definidos estão a ser alcançados. As considerações técnicocientíficas centram-se sobretudo na definiç
ã
o d
o “
mod
e
l
o e
x
pl
i
c
a
t
i
v
o” e n
as
ua
operacionalização. As considerações práticas incluem a sua exequibilidade com custos
razoáveis e a produção de informação de fácil leitura e em tempo oportuno.
Considera Nuttall (1994) que, se responder aos req
ui
s
i
t
o
sd
ec
a
d
au
mad
a
s“
c
on
s
i
de
r
a
ç
õ
e
s
”de
modo independente já levanta uma série de questões, satisfazer em simultâneo as três
“
c
on
s
i
de
r
a
ç
õe
s
”r
e
v
e
l
a
s
eu
mami
s
s
ã
oq
ua
s
ei
mpo
s
s
í
vel, dada a sua natureza potencialmente
conflitual. Efectivamente, quando um sistema de i
nd
i
c
a
do
r
e
sp
r
o
c
ur
ap
r
o
du
z
i
ra“
i
n
f
o
r
ma
ç
ã
o”
desejada pelos decisores políticos corre o risco de s
ede
i
xa
re
n
l
e
a
rpe
l
a
s“
q
u
e
s
t
õe
sn
amo
da
”e
m
prejuízo de dimensões mais substantivas. Quando as questões mais pragmáticas dos custos e da
simplificação para efeitos de consumo ganham a dianteira, compromete-se o rigor e a validade
da análise e aumentam-se os riscos da corrupção dos indicadores. Responder aos requisitos da
validade, aumentado o número de indicadores e diversificando os campos de recolha de
informação, pode reforçar a sua consistência científica, mas conflitua com a exigência de
rapidez, baixo custo e simplicidade da informação requerida. Por isso, conclui Nuttall (1994:
3
8)
,“
I
nt
h
ef
i
n
a
la
n
a
l
y
s
i
s
,t
h
e
n
,t
h
eq
ua
l
i
t
yo
ft
h
esystem is likely to be crucially determined by
those who hold the purse-string, almost always the policy-makers on behalf of their
c
on
s
t
i
t
ue
n
t
s
.
”
Subjacente a um sistema de indicadores, de forma explícita ou implícita, encontra-se sempre
não apenas uma concepção de escola (Lima: 2002)7, mas também uma concepção de educação.
Contudo, como esclarece Nutall (1994), apesar dos significativos contributos da investigação
para o estabelecimento de relações de associação (embora dificilmente de causalidade) entre
diversas variáveis potencialmente associadas ao d
e
s
e
mpe
n
hod
a
sor
ga
n
i
z
a
ç
õe
se
d
uc
a
t
i
v
a
s
,“
no
g
e
n
e
r
a
lmo
de
loft
hee
d
uc
a
t
i
onp
r
o
c
e
s
s… c
ur
r
e
nt
l
ye
x
i
s
t
s
”(
p.
25
)
.
Pori
s
s
o,
a
nc
or
a
ru
ms
i
s
t
e
ma
de indicadores numa mera racionalidade técnico-científica amputa a compreensão da
complexidade do processo de criação de um sistema de indicadores. Importa por isso
reconhecer, na linha de Sobrinho (2000: 89) que a avaliação, “
Ai
nd
aq
uet
a
mbé
ms
e
j
au
ma
questão técnica, muito mais importantes são a sua acção e seu significad
op
ol
í
t
i
c
o
s
.
”Con
t
u
do
,a
h
e
g
e
mo
ni
ada“
e
pi
s
t
e
mol
og
i
ap
os
i
t
i
v
i
s
t
a
”s
ub
j
a
c
e
nt
ea
o“
pa
r
a
d
i
g
mado
mi
na
nt
edea
v
a
l
i
a
ç
ã
o
c
on
t
á
b
i
leg
e
r
e
nc
i
a
l
”(
Li
ma
,Az
e
ve
d
o& Ca
t
a
ni, 2008: 20), não apenas tecnocratiza o processo,
7
Como afirma Lima (2002: 17), “
aa
va
l
i
a
ç
ã
oe
d
u
c
a
c
i
o
na
ldea
l
u
no
s
,e
s
c
olas, ou departamentos, entre outros
elementos, realiza-se necessariamente por referência, implícita ou explícita, a concepções, imagens ou
r
e
pr
e
s
e
nt
a
ç
õ
e
sd
eo
r
g
a
n
i
z
a
ç
ã
oe
s
c
ol
a
r
”
.
3798
ISBN- 978-972-8746-71-1
como o impede de reflectir a pluralidade de qualidades que habitam em cada escola. Na
verdade, com expressivamente defende Afonso (2003: 51):
“
Sec
on
s
i
d
e
r
a
r
mosqu
eaq
ua
l
i
d
a
dedae
d
uc
a
ç
ã
oescolar não se consubstancia apenas na sua
qualidade científica e pedagógica, mas também, e em simultâneo, na sua qualidade
democrática, não podemos deixar de exigir que a avaliação das escolas públicas se estruture
através de procedimentos mais complexos, diversificados e muito distintos daqueles em que se
têm baseado os exames externos e
s
t
a
n
da
r
di
z
a
d
o
soup
a
dr
on
i
z
a
do
s
.
”
O reconhecimento da pluralidade de qualidades da escola é, portanto, incompatível com as
f
o
r
ma
spo
br
e
se“
p
r
e
gu
i
ç
os
a
s
”d
ea
va
l
i
a
ç
ã
o(
Az
e
v
e
do
,2
00
7)
,c
o
md
e
s
t
a
q
uepa
r
ao
s“
r
a
nk
i
n
gs
d
a
se
s
c
ol
a
s
”c
o
ns
t
r
u
í
do
sap
a
r
t
i
rd
osr
e
s
u
l
t
a
d
osdos exames do 12º ano de escolaridade, tão do
agrado de certos segmentos da nossa comunicação s
o
c
i
a
l
.Es
t
af
o
r
mad
e“
pu
bl
i
c
i
d
a
d
ee
ng
a
no
s
a
”
(
Sá& An
t
u
ne
s
,2
0
07
)
,a
l
é
md
oss
e
u
s“
e
f
e
i
t
o
sdi
s
c
i
pl
i
n
a
do
r
e
sn
a
se
s
c
o
l
a
s
”(
Sa
nt
i
a
g
oet al.,
2004), pode ainda resultar no que Miller (1990), cit
a
dop
orWa
l
s
h(
1
99
4
)
,de
s
i
gn
ap
or“
I
c
a
r
u
s
8
p
a
r
a
do
x”
.
As
s
u
mi
rae
s
c
o
l
ac
o
mo“
o
r
g
a
ni
z
a
ç
ã
oe
d
uc
a
t
i
v
ac
ompl
e
x
a
”(
Af
o
n
s
o,2
00
2;20
03
)
,o
u
c
omo“
l
ug
a
rd
evá
r
i
o
smu
nd
os
”(
Es
t
ê
vã
o,20
0
4)
,o
ua
i
n
da
,n
a
sp
a
l
a
vr
a
sd
ome
s
moa
u
t
or
,c
omo
“
or
ga
n
i
z
a
ç
ã
of
r
a
c
t
a
l
i
z
a
d
aemu
l
t
i
di
s
c
ur
s
i
v
a
”(
Es
t
ê
v
ã
o
,19
98
)
,c
o
m todas as implicações que tais
concepções de escola acarretam para a pluralização da qualidade e dos princípios de justiça e de
bem comum que aquela deve corporizar, obriga seguramente a reequacionar uma certa
engenharia da avaliação, assente numa racionalidade tecnocrática, que absolutiza modelos e
nega, ou oculta, a sua natureza mais profunda, isto é, que constituem opções entre muitos outros
futuros possíveis.
O reconhecimento da pluralidade de mandatos da escola, constituindo um requisito prévio à
pluralização da(s) qualidade(s), não se converte automaticamente em dispositivos de avaliação
capazes de registar o largo espectro de excelências que aquela pode abrigar. Como admite
Natércio Afonso (2002: 54),
“
Ép
r
o
vá
v
e
lqu
eod
e
s
e
mpe
n
hoo
r
g
a
ni
z
a
c
i
on
a
lea‘
q
ua
l
i
d
a
de
’deumae
s
c
o
l
aon
depr
e
d
o
mi
na
m
preocupações com a equidade e a coesão social não sejam adequadamente reconhecidos por um
programa de avaliação que privilegia, ao nível da definição dos padrões de referência, a
l
i
b
e
r
d
a
d
ed
ee
s
c
o
l
ha
,ae
f
i
c
i
ê
nc
i
aeapr
od
ut
i
vi
da
d
e
.
”
8
Walsh (1994), inspirando-se em Miller (1990), utiliza a e
xp
r
e
s
s
ã
o“
p
a
r
a
d
ox
od
eÍ
c
a
r
o
”pa
r
as
er
e
f
e
r
i
ra
o
risco que uma excessiva focalização numa visão reducionista do sucesso pode ter para a sobrevivência das
organizações anteriormente bem sucedidas. A este propós
i
t
o
,Wa
l
s
h(
1
99
4:5
9)a
f
i
r
ma
:“
Cor
p
or
a
t
ef
a
i
l
u
r
e
s
c
a
nf
r
e
qu
e
nt
l
yb
es
e
e
nt
oh
a
ver
e
s
u
l
t
e
df
r
oms
uc
hon
e
s
i
de
dd
e
ve
l
o
pme
nt
s
.
”
3799
ISBN- 978-972-8746-71-1
Não sendo possível iluminar, em simultâneo, o largo espectro de excelências, a selecção da face
ai
l
u
mi
na
rde
pe
n
de
,e
m úl
t
i
mai
n
s
t
â
n
c
i
a
,d
equ
e
mc
o
nt
r
o
l
ao“
ho
l
of
ot
e
”
.Ad
mi
t
i
nd
oc
om
Segiovanni et al. (1987), citados por Afonso (2002: 53), que equidade, excelência, eficiência e
liberdade constituem valores que constituem o cerne do debate sobre política educativa, resta
saber como se arquitecta o edifício educativo com uma adequada distribuição do peso pelos
quatro pilares, isto é, sem que nenhum deles soçobre. Ora, como admitem os autores referidos, a
p
e
r
ma
ne
n
t
e“
t
e
ns
ã
o
”e
n
t
r
eosvá
r
i
o
sp
i
l
a
r
e
storna a realização de tal empreendimento num
projecto de difícil consecução. Por seu lado Levin (2002), igualmente citado por Afonso (2002:
54), depois de considerar que os critérios da liberdade de escolha, eficiência, equidade e coesão
social podem constituir uma grelha de análise na prestação do serviço educativo, afirma também
q
ue“
Nã
oe
xi
s
t
en
e
nh
um s
i
s
t
e
maó
pt
i
moq
uega
ranta os máximos de resultados nos quatro
critérios. Em última análise, a escolha depende das preferências específicas e dos valores
transmitidos por intermédio das instituições democ
r
á
t
i
c
a
s
.
”Re
c
up
e
r
a
s
ea
qu
i
,ma
i
sumav
e
z
,a
natureza eminentemente ético-política, quer do edifício educativo, quer dos dispositivos
susceptíveis de serem mobilizados para o avaliar.
3.
Dispositivos avaliativos e aprendizagem de duplo circuito
A repolitização do processo avaliativo densifica a sua complexidade, obrigando à consideração
de distintos planos de análise. Já não se trata apenas de pensar a escola como organização
aprendente, na linha da single-loop learning, mas de a pensar como organização que aprende a
aprender, pressupondo esta uma double-loop learning (Morgan, 1997). Se, no primeiro caso, a
organização revela capacidade de monitorar o seu desempenho por referência aos padrões préestabelecidos e de iniciar acções correctivas em relação a eventuais desvios (ênfase nos meiosface técnica), no segundo caso, acrescenta-se a capacidade de auto-questionamento sobre a
adequação das próprias normas e objectivos (ênfase nos fins- face política). À tradicional
operação de determinação da congruência entre o desempenho e os objectivos, há agora que
adicionar uma avaliação que questione os próprios objectivos.
Boa parte da discussão em torno das questões da avaliação das escolas (e não só) tende a
circunscrever o debate à esfera dos problemas técnicos, onde incluímos o espaço de definição
do dispositivo, com especificação do referente e do referido, e de todo o arsenal metodológico
com os seus diferentes graus de sofisticação. Neste debate, as questões da validade dos
indicadores e da objectividade dos avaliadores tendem a ocupar o núcleo da agenda. Contudo, e
não obstante a relevância destas questões, o essencial parece ser remetido para as margens, ou
ficar mesmo fora de cena, isto é, a intensidade da luz que se projecta sobre o modelo e o modo
de avaliar, acaba por invisibilizar (e naturalizar) o avaliado. Na verdade, um dispositivo de
3800
ISBN- 978-972-8746-71-1
avaliação, sendo uma forma de ver, constitui simultaneamente uma forma de não ver. No caso
da avaliação das escolas, por exemplo, discute-se com frequência a adequação dos indicadores
em relação às dimensões, mas problematiza-se muito pouco as próprias dimensões, e menos
ainda a hierarquia das metas e dos objectivos educativos.9 A preocupação em seguir o caminho
certo para se alcançar uma meta não dispensa a necessidade de, a todo o momento, nos
interrogarmos sobre a bondade d
ap
r
ó
pr
i
ame
t
a
.Pori
s
s
o
,c
o
mod
e
f
e
nd
eNu
t
a
l
l(
1
99
4:1
9)
,“
we
s
h
ou
l
dd
r
o
pp
r
e
c
o
nc
e
pt
i
on
sa
bo
utwha
t‘
i
nd
i
c
a
t
or
s
’a
r
ea
n
dr
e
c
o
gn
i
z
et
h
a
ti
ti
st
h
e
i
ruse that
10
ma
k
e
st
h
e
m‘
i
n
di
c
a
t
o
r
s
’
.
”
A avaliação educacional em geral, e a institucional em particular, pode servir diferentes agentes
e agendas, realçando-se, num extremo, a avaliação orien
t
a
d
ap
a
r
aoc
o
nt
r
o
l
oa
s
s
e
nt
enu
m“
j
u
í
z
o
a
ut
o
r
i
t
á
r
i
o”(
Wa
l
s
h
,1
99
4)e
,n
oo
ut
r
oe
x
t
r
e
mo
,umaa
v
a
l
i
a
ç
ã
os
ub
or
di
na
d
aàmelhoria (Costa &
Ventura, 2005) e impulsionadora da emancipação (Afonso, 2005a; 2005b) e do
d
e
s
e
n
vo
l
vi
me
nt
oh
uma
n
odo
s“
a
t
or
e
s
s
u
j
e
i
t
o
s
”(
Ga
s
paretto, s/d) implicados no processo. Não
está na sua natureza servir uns ou outros. Usá-la para fin
sd
e“
p
r
e
mi
a
ç
ã
o”e“
p
un
i
ç
ã
o
”
,p
o
r
exemplo, constitui um dos (ab)usos que pode gerar o seu desvirtuamento pois, nesse caso,
c
omod
e
nu
nc
i
aGa
s
p
a
r
e
t
t
o(
s
/
d
)
,
“
I
s
s
or
e
s
u
l
t
anaampliação da resistência ao processo avaliativo
eas
u
aa
go
n
i
z
a
ç
ã
oemo
r
t
e
.
”(
p.2
)
,oue
nt
ã
o,aa
v
a
l
i
a
ç
ã
ot
o
r
n
a
s
en
um j
o
god
o“
ga
t
oed
or
a
t
o”
(Ventura, 2006), podendo mesmo gerar alguns efeitos colaterais (Sá, 2009). No caso português,
como escrevemos recentemente (Sá, 2009: 101),“
ai
n
t
e
r
c
o
ne
x
ã
odeum conjunto diversificado
d
er
e
c
e
n
t
e
sme
d
i
d
a
sdepo
l
í
t
i
c
ae
d
uc
a
t
i
v
a[
…]
,p
od
es
e
ri
n
du
t
o
r
a
,n
ã
oa
pe
n
a
sd
e“
r
i
va
l
i
d
a
d
e
i
nt
e
r
i
ns
t
i
t
u
c
i
o
na
l
”(
Li
maet al., 2008), mas militar também no sentido de gerar excluídos.
”
4.
À laia de conclusão
Comode
f
e
n
d
eAz
e
v
e
do(
2
00
7:16
)
,“
Asc
r
i
a
ç
õ
e
ssociais são sempre muito mais complexas do
que os instrumentos de que dispomos para a
sa
va
l
i
a
r
.
”Ne
s
t
ac
i
r
c
un
s
t
â
nc
i
a
,ea
pe
s
a
rda
impressionante proliferação
verificada na produção de sistemas de indicadores de
11
desempenho , a vigilância crítica deve constituir a postura que orienta a avaliação dos
9
Um exemplo paradigmático do efeito de ofuscação da face técnica sobre a face política da avaliação pode
s
e
re
n
c
on
t
r
a
d
on
os“
c
o
n
t
r
a
di
t
ór
i
os
”pr
o
du
z
i
d
osp
e
l
a
se
s
c
olas a propósito das avaliações externas realizadas
p
e
l
aI
GE.Com f
r
e
qu
ê
n
c
i
aa
se
s
c
o
l
a
s“
q
ue
i
x
a
ms
e
”d
eq
uenã
os
e“
me
di
u”b
e
me
s
t
eoua
q
ue
l
ea
s
p
e
c
t
o,ma
s
r
a
r
a
me
n
t
es
e“
i
nt
r
ome
t
e
m”n
ap
r
ob
l
e
ma
t
i
z
a
ç
ã
od
oq
ues
ea
v
a
l
i
aedopa
r
aqu
es
ea
va
l
i
a
.
10
Importa referir que Nutall (1994: 19), ao desenvolver este raciocínio, reconhece que se inspira em
Selden (1991), autor que considera ter tido o mérito de t
e
r“
de
s
a
t
a
d
oon
óg
ór
d
i
o
”dad
i
s
c
us
s
ã
oe
mt
o
r
no
desta questão.
11
Walsh (1994: 51), baseando-se em estudos de outros autores, informa-nos que na década de 80 se
assistiu a um rápido crescimento do número de indicadores de desempenho em diversos serviços
públicos. Por exemplo, no caso do Serviço Nacional de Saúde inglês, passou-se de 70 indicadores em
1980 para 450 em 1988 e no livro banco da despesa pública passou-se de 500 em 1985 para 1800 em
1987, data a partir da qual, acrescenta oa
u
t
o
r
,“
n
oo
newa
sc
ou
nt
i
n
ga
nymo
r
e
”
.
3801
ISBN- 978-972-8746-71-1
processos e dos produtos educativos, bem assim como os usos (e abusos) que se fazem dos seus
resultados. Como esclarece Walsh (1994: 56), “
Pr
o
d
uc
t
i
o
np
r
o
c
e
s
s
e
si
nt
h
epu
bl
i
cs
e
c
t
ora
r
e
f
r
e
qu
e
n
t
l
yc
o
mp
l
e
xa
n
du
n
c
l
e
a
r
”
.Con
s
i
d
e
r
apo
risso o mesmo autor que “
i
ti
si
n
a
pp
r
o
pr
i
a
t
e
and, perhaps, unfair to relate reward to performance if we are unable to develop very clear
u
nd
e
r
s
t
a
n
di
n
gso
ft
h
ec
a
u
s
e
so
fe
f
f
e
c
t
i
v
e
ne
s
s
.
”Con
t
u
d
o,or
e
c
o
n
he
c
i
me
nt
od
e
s
t
aparcialidade e
subjectividade não significa excluir a possibilidade e necessidade de avaliação das escolas e,
me
n
osa
i
n
da
,c
e
de
rà “
e
s
p
i
t
e
mo
l
o
gi
ap
os
i
t
i
v
i
s
t
a
”(
Li
ma
,Az
e
ve
d
o & Ca
t
a
ni
,20
08
:2
0)
s
u
bj
a
c
e
n
t
eà
sde
r
i
v
a
sge
r
e
n
c
i
a
l
i
s
t
a
s
,à
sob
s
e
s
s
õe
smé
t
r
i
c
a
s(
“
q
ua
n
t
o
f
r
e
n
i
a
”
)eà
sp
r
e
s
s
õe
s
performativas que impregnam a pandemia das reformas educativas.
O debate em torno da avaliabilidade da escola, além do reconhecimento da sua natureza
“
or
ga
n
i
z
a
ç
ã
oc
omp
l
e
x
a
”
,t
e
mi
gu
a
l
me
n
t
edei
nc
orporar uma reflexão em torno dos limites à
me
d
i
ç
ã
oe
me
du
c
a
ç
ã
o
,b
e
mc
omo a
s“
e
x
t
e
r
na
l
i
d
a
de
s
”i
n
e
r
e
nt
e
sà p
r
e
s
t
a
ç
ã
o des
e
r
vi
ç
os
p
úb
l
i
c
os
.Co
moe
s
c
l
a
r
e
c
eWa
l
s
h(
19
94
:5
4)
,“
Thedi
fficulty in defining the public realm is not
technical, but based in the nature of the public r
e
a
l
ma
st
h
es
i
t
eo
fc
on
f
l
i
c
t
i
ngva
l
ue
s
.
”Poro
ut
r
o
lado, mesmo que tecnicamente fosse possível medir a eficácia da prestação do serviço
educativo, ainda havia que considerar as implicações éticas de fazer experiências com as
pessoas.
Po
rou
t
r
ol
a
d
o,“
a‘
n
a
t
u
r
a
l
i
z
a
ç
ã
o’s
oc
i
a
leé
t
i
c
ad
apr
ob
l
e
má
t
i
c
adaq
ua
l
i
d
a
de
”(
Co
r
r
e
i
a
,19
99
:
1
6)i
mpõ
eum “
c
o
n
s
e
n
s
oc
og
ni
t
i
vo
”qu
eob
nu
b
i
l
aap
e
r
c
e
p
ç
ã
od
asua função de legitimação e
impede a visão da sua natureza políptica. Contudo, considerando q
uea“
q
ua
l
i
d
a
de
”po
d
en
ã
o
p
a
s
s
a
rde“
u
man
ov
ar
e
t
ó
r
i
c
ac
on
s
e
r
v
a
d
or
a
”(
Ge
n
t
i
l
l
i
,1
9
97
)
,i
mp
õe
s
eas
u
aadjectivação, até
p
or
q
u
eama
l
haa
va
l
i
a
t
i
vaqu
ea
p
a
nh
aa“
q
ua
l
i
d
a
deme
r
c
a
nt
i
l
”po
den
ã
od
a
rc
o
n
t
ada“
qu
a
l
i
d
a
d
e
d
e
moc
r
á
t
i
c
a
”
.
Referências bibliográficas
AFONSO, A. J. (2002). Políticas Educativas e Avaliação de Escolas: por uma Prática Avaliativa
menos Regulatória. In J. A. Costa, A. N. Mendes & A. Ventura. Avaliação de Organizações
Educativas. Aveiro: Universidade de Aveiro.
AFONSO, A. J. (2003). Avaliar a Escola e a Gestão Escolar: Elementos para uma Reflexão
Crítica. In M. T. Esteban. Escola, Currículo e Avaliação. São Paulo: Cortez Editora.
AFONSO, A. J. (2005). Avaliação Educacional: Regulação e Emancipação. São Paulo: Cortez.
AFONSO, N. (2002). Avaliação e Desenvolvimento Organizacional de Escola. In J. A. Costa,
A. N. Mendes & A. Ventura. Avaliação de Organizações Educativas. Aveiro: Universidade de
Aveiro.
3802
ISBN- 978-972-8746-71-1
APPLE, M. (2001). Reestruturação Educativa e curricular e as agendas neoliberal e
neoconservadora: Entrevista com Michael Apple. Currículo sem Fronteiras. Vol 1, nº1, pp. 533, Jan/Jun (edição electrónica). (Entrevista conduzida por Michael Shaughnessy, Kathy Peca e
Janna Siegel).
AZEVEDO J. M. (2007). Avaliação das escolas: Fundamentar modelos e operacionalizar
processos. In M. Miguéns (Org.). Seminário Avaliação das Escolas- Modelos e Processos.
Lisboa: Conselho Nacional de Educação.
BALL,S.(
19
93
)
.Edu
c
a
t
i
on
,Pol
i
c
y
,Po
we
rRe
l
a
t
i
on
sa
n
dTe
a
c
he
r
’
sWo
r
k
.British Journal of
Educational Studies, Vol. XXXXI, nº 2, pp. 106-121.
BALL, S. (2002). Reformar Escolas/Reformar Professores e os Terrores da Performatividade.
Revista Portuguesa de Educação, Vol 15, nº 2, pp. 3-23.
CLÍMACO, M. C. (1991a). Os Indicadores de Desempenho na Gestão e Avaliação da
Qualidade Educativa. Inovação, vol 4, nº 2-3, pp. 87-125.
CLÍMACO,
M.
C.
(Coord.)
(1991b).
Monotorização
das
escolas : indicadores
de
desempenho : relatório 1 / Gabinete de Estudos e Planeamento. Lisboa : GEP/ME.
CORREIA, J. A. (1999). Os
“Lu
ga
r
e
s

Co
mu
ns
” na
Fo
rmação de Professores. Porto: Edições
ASA.
COSTA, J. A. & VENTURA, A. (2005). Avaliação e Desenvolvimento Organizacional.
I
n
f
ân
c
i
a
e
Edu
c
aç
ã
o – I
nv
e
s
t
i
g
aç
ã
o e
Pr
át
i
c
a
s
, n.º 7, pp. 148-161.
ESTÊVÃO, C. (1998). Redescobrir a Escola Privada Portuguesa como Organização. Braga:
Universidade do Minho.
ESTÊVÃO, C. (2001) Políticas Educativas, Autonomia e Avaliação. Reflexões em torno da
dialéctica do reajustamento da justiça e da modernização. Revista Portuguesa de Educação,
Braga, vol. nº 2, pp. 155-178.
ESTÊVÃO, C. (2004). Educação, Justiça e Democracia. Um estudo sobre as geografias da
justiça em educação. São Paulo: Cortez Editora.
ESTRELA, A. & RODRIGUES, P. (Coords.) (1994). Para uma Fundamentação da Avaliação
em Educação. Lisboa: Edições Colibri.
FIGARI, G. (1996). Avaliar: Que Referencial?. Porto: Porto Editora.
FIGARI, G. (1999). Para uma Referencialização das Práticas de Avaliação dos
Estabelecimentos de Ensino. In A. Estrela & A. Nóvoa (Orgs.). Avaliações em Educação:
Novas Perspectivas. Lisboa: Educa.
GASPARETTO, A. (s/d). Avaliação Institucional: Processo Doloroso de Mudança; A
Experiência da UESC, Ilhéus, Bahia. Consultado em 25 de Setembro de 2006 no site
www.cappf.org.br/tiki-download_file.php?fileId=40.
3803
ISBN- 978-972-8746-71-1
GENTI
LI
,P.(
1
99
7)ODi
s
c
ur
s
od
a“
Qu
a
l
i
da
de
”c
omoNov
aRe
t
ór
i
c
aCo
ns
e
r
v
a
do
r
an
oCa
mpo
Educacional. In P. Gentili; T.T. Silva (Orgs.). Neoliberalismo, Qualidade Total e Educação.
Petrópolis: Editora Vozes.
HADJI, C. (1994). A Avaliação, Regras do Jogo. Das Intenções aos Instrumentos. Porto: Porto
Editora.
LIMA, L. C. (2002). Avaliação e Concepções Organizacionais de Escola: Para uma
Hermenêutica Organizacional. In J. A. Costa, A. N. Mendes & A. Ventura. Avaliação de
Organizações Educativas. Aveiro: Universidade de Aveiro.
LIMA, L. C., AZEVEDO, M. & CATANI, A. (2008). O Processo de Bolonha, a avaliação da
educação superior e algumas considerações sobre a Universidade Nova. Avaliação, vol 13, nº 1.
MILLER, D. (1990). The Icarus Paradox: How Exceptional Companies Bring About their Own
Downfall. New York: Harper Collins.
MOON, B., ISAAC, J. & POWNEY, J. (Eds.)(1990). Judging Standards and Effectiveness in
Education. London: Open University.
MORGAN, G. (1997). Images of Organization. Thousand Oaks: Sage Publications. (2nd ed.).
NUTALL, D. L. (1994). Choosing Indicators. In K. Riley &, D. Nutall (Eds.) Measuring
Quality. Education Indicators. London: The Falmer Press.
PERRENOUD, PH. (2003). Dez princípios para tornar o sistema educativo mais eficaz. In J.
Azevedo. Avaliação dos Resultados Escolares. Medidas para tornar o sistema mais eficaz.
Porto: Edições ASA.
REYNOLDS, D. (1990). School Effectiveness and School Improvement: A Review of the
British Literature. In B. Moon, J. Isaac & J. Powney (Eds.). Judging Standards and
Effectiveness in Education. London: Open University.
RILEY, K. & NUTALL, D. (Edts.) (1994). Measuring Quality. Education Indicators. London:
The Falmer Press.
SHEERENS, J. (1989). Process-indicators of school functioning: a selection based on the
research literature on school effectiveness. University of Twente.
SHAVELSON, R., McDONNELL, L., OAKES, J., CAREY, N. & PICUS, L. (1987). Indicator
Systems for Monitoring Mathematics and Science Education. Santa Monica: Rand Corporation.
SÁ, V. (2004). A Participação dos Pais na Escola Pública Portuguesa. Um Abordagem
Sociológica e Organizacional. Braga: Universidade do Minho.
SÁ, V. (2008). O discurso da qualidade no contexto da recomposição das desigualdades em
educação. Revista Brasileira de Estudos Pedagógicos, vol. 89, nº 223, pp. 425-444.
SÁ, V. (2009). A (auto)avaliação das escolas. Virtudes e efeitos colaterais. Ensaio, Vol 17, nº
62.
3804
ISBN- 978-972-8746-71-1
SÁ, Virgínio & ANTUNES, Fátima (2007). Rankings, Competição e Escolhas na
Administração da Educação: Um Olhar desde as Escolas - IV Congresso Luso-Brasileiro de
Política e Administração da Educação. Faculdade de Psicologia e Ciências da Educação da
Universidade de Lisboa, 12-14 de Abril (Aguarda publicação nas Actas).
SIMÕES, G. M. J. (2007) A Auto avaliação das escolas e a regulação da acção pública em
educação. Sísifo. Revista de Ciências da Educação, 04, pp. 39 48. Consultado em Maio, 2008
em http://sisifo.fpce.ul.
SOBRINHO, J. (2000). Avaliação Institucional da Educação Superior: Fontes Internas e
Externas. Petrópolis: Vozes.
VENTURA, A. (2006). Avaliação e Inspecção das Escolas: Estudo de Impacte do Programa de
Avaliação Integrada. Aveiro: Universidade de Aveiro (tese de doutoramento policopiada).
WALSH, K. (1994). Quality, Surveillance and Performance Measurement. In K. Riley&, D.
Nutall (Eds.) Measuring Quality. Education Indicators. London: The Falmer Press.
3805