XXVIII ENDIO, XXVI EPIO y RED

XXVIII ENDIO, XXVI EPIO y RED-M VIII
AVALIAÇÃO DE DESEMPENHO DISCENTE UTILIZANDO O
MÉTODO SMART
NAIARA A. GALLIANI – CARMEN N. BELDERRAIN – ANDRES J. LOPEZ
Departamento de Gestão e Apoio a Decisão - Instituto Tecnológico de Aeronáutica
[email protected] – [email protected] – [email protected]
Palavras Chave: Indicador de desempenho – Educação Profissional – SMART
RESUMO
A medição do desempenho dos discentes de uma escola do Serviço
Nacional de Aprendizagem Industrial (SENAI) tornou-se necessária, após a
mudança do perfil do aluno que ingressa através do Programa Nacional de
Acesso ao Ensino Médio e Emprego (PRONATEC). Os indicadores de
educação profissional existentes não permitem uma análise do desempenho
global das turmas de curso técnico. Para obtenção desse desempenho foi
utilizado o método Simple Multi-Attribute Rating Technique (SMART). Os
resultados foram coerentes, pois evidenciaram quantitativamente o que já era
de conhecimento qualitativo pelo núcleo pedagógico. Todavia propõe-se a
continuidade do estudo para melhorar a qualidade do processo de ensinoaprendizagem dos alunos do SENAI.
1. INTRODUÇÃO
A Educação Profissional é um dos caminhos utilizado para elevar a
competitividade da indústria brasileira e é parte da missão do Serviço Nacional
de Aprendizagem Industrial (SENAI).
O Programa Nacional de Acesso ao Ensino Médio e Emprego (PRONATEC)
mudou o perfil de aluno que ingressa no SENAI que antes era o trabalhador da
indústria que buscava aprimoramento técnico e hoje são jovens, a partir de 16
anos com pouca ou nenhuma experiência profissional. Dessa maneira, mesmo
sem alterações na forma de conduzir o processo de qualificação de mão-deobra para indústria, devido à mudança do perfil do aluno, a qualificação do
egresso nem sempre é suficiente para atender as indústrias e contribuir para o
aumento da sua competitividade. Batista (1999), Tabachi e Flores (2005)
enfatizam, em seus trabalhos enfatizam, em seus trabalhos, a importancia da
definição de indicadores para o controle de qualidade de ensino. Assim, para a
situação exposta, a avaliação do desempenho discente no processo de Ensino
Profissional tornou-se necessária.
O objetivo fundamental deste trabalho é mensurar o desempenho
discente das turmas de cursos técnicos do SENAI Rondonópolis a fim de
subsidiar ações de melhoria contínua dos indicadores de desempenho da
educação profissional.
2. ESTUDO DE CASO
O problema abordado, baixo desempenho dos cursos técnicos de
Educação Profissional, principalmente o indicador de Produção Aluno Hora
(PAH); foi estruturado para utilizar o método Simple Multi-Attribute Rating
RE-55
XXVIII ENDIO, XXVI EPIO y RED-M VIII
Technique (SMART) (Olson et al 1996). A determinação dos pesos de cada
critério foi obtida utilizando a comparação par a par do método Analytic
Hierarchy Process (AHP).(Saaty, 1991).
A seguir a aplicação dos passos do método SMART detalhados a
seguir:
2.1
Identificação dos stakeholders
Gerente da unidade, núcleo pedagógico e alunos.
2.2
Identificação do problema em questão
Os indicadores de desempenho de Educação Profissional apresentam
resultados inferiores da meta estipulada. A função de desempenho global
apresenta a seguinte estrutura: Desempenho = NC1*PC1 + NC2* PC2 + NC3*PC3 +... + NCn*PCn
Onde, NC = Nota do Critério; PC = Peso do Critério; e n = número de
critérios. 2.3
Identificação das alternativas
Como forma de validação do modelo, buscou-se, inicialmente, aplicar a
metodologia em oito turmas de curso técnico do mesmo eixo tecnológico,
que é saúde e segurança do trabalho. 2.4
Identificação dos critérios relevantes
Para identificação desses critérios relevantes realizou-se um
Brainstorming com os stakeholders, exceto os alunos. O critérios definidos
são: Frequência (FRQ); Evasão (EVA); Projetos (PRO); e Cursos EAD
(EAD). 2.5
Medição do desempenho das alternativas
•
Frequência (FQR): representa a assiduidade dos alunos de cada
turma, sendo um fator impactante para o indicador de Produção Aluno
Hora (PAH).
FRQ = PAH Real / PAH Planejada * 100
•
Projetos (PRO): execução de uma atividade planejada e documentada
através de um formulário padrão. Para determinação do valor
referente a esse critério, definiu-se elaboração de uma escala de
acordo com a abrangência do projeto.
•
Cursos EAD: cursos gratuitos
disponibilizados pelo SENAI.
RE-56
de
Educação
à
Distância
XXVIII ENDIO, XXVI EPIO y RED-M VIII
EAD = Cursos Realizados / Cursos Disponíveis *100
•
Aprovação Unidade Curricular (AUC): para obter essa aprovação o
aluno precisa atingir uma média final acima de seis.
AUC = n° alunos aprovados / total de alunos matriculados * 100 A Tabela 1 apresenta a performance das alternativas frente a cada criterio Tabela 1 - Valores mensais de cada turma frente cada critério.
CRITÉRIOS
TURMAS
N1
M1
N2
V1
M2
V2
M3
N3
2.6
FREQUÊNCIA
(FRQ)
76,6
92,8
66,7
76,5
81,4
88,4
91,9
32,9
APROVAÇÃO
(AUC)
72,7
100,0
96,6
67,6
93,1
89,7
41,2
39,5
PROJETOS
(PRO)
100,0
0,0
0,0
0,0
100,0
0,0
100,0
0,0
EAD
50,0
50,0
50,0
50,0
50,0
50,0
50,0
50,0
Determinação do peso de cada critério
Para determinação do peso de cada critério, utilizou-se a comparação
par a par do método AHP. Para realização dessa atividade foi envolvido o
Gerente da Unidade e um representante do Núcleo Pedagógico que, através
de consenso, definiu a pontuação de importância de cada critério segundo o
objetivo principal. Obteve-se assim o peso de cada um dos critérios: Frequência (64%),
Projeto (10%), EAD (20%) e Aprovação (6%).
2.7
Medição do desempenho das alternativas
O modelo para a medição do desempenho global das alternativas foi
aplicado e obtida a pontuação de cada uma das alternativas, representadas na
Tabela 2.
Desempenho = FRQ*0,64 + PRO* 0,10 + EAD*0,20 + AUC*0,06
Tabela 2 - Desempenho das Alternativas
TURMAS N1
M1
N2
V1
M2
TOTAL
73,4
75,4
58,5
63
RE-57
77,7
V2
M3
N3
71,9
81,3
33,4
XXVIII ENDIO, XXVI EPIO y RED-M VIII
Conforme esperado as turmas do turno matutino (M1 e M2) obtiveram
desempenho superior às dos demais turnos por ser um período onde estão
presentes todos os profissionais de processos finalísticos e de apoio
envolvidos na execução dos cursos técnicos.
3. CONCLUSÃO Os resultados do método SMART foram satisfatórios e o modelo
encontrado atende às necessidades de medição de desempenho das
turmas de cursos técnicos do SENAI.
O uso do AHP para determinação dos pesos dos critérios forneceu
maior segurança e transparência por diminuir a subjetividade dos
julgamentos, presente no uso do SMART.
Esse modelo será aplicado em todas as turmas de cursos técnicos
posibilitando, para o SENAI, uma visão sistêmica e global de cada turma; o
que levará uma análise de conjuntura.
4. REFERENCIAS
BATISTA, F.F. (1999) Elaboração de indicadores de desempenho
institucionais. São Paulo: Instituto Serzedelo Correa, Brasil.
OLSON, D.L et al. (1996). Decision aids for selection problems. New York,
NY: Springer. Versão obtida em 25/11/14. http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=1087&context=man
agementfacpub
SAATY, T. L. (1980) The Analytic Hierarchy Process: Planning, Priority,
Setting and Resource Allocation, McGraw-Hill, USA.
SAATY, T. L. (1991) Método de Análise Hierárquica, Makron Books do Brasil
Editora Ltda.,Brasil.
TABACHI, N.T.; FLORES, M.C.X. (2005) Indicadores da qualidade e do
desempenho: como estabelecer metas e medir resultados. Rio de Janeiro:
Qualitymark. Brasil.
RE-58