Avaliações - Média injusta

[SansaoSeara]

E aí tudo bem com vcs?

Essa semana minha média de instrutor estava 4,47, e entrou uma avaliação de 1 estrela e ela caiu para 4,41.

E ainda nessa semana entrou 10 avaliações de 5 estrelas e uma de 4,5 (11 avaliações positivas) e minha média foi para 4,43 hoje.

Essa proporção está correta, qual peso de uma nota 5 estrelas, vocês acham que esse cálculo está sendo justo?

Não estou reclamando nem tenho a intenção de gerar polêmica, só compartilhando e tentando entender.

[MarcoMaddo]

Olá @SansaoSeara,

Isso já aconteceu comigo e acontece com regularidade. É muito desagradável ver uma aluno classificar com 1 estrela nossos cursos e não postar nenhum comentário justificando o motivo da classificação. Mas, isso é o menor dos problemas com esse sistema de avaliação. Eu simplesmente passei ignorar todo tipo de classificação, 1, 2, 3, 4 ou  5 estrelas, nem perco mais tempo agradecendo ou respondendo, muito menos lendo os comentários. Primeiro isso toma muito tempo, não somos pagos adequadamente para gastar tempo com isso. Eu dediquei muito tempo para a produção de conteúdos ótimos, já tive 14 cursos publicados, hoje estou com apenas 3 e pretendo ficar com apenas 1 curso publicado por algum tempo.

Minha sugestão para você seria não perder tempo com esse sistema de classifações da Udemy, nem adianta reclamar porque nada será feito a nosso favor.

Sucesso,

Marco Maddo

[IsmarSouza]

Fala, @SansaoSeara 

Cara, apesar de parecer injusto, a média é uma questão de matemática. Em médias, variações "baixas" causam mais impacto do que as "altas" mesmo.

Reforçando o comentário do @MarcoMaddo , não esquenta com isso.

Na verdade, eu não esquentaria com nenhum sistema de avaliação de média (principalmente os que se baseiam em 5 pontos).

Já recebi avaliação de 1 estrela de aluno porque o indivíduo não sabia como achar o botão para iniciar o curso. Mas como ele avaliou o curso se não achou como iniciar o curso 🤷🏻

Também não faço ideia.

Entro em contato com a Udemy, e a resposta é que o aluno tem o direito de expressar sua opinião. Então, deixe seguir. Foi o meu último contato com avaliações.

O sistema de classificação aqui é apenas mais uma das coisas que precisamos ignorar se quisermos continuar com os cursos na plataforma.

[SansaoSeara]

@IsmarSouza eu não esquento com isso, eu só perguntei mesmo, aí trouxe os números, para entender se é assim mesmo que funciona ou não...

Mas eu não perco sono por avaliações, reembolsos e esse tipo de coisa, mas essa foi vez que observei o número exato!

[Carolina M.]

Olá, @SansaoSeara.

Muito obrigada por compartilhar suas preocupações com o resto da Comunidade. Muitos instrutores têm dúvidas quanto às avaliações e acredito que seu post possa ajudar a todos por aqui.

As avaliações na Udemy são um pouco mais complexas do que uma simples média das estrelas, já que levamos em consideração uma série de fatores para garantir que o feedback dos alunos tenha pesos diferentes.

Alguns dos critérios que levamos em consideração ao pesar uma classificação são: o progresso do aluno no curso; quando a classificação foi feita; e o quão útil o feedback é para o instrutor e para outros alunos.

Além disso, nós temos medidas para evitar que avaliações spam apareçam nos cursos. Se uma avaliação for julgada como spam baseado no comportamento do aluno, ela não será exibida em seu curso. Você também pode reportar uma avaliação como spam ou inválida para nosso time de Suporte, caso acredite que algum comentário não esteja relacionado com seu curso ou algo parecido.

Nós temos este artigo e também este aqui sobre algumas de nossas diretrizes de avaliação que falam um pouco mais sobre avaliações spam.

Abraços!

[IsmarSouza]

Desde 2015, as avaliações "injustas" são um dos tópicos que mais geram discussões na Udemy. Já vi muitas explicações interessantes sobre o assunto (nenhuma vinda da Udemy, infelizmente).

O ponto mais importante a se considerar é: as avaliações não são justas individualmente, apenas a média é.

E porque isso acontece?

OBS: Não sou da área de exatas, e não não tenho muita afinidade com números, mas vamos lá...

Matematicamente, cada nova avaliação altera a média com base na sua diferença em relação à média atual. Por isso avaliações muito abaixo da média têm um impacto muito mais alto na redução da média, enquanto muitas avaliações precisam ser significativamente acima da média para compensar e aumentar a média geral de forma perceptível.

Então, respondendo sua pergunta "Essa proporção está correta, qual peso de uma nota 5 estrelas": aparentemente, sim. O peso de uma nota 5 é menor do que um 1 porque o 5 está mais próximo da média geral do que o 1.

Agora, a segunda parte da sua pergunta "vocês acham que esse cálculo está sendo justo?": Sim, O CÁLCULO é justo. Mas já sobre o teor da avaliação, isso é assunto para outra discussão rsrs.

Como disse, as avaliações não são justas individualmente, apenas a média é.

Agora, outro ponto que considero ainda mais importante e quase ninguém considera ou nem faz ideia de existe, mas as avaliações 4 e 5 estrelas são quase que neutras.

Se seu curso tem uma média muito diferente da 'média geral da plataforma para todos os cursos', é sinal de que seu conteúdo realmente não está ressoando com o público. Mas se a sua média está dentro do "comum", não temos com o que nos preocupar.

[SansaoSeara]

@IsmarSouza e uma boa explicação, como disse não chega a ser um preocupação, eu coloquei a pergunta exibindo o números exatos pra estimular uma explicação, os cursos estão com notas acima de 4 o que na percepção das pessoas 3,9 já e considerado nota baixa.

O que acaba sendo frustrante são notas baixas por conta de aluno não achar PDF, ou não consegui baixar certificado, e as vezes acontece mesmo eu colocando aulas ensinando a fazer essas coisas.

Um ponto que percebo e que as vezes a udemy demora meses pra liberar as avaliações, e tem momentos que entram muitas notas baixas, outros que entram notas altas, e acaba gerando percepção que Udemy tem algum critério pra fazer isso.

Mas a intenção não e reclamar apesar do título era do gerar explicações aqui mesmo.

[MarlonCarvalho]

É horrível mesmo, eu fiz o seguinte teste, tenho dois cursos de edição de vídeo com softwares diferentes, peguei os dois e fiz um terceiro, com combo de 2 cursos juntos, esse combo ficou com nota muito baixa e vende pouco, já os cursos separados tem notas boas, infelizmente o sistema da Udemy não ajuda quanto a notas sem sentido.

[Marcio]

Esses dias eu mandei mensagens para alguns alunos revisarem as avaliações, pq eles deram nota 1.0, 2.5 e 3.0, mas deixaram excelentes comentários. E dando uma geral nas avaliações, tem vários casos assim. Não sei o que se passa na cabeça dos alunos, parece que eles não entendem o sistema de avaliação. Como pode o cara dar nota 2.5 e dizer ao mesmo tempo que o curso é excelente? 

Mas no final das contas, nenhum dos alunos retornou ou reavaliou o curso. Na verdade, os alunos não ligam para a avaliação, eles fazem tudo meio de forma mecânica pq aparece aquela bendita janelinha de avaliação. E então, eles avaliam com um má vontade.

A avaliação é dada com atenção quando querem realmente criticar o curso para o bem ou para o mal. Mas na maioria das vezes é na base da obrigação. 

[MarlonCarvalho]

A verdade é que muitas das vezes, quando eles vão clicar em algo, eles clicam sem querer na avaliação e não prestam atenção, fazem um comentário bom e clicam em avaliar.

O pior de tudo é esse 4.5, a pessoa vai dar 5 estrelas (inclusive já aconteceu comigo), e em seguida deixa o comentário e clica em avaliar, se não prestar atenção, eu 4.5 sem querer.

Eu acho que a solução pra isso seria, no meio do curso, a Udemy voltar a solicitar mais feedback do aluno sobre o curso, pra alterar a avaliação, e também, no final do curso.