Reddit encontra-se a bloquear todos os motores de pesquisa, exceto o Google

Nos últimos tempos, os resultados da Google têm sido inundados com conteúdos originários do Reddit. Muitos consideram mesmo que, embora o Reddit seja uma das maiores fontes de informação atualmente disponíveis, a Google encontra-se a destacar em demasia conteúdos desta – e até a usar a informação para os resultados rápidos de pesquisa usando IA.

Em parte, isso deve-se a um acordo que terá sido feito entre a Google e o Reddit, onde o motor de pesquisa paga para ter acesso a toda essa informação diretamente, e pode usar a mesma para treinar os seus próprios modelos de IA.

Mas ao que parece, o Reddit agora encontra-se a ir mais longe, ao ponto de bloquear o acesso de qualquer outro motor de pesquisa aos seus conteúdos que não seja a Google. Os utilizadores de motores de pesquisa alternativos, como o Brave Search, Bing, DuckDuckGo, Mojeek, entre outros, podem começar a deixar de ver resultados do Reddit.

De acordo com o portal 404media, atualmente o Reddit encontra-se a aplicar medidas para bloquear todos os restantes motores de pesquisa que não sejam a Google, de acederem publicamente aos conteúdos neste.

A medida, no entanto, parece estar a ser feita de forma secreta. A maioria dos motores de pesquisa usam o ficheiro “robots.txt” para analisarem a possibilidade de recolha de dados num site. No caso do Reddit, atualmente o mesmo apresenta o ficheiro como estando a bloquear todos os motores de pesquisa e bots.

No entanto, Colin Hayhurst, CEO da Mojeek, afirma que o Reddit encontra-se a aplicar técnicas para bloquear bots de sistemas de pesquisa conhecidos, com o objetivo de impedir o acesso à informação do mesmo. Ao que parece, todos os motores de pesquisa encontram-se a verificar problemas no acesso ao Reddit, sendo que apenas o Google é permitido.

Este bloqueio é feito por várias formas, mas uma delas passa por bloquear os IPs usados por bots conhecidos de pesquisa, ou de apresentar um robots.txt diferente para os bots.

De relembrar que o Reddit criou uma parceria com a Google, avaliada em 60 milhões de dólares, onde a empresa pode usar os conteúdos do Reddit para treinar os seus modelos de IA. Outras entidades também tinham vindo a usar dados do Reddit para este fim, algo que a empresa já tinha considerado como abusivo.