Smells like botspirit

Stephan Kaag vr 14 maa 2008

Populaire webapplicaties worden regelmatig door GoogleBot en vrienden bezocht. Om vanuit je Rails applicatie te kunnen detecteren of met zo’n webcrawler te maken hebt kun je gebruik maken van het volgende stukje code:

class BotSniffer
  def self.smells_like_a_bot?(user_agent)

  user_agent=~ /(dummy|Teoma|alexa|froogle|inktomi|looksmart
|URL_Spider_SQL|Firefly|NationalDirectory|
Ask Jeeves|TECNOSEEK|InfoSeek|WebFindBot|
crawler|girafobot|Scooter|Baidu|bot|Google
|SiteUptime|Slurp|WordPress|ZIBB|ZyBorg
|msnbot|check_http|libwww-perl|lwp-trivial)/i
  end
end

Handig om bepaalde delen van je applicatie toegankelijk te maken voor (iemand die zich voordoet als) indexerende vrienden!

Gepost in hor | 1 reactie

Ernest Micklei za 26 apr 2008, 22:40

dank je voor de lijst. ik heb er meteen een BotRejectFilter (voor Java weliswaar) gemaakt hiervan. Uit mijn logs kwam er nog een tevoorschijn: panscient.com

Plaats je reactie

Welkom op Holland On Rails

Het startpunt voor Ruby On Rails in Nederland. Vind de laatste technieken, meningen en nieuwtjes.

Recente Jobs

Die-Hard programmeur!

Houd jij van bowlen en The A-team? Kom dan bij ons werken! Wij ontwikkelen alleen maar in Rails, dus feest! Daarnaast hebben we Herman Miller stoelen!
(Zomaar een leuk project welke we gemaakt hebben: mijnopenid.nl)

@ Holder, Obdam

Stagiaires zijn welkom

voor opdrachten met leading edge open source technologiën. We bieden zorgvuldige en inhoudelijk goede begeleiding.

@ Agile Dovadi, Amsterdam

Bekijk alle jobs »»

Gereedschapskist

Onmisbare tools voor
iedere developer!

Ruby On Rails Framework voor de web 2.0 developer. Eindelijk vooruitgang!
TextMate Editor for true pro's Typ, tab, top :-) Nee, niet voor Win.
Made On A Mac En nou is het over met die saaie grijze Windows bak van je!

Auteurs op deze site

Chris Obdam

'Less is more' evangelist, past dit ook dagelijks toe op zijn tandenborstel.

Chiel Wester

Snelheidswonder op Ruby wielen. Leuk om mee te pair-programmen ;-)

Stephan Kaag

Het eerste Rails coreteam- member uit Nederland? Rails evangelist van het eerste uur.

Paul Engel

Én Rails programmeren én interfaces designen? Je zou hem superman kunnen noemen..

Robbert Dol

Droomt Ruby code, wat anderen een nachtmerrie noemen is voor hem een prettige droom.

Freek Monteban

Het nieuwste telg uit het Holland on Rails nest! Hij doet niets anders meer!