在上述案件中，實際上只有美國的第一、二個案件中的原告使用了爬蟲協議，且第二個案件的原告是使用爬蟲協議允許而不是拒絕搜索引擎的訪問與檢索。除美國的第一個案件與比利時的案件外，法院都做出了有利于被告的判決，即允許搜索引擎的抓取；即使美國的第一個案件中，法院不是根據爬蟲協議而是因為對原告網站的損害責令禁止搜索。在允許搜索引擎抓取的6個判決中，法院都是以原告明知爬蟲協議是有效控制訪問的技術措施而未使用為由，推定存在默示許可。主流學術意見由此反推出，如果使用了爬蟲協議，法院就會認可它的效力。(37)這種論證存在邏輯上的錯誤，因為法院只是將未使用爬蟲協議作為默示許可的證據，而未將爬蟲協議作為可以拒絕抓取的依據。就如同在農村，農民本可以通過在田埂設置路障的方式來防止自留田的農作物受到過往行人或牲畜的損害。如果沒設置路障，則意味著默示同意通行。但并不意味著一旦設置了路障，他人就不能通行。在田埂為必經通道時(唯一通道，或雖有其他通道，但需繞行很遠)，設置路障往往會受到指責，也得不到他人的遵守。

　　3.應允許抓取，但要把握抓取的度

　　知識產權是在個人利益與公眾利益之間進行平衡的產物。其客體(作品、發明創造及商業標識)為無體物，不具有天然的排他性，不排除多人同時使用，因而在本質上具有公共性。只是為了避免“公地悲劇”而形塑出知識產權。但由于與公眾利益相關聯所產生的外部性，使得知識產權受到很多的限制。相較于物權，“權利相對”、“無限制即無權利”等原則在知識產權領域體現得更為明顯。

　　由于網站內容主要是享有著作權的作品或享有鄰接權的其他信息產品，既承載了私人利益，又承載了公眾利益，因而網站所有者不能像處分自己的計算機等物權客體一樣處分網站內容。是否允許搜索引擎抓取網站內容，不能簡單地以爬蟲協議作為判斷的根據，而應符合知識產權法的利益平衡原則。為了保護作者、公眾及搜索引擎服務商利益，應允許搜索引擎抓取網站內容。

　　但抓取時應把握一定的度，不得損害網站所有者的利益。如果抓取作品或其他信息產品的全文或主要部分，可以根據著作權法中的現行制度予以規制。成問題的是，搜索引擎服務有時會構成對網站內容的實質性替代。例如，谷歌在德國的服務端定時自動搜索報紙雜志刊載的每一時段的熱點新聞，并以標題、開頭、出處的形式呈現。雖然設置了鏈接，但在快節奏的信息時代，大量讀者滿足于谷歌的呈現，而放棄對原文網站的訪問，從而形成了對原文實質性內容的競爭與代替。(38)而且在該過程中，搜索引擎服務寄生性地對報紙雜志的信息進行二次商業利用，向公眾提供“瘦身”后的衍生信息產品，吸引廣告而盈利(如同“今日頭條”利用他人的新聞產品獲得巨額廣告收入而在國內引發的爭議)。在前述比利時的案件中，正因為廣告收入的減少而促使報紙雜志訴請法院禁止“谷歌新聞”的抓取。

　　4.如何把握抓取的度：一種立法上的范本

　　對于抓取的合理限度，在實踐中很難把握。德國2013年8月修改生效的新著作權法提供了嘗試進行妥當利益平衡的范本。該法為報紙雜志增設了信息網絡傳播權，即為工商業目的將新聞信息產品或其中的一部分網絡傳播設定了排他權利。同時又對該權利進行了限制，規定對于新聞信息產品中的數個單詞或文本最小片段，他人可自由利用，以“確保搜索引擎能簡短地描述搜索結果。”(39)如果數個單詞及文本最小片段也被報紙雜志的權利所包含，則不能再自由描述被鏈接的內容，搜索引擎的功能將嚴重受到損害，網絡上的信息獲取將變得困難。但對報紙雜志的原始網頁的訪問不能因為搜索引擎的呈現而顯得多余，如果想為用戶提供較長的文本片段，應該獲得許可。(40)學術界認為，搜索引擎服務在目前德國實踐中普遍存在的1～2行字及10～15個單詞肯定不適用該除外規定；(41)“文本最小片段”最多不能超過一句話，只能是報紙大字標題式地對鏈接及搜索結果的描述，(42)例如立法者在立法理由書中的舉例“拜仁擊敗沙爾克”。(43)