סקיל בניית מדיניות זחלני AI
Daily Public Lab · 2026-09-07סקיל לשימוש חוזר עם trigger, policy JSON, fixtures ובדיקות דטרמיניסטיות ל-longest-match, מיזוג ושימור כללים.
תוכן10
מה מקבלים
סקיל לשימוש חוזר עם trigger, policy JSON, fixtures ובדיקות דטרמיניסטיות ל-longest-match, מיזוג ושימור כללים.
מה נבדק
הכלי משמר קבוצות קיימות, יוצר קבוצות זחלני AI ומחשב את הכלל הספציפי ביותר עבור נתיב. user-fetchers נשארים uncertain כאשר הספק מתעד שכללי robots.txt עשויים שלא לחול.
מטריצת ברירת המחדל
OAI-SearchBot, Claude-SearchBot ו-PerplexityBot מותרים; GPTBot, ClaudeBot ו-Google-Extended חסומים. ChatGPT-User, Claude-User ו-Perplexity-User מסומנים uncertain.
מקורות ראשיים
- RFC 9309 — פורסם 09.2022; נבדק 07.09.2026.
- OpenAI Crawlers — נבדק 07.09.2026.
- Anthropic crawler controls — עודכן 07.04.2026; נבדק 07.09.2026.
- Google-Extended — עודכן 14.07.2026; נבדק 07.09.2026.
- Perplexity Crawlers — נבדק 07.09.2026.
המפרט
- הרצה
- Node.js 20+, מקומית וללא רשת
- קלט
- policy JSON ו-robots.txt מקומי
- פלט
- robots.txt מוצע, מטריצת allowed / blocked / uncertain ואזהרות
- מגבלה
- תת־תחביר מוצהר בלבד; robots.txt אינו הרשאה, אבטחה או אימות זהות
שלוש הדקות הראשונות
npm test
node scripts/run.mjs generate --policy examples/policy.json --existing examples/current-robots.txtפקודת התחלה
npm test
node scripts/run.mjs generate --policy examples/policy.json --existing examples/current-robots.txtגבול ההחלטה
הדוח בודק תת־תחביר מקומי ומוצהר בלבד. הוא אינו מימוש מלא של RFC 9309 ואינו מנגנון אבטחה או אימות זחלן.
קבצים להורדה
איפה זה נכנס אצלנו
החבילה הופכת כוונת crawl למדיניות שאפשר לקרוא ולבדוק לפני העלאה. robots.txt הוא בקשה לזחלנים מצייתים, לא בקרת גישה, ולכן מידע פרטי חייב הגנה נפרדת.