Wat AI-pull-requestbeoordeling is (en niet is)

1. Definitie: eerste versie, gedeelde regels, menselijke poort

Een AI-pull-aanvraagbeoordelaar, in de zin waarin ReviewPilot deze implementeert, is een GitHub App (of CI-taak) die op elke pull-aanvraag wordt uitgevoerd, een versiebeheerde reeks regels toepast plus optionele taalmodelverhaal op de diff, en publiceert bevindingen met prioriteitslabels. Vereiste menselijke beoordelaars blijven de merge-poort. De bot keurt niet goed en voert geen samenvoeging uit.

Die zin is belangrijk omdat veel tools 'gereageerd' en 'goedgekeurd' verwarren. Als uw branchbeveiliging nog steeds twee mensen vereist, is een AI-opmerking advies. Als een leverancier stilzwijgend goedkeurt wanneer het model tijdens het tijdslimiet loopt, hebt u een nieuwe klasse van risico geïmporteerd: groene controles zonder onderzoek.

2. Fail-closed vs. fail-open (gedrag bij fouten)

Fail-closed betekent: wanneer het model, API-sleutel of analyzer niet beschikbaar is, wordt de PR door het systeem gemarkeerd voor menselijke beoordeling (of mislukt de optionele controle) in plaats van een lege 'LGTM' terug te geven. Fail-open betekent het tegenovergestelde - en is niet compatibel met teams die CI-groen behandelen als vertrouwen.

Dit kaart aan op dezelfde discipline die wordt gebruikt in AI-product-API's die stilzwijgende mock-succes weigeren: als de functionaliteit uitgeschakeld is, geef dit dan aan. De producthouding van ReviewPilot is fail-closed van ontwerp. Demomodi moeten worden gelabeld. Live-verhalen moeten een eerlijke bronmarker zoals Model-assisted dragen.

3. Gelaagde analyse: statisch en dan semantisch

High-signal review stacks lagen:

- Deterministische statische controles — Semgrep-stijl patroonregels en Gitleaks-stijl geheime detectie. Deze zijn reproduceerbaar en versiebeheerbaar. - Diff-scoped LLM-pas — commentaren die zijn gekoppeld aan gewijzigde regels om ruis op ongewijzigde bestanden te verminderen. - Prioriteitslabels (P0–P3) — zodat triage beveiligingsblokkers van stijlproblemen kan sorteren.

Het overslaan van statische analyse en het vragen aan een model om 'alle beveiligingsfouten te vinden' is de manier waarop je zelfverzekerde verkeerde antwoorden krijgt. Het overslaan van de LLM en alleen formatteren uitvoeren is de manier waarop je ontwerpniveau-geuren mist. Beide lagen samen vormen nog steeds geen vervanging voor bedreigingsmodellering.

4. Wat het niet is (eerlijkheidssectie)

- Geen enkele goedkeurder. Architectuur- en beveiligingsgevoelige wijzigingen vereisen menselijke tussenkomst op het kritieke pad. - Geen auto-merge-bot. Auto-merge plus LLM-oordelen is een hoge ernstige koppeling. - Geen garantie voor nul valse positieven of 100% defectdetectie. Marketing die zegt "nooit missen" is een rode vlag. - Geen vervanging voor tests. Reviewopmerkingen voeren uw suite niet uit. - Geen onbeperkte trainingsrechten op uw monorepo. Verkiezen diff-only model invoer en contractuele geen-training opties voor Enterprise.

5. Zelfleren zonder stille regelherhaling

Handige leerrecords senior overschrijft (annuleert, bewerkt, herschikt) op een geanonimiseerde, diff-omvattende manier en volgt de precisie wekelijks. Gevaarlijk "leren" herschrijft productieregels stilzwijgend zonder beoordeling. Geef de voorkeur aan kalibratie die drift naar boven brengt voor mensen om te accepteren in het versiebeheerde regelbestand.

6. Controlelijst voor leads

- Geeft onbeschikbare AI een foutmelding weer als deze niet beschikbaar is? - Is de checkout dynamisch (geen vastgecodeerde tijdelijke betalingsessielinks)? - Zijn P0-voorbeelden concreet (geheimen, injectie) met regelverwijzingen? - Wordt prompt-injectie overwogen voor niet-vertrouwde diffs (OWASP )? - Worden effectiviteitsclaims getemperd met een eerlijkheidsregel?

7. Waar ReviewPilot past

ReviewPilot AI richt zich op teams van ongeveer 5-50 engineers die veel pull requests dagelijks verzenden en consistentie in de eerste ronde van beoordeling en institutioneel geheugen van senior overrides nodig hebben. De prijzen voor Starter en Team zijn gepubliceerd op de site; Enterprise voegt SSO/BYOK/DPA-conversaties toe. Installeer de GitHub App wanneer u klaar bent voor live pull requests; de demo op de marketing site is gelabeld wanneer het geen live AI is.

Referenties

- OWASP Top 10 voor LLM-toepassingen - Semgrep-documentatie - Gitleaks - GitHub-pull request-documentatie

Dit artikel is educatief, geen juridisch of beveiligingscertificeringsadvies. 2026 ReviewPilot AI · Privacy

8. Operationele details die teams vergeten

Regelsets verouderen als niemand de RULESET_VERSION bezit. Voeg de versie toe aan elke geposte review samenvatting, zodat auditors kunnen zien welk pakket welke opmerking produceerde. Bewaar dubbele kopieën van het pakket in de repository en in de app-configuratie alleen als je een synchronisatieverhaal hebt, anders geef je de voorkeur aan een enkele bron van waarheid.

Labelhygiëne is belangrijk. Als P0 en P3 dezelfde kleur delen, stoppen mensen met het vertrouwen op prioriteit. Kaart labels naar GitHub's native labels en leer het team dat P0 betekent 'merge geblokkeerd totdat een mens bevestigt', niet 'de bot is boos'.

Quota- en upstream-foutmodi moeten zichtbaar zijn in CI-logs. Een 429-fair-use-respons is geen groene check. Een 502-upstream-fout is geen groene check. Een 503-missing-key is geen groene check. Documenteer deze in uw runbook op dezelfde manier als u flaky browsers in E2E documenteert.

Bij privacyvragenlijsten, antwoord smal: welke regels verlaten de runner, welke processors slaan bestellingse-mail op, hoe lang feedback wordt bewaard en of Enterprise BYOK kan. Vage 'we nemen security serieus'-alinea's helpen niet bij inkoop.

Ten slotte, meet wat je beweert. Als je tegen het leiderschap zegt 'we redden senior-uren', instrumenteer override-rates en time-to-first-comment, en publiceer interne nummers met methodologie, niet uitgevonden klantlogo's. FTC-endorsementrichtlijnen zijn nog steeds van toepassing op B2B-case-studies die zijn verkleed als sociale bewijs.

Teams die AI-review behandelen als een gordel - altijd aan, nooit een vervanging voor rijvaardigheid - krijgen duurzame waarde. Teams die het behandelen als autopilot leren het op de harde manier op het eerste incident.

Breid de gordelmetafoor zorgvuldig uit: gordels kiezen niet het bestemming. Uw architectuurreviewboard kiest nog steeds patronen. Uw security-champions bezitten nog steeds dreigingsmodellen. Uw staff-engineers zetten nog steeds de lat voor complexiteit. De taak van de bot is om de eerste pas saai consistent te maken, zodat die mensen hun oordeel kunnen geven waar het het meest oplevert.

Wanneer je een nieuwe taal onboardingt, begin met statische regels die al bestaan in het Semgrep-ecosysteem, voeg dan een handvol org-specifieke patronen toe van echte postmortems. Weersta de neiging om een hele stijlgids in het LLM-systeemprompt op dag één te dumpen, prompts drift en zijn moeilijk te auditen in vergelijking met een YAML-pakket met refs.

Voor monorepos, scope de installatie tot de pakketten die daadwerkelijk worden verzonden, of je zult reviewers verdrinken in gegenereerd-bestandsruis. Sla vendored directories expliciet uit. Leer de bot dat gegenereerde protobufs en lockfiles buiten bereik zijn, tenzij een mens ze tagt.

Sluit de cirkel met een maandelijkse dertig minuten 'regelkantooruren' waar seniors voorgestelde pakketwijzigingen accepteren of afwijzen. Die ritueel is goedkoper dan een stille model dat normen 's nachts herschrijft.

Uitgebreide notities voor beoefenaars

Consistentie overtreft heldendaden. Wanneer elke pull request hetzelfde eerste-controlelijstje krijgt, besteden senioren hun oordeel aan de architectuur in plaats van ontbrekende tests opnieuw te ontdekken. Documenteer de controlelijst in review-rules.yml met verwijzingen, zodat nieuwkomers een regel kunnen betwisten zonder de intentie te raden.

Meet maandelijks de override-ratio. Als P3-stijl foutjes de meeste afwijzingen domineren, verstrak of verwijder die regels in plaats van mensen te trainen om de bot te negeren. Als P0-beveiligingsbevindingen routinematig worden afgewezen, onderzoek dan of de pack ruis bevat of het team onvoldoende getraind is.

Inkoop moet om fail-closed-gedrag, diff-scoped modelinput en een eerlijkheidsclausule vragen die garantietalen verbiedt. Combineer dit met het recht om regelversies te controleren die op elke PR-opmerking zijn vermeld.