Peter Garraghan

Ficha · confiança medium

Tipo: pessoa

Empresa: Mindgard

Papel: cofundador e Chief Science Officer (https://mindgard.ai/about)

Github status: nao_encontrado

Origem nome: wiki/empresas/mindgard.md

X handle: DrGarraghan

X prova: a bio diz ‘CEO & Co-Founder at @Mindgard | Professor & EPSRC fellow at Lancaster University @SCC_Lancas | Expert in secure and sustainable AI/ML systems’ (https://x.com/DrGarraghan)

X status: confirmado

Síntese

Peter Garraghan é cofundador e Chief Science Officer da Mindgard na página atual de liderança da empresa. (https://mindgard.ai/about)

A bio registrada na coleta do X o apresentava como CEO e cofundador da Mindgard, professor e EPSRC fellow na Lancaster University. (https://x.com/DrGarraghan)

Sua tese mais recorrente na timeline é que sistemas de IA exigem testes contínuos de modelos e guardrails, combinados com uma defesa tão multicamada quanto os sistemas protegidos. (https://x.com/DrGarraghan/status/1861766755388948640) (https://x.com/DrGarraghan/status/1834214571151696096)

Os exemplos usados para sustentar essa posição incluem bypass de guardrails, evasão de detectores de deepfake, jailbreaks de áudio e vulnerabilidades inerentes ao funcionamento de RAG. (https://x.com/DrGarraghan/status/1852293584260677879) (https://x.com/DrGarraghan/status/1821082788507910204) (https://x.com/DrGarraghan/status/1810970452052836455) (https://x.com/DrGarraghan/status/1825496332175294751)

Trajetória

Garraghan é professor e EPSRC fellow na Lancaster University segundo a bio coletada de seu perfil no X. (https://x.com/DrGarraghan)

A Mindgard foi fundada em 2022 como spinout da Lancaster University. (https://x.com/DrGarraghan/status/1849060281831317695)

A ficha da empresa atribui a origem da Mindgard à pesquisa de Garraghan sobre riscos de IA que as práticas tradicionais de AppSec não cobriam. (https://mindgard.ai/about)

A página atual da Mindgard atribui a Garraghan mais de uma década de pesquisa em segurança de IA na Lancaster University. (https://mindgard.ai/about)

A liderança atual da empresa apresenta James Brear como CEO e Garraghan como founder e Chief Science Officer. (https://mindgard.ai/about)

Empresa anterior à Mindgard: não encontrado.

Exit anterior: não encontrado.

Unidade militar: não encontrado.

O que ele publica

O corpus contém 30 posts publicados entre 20/03/2024 e 09/12/2024. (https://x.com/DrGarraghan/status/1770487387791016281) (https://x.com/DrGarraghan/status/1866153468194398433)

A classificação manual abaixo atribui um tema principal a cada post, sem dupla contagem, e cobre os 30 posts coletados. (https://x.com/DrGarraghan)

• Comentários, artigos e podcasts sobre riscos e controles de segurança de IA: 11 posts. (https://x.com/DrGarraghan)

• Produto, pesquisa, trajetória e reconhecimento institucional da Mindgard: 11 posts. (https://x.com/DrGarraghan)

• Conferências, palestras, estandes e convites para encontros: 8 posts. (https://x.com/DrGarraghan)

A amostra equivale a aproximadamente 0,8 post por semana, com pico de 9 posts em agosto de 2024. (https://x.com/DrGarraghan/status/1820445599549825108) (https://x.com/DrGarraghan/status/1826579364198166841)

O formato predominante é o post curto que encaminha você a artigo, podcast, evento ou material da Mindgard: 23 dos 30 textos contêm link encurtado visível. (https://x.com/DrGarraghan/status/1772613369662517629) (https://x.com/DrGarraghan/status/1861766755388948640)

Os 19 posts classificados como institucionais ou de eventos fazem da conta sobretudo um canal de distribuição da Mindgard e da agenda pública de Garraghan. (https://x.com/DrGarraghan)

Os outros 11 posts trazem comentários técnicos, quase sempre ligados a artigos ou entrevistas externas, em vez de pesquisa detalhada publicada diretamente no X. (https://x.com/DrGarraghan/status/1825496332175294751) (https://x.com/DrGarraghan/status/1861766755388948640)

Threads identificáveis no corpus: não encontrado.

Reposts explícitos com marcador RT: não encontrado.

Teses datadas

Modelos e guardrails precisam de testes contínuos

Garraghan associa conteúdo nocivo gerado pelo Gemini ao risco operacional de LLMs e à necessidade de testar continuamente modelos e guardrails. (https://x.com/DrGarraghan/status/1861766755388948640)

The recent story of Google Gemini outputting harmful content to its users highlights the risks of operating llms and the critical need for continuous testing of models and their guardrails

Data: 2024-11-27 | Post: https://x.com/DrGarraghan/status/1861766755388948640

A defesa de IA precisa ser multicamada

Ele atribui o aumento de ataques habilitados por IA à ascensão dos LLMs e prescreve uma defesa multicamada. (https://x.com/DrGarraghan/status/1834214571151696096)

The llms rise created an alarming increase in AI-enabled attacks. AI cybersecurity needs to be as multi-layered as the systems it’s protecting.

Data: 2024-09-12 | Post: https://x.com/DrGarraghan/status/1834214571151696096

RAG carrega um problema de segurança inerente

Garraghan afirma que o modo de operação de modelos RAG traz um problema de segurança inerente. (https://x.com/DrGarraghan/status/1825496332175294751)

RAG models indeed have a security issue inherent in how they operate.

Data: 2024-08-19 | Post: https://x.com/DrGarraghan/status/1825496332175294751

Sistemas probabilísticos dificultam controles razoáveis

Ao comentar o uso de LLMs em pesquisa científica, ele formula o problema de controlar sistemas concebidos para produzir aleatoriedade intrínseca. (https://x.com/DrGarraghan/status/1824343726883213639)

How does one put reasonable controls on something designed to be intrinsically random?

Data: 2024-08-16 | Post: https://x.com/DrGarraghan/status/1824343726883213639

Detectores de deepfake podem sofrer ataques de evasão

Garraghan afirma que ataques de evasão conseguem contornar detecção de deepfake baseada em IA e aponta red teaming como forma de reproduzir o cenário. (https://x.com/DrGarraghan/status/1821082788507910204)

AI-driven deepfake detection can be easily bypassed using evasion attacks. How? Find out in our latest article from the @Mindgard team https://t.co/QE7ymnozhv

Try ai Red Teaming this deepfake scenario yourself for free by using Mindgard AI Security Labs https://t.co/vknHVtp8UN https://t.co/iCafXujd6t

Data: 2024-08-07 | Post: https://x.com/DrGarraghan/status/1821082788507910204

Presença técnica

Perfil confirmado no GitHub: não encontrado.

Handle de GitHub: não encontrado.

Repositórios próprios: não encontrado.

Linguagem dominante: não encontrado.

Contribuições públicas: não encontrado.

Atividade técnica recente no GitHub: não encontrado.

Autoria individual de código da plataforma ou das pesquisas divulgadas pela Mindgard: não encontrado.

Ângulo de audit

Interlocutor possível, com baixa prioridade: sua pesquisa coincide com auditoria ofensiva de sistemas de IA. (https://mindgard.ai/about) Evidência de que Garraghan compra audit externo: não encontrado.

O que NÃO se sabe

• Datas de início dos vínculos como professor e EPSRC fellow na Lancaster University: não encontrado.

• Formação acadêmica e instituições em que obteve seus graus: não encontrado.

• Empresa anterior, exit anterior ou unidade militar: não encontrado.

• Data da transição de CEO para Chief Science Officer e motivo da mudança: não encontrado.

• LinkedIn confirmado: não encontrado.

• Perfil confirmado no GitHub, repositórios próprios, autoria de commits e contribuições públicas: não encontrado.

• Participação individual em pricing, vendas, procurement ou contratos da Mindgard: não encontrado.

• Posição sobre contratação de auditoria externa ou consultoria independente: não encontrado.

• Posts posteriores a 09/12/2024 na timeline coletada: não encontrado.

• Artigos acadêmicos, patentes e resultados de pesquisa atribuíveis individualmente a Garraghan dentro do corpus desta rodada: não encontrado.