Tempo de leitura: 32 minutos<\/small><\/p> \n
O Software Engineering Institute (SEI)<\/strong> \u00e9 uma organiza\u00e7\u00e3o de pesquisa e desenvolvimento afiliada \u00e0 Universidade Carnegie Mellon<\/strong>, nos Estados Unidos. Fundado em 1984, o SEI \u00e9 reconhecido globalmente por seu trabalho na melhoria da engenharia de software e da seguran\u00e7a cibern\u00e9tica. <\/strong><\/p>\n\n\n\n O instituto se concentra no desenvolvimento de pr\u00e1ticas e tecnologias de ponta<\/strong> para auxiliar organiza\u00e7\u00f5es a melhorar a qualidade, a seguran\u00e7a e a efic\u00e1cia de seus sistemas de software. Entre suas contribui\u00e7\u00f5es mais not\u00e1veis est\u00e3o o desenvolvimento do modelo CMMI (Capability Maturity Model Integration) e v\u00e1rias iniciativas para promover a ado\u00e7\u00e3o de melhores pr\u00e1ticas na ind\u00fastria de software.<\/p>\n\n\n\n O SEI tamb\u00e9m desempenha um papel crucial na pesquisa e desenvolvimento de intelig\u00eancia artificial e seguran\u00e7a cibern\u00e9tica, colaborando com organiza\u00e7\u00f5es governamentais, militares e comerciais para enfrentar desafios tecnol\u00f3gicos complexos.<\/p>\n\n\n\n A Engenharia de IA \u00e9 uma disciplina emergente focada no desenvolvimento de ferramentas, sistemas e processos para possibilitar a aplica\u00e7\u00e3o da intelig\u00eancia artificial em contextos do mundo real.<\/strong><\/p>\n\n\n\n Ao contr\u00e1rio da abordagem usada at\u00e9 ent\u00e3o para desenvolver capacidades e ferramentas individuais, a Engenharia de IA levanta quest\u00f5es como: <\/p>\n\n\n\n O aumento do poder computacional e da disponibilidade de grandes volumes de dados permitiu a cria\u00e7\u00e3o de novos modelos de IA capazes de tomar decis\u00f5es r\u00e1pidas e impactantes. No entanto, muitas vezes, essas capacidades funcionam apenas em ambientes controlados e s\u00e3o dif\u00edceis de replicar e validar no mundo real.<\/p>\n\n\n\n H\u00e1 uma necessidade urgente de uma disciplina de engenharia para orientar o desenvolvimento e a implementa\u00e7\u00e3o de capacidades de IA. <\/strong><\/p>\n\n\n\n A Engenharia de IA busca ent\u00e3o fornecer uma estrutura e ferramentas para projetar sistemas de IA que funcionem efetivamente em ambientes complexos e din\u00e2micos. Essa disciplina visa capacitar profissionais a desenvolver sistemas que atendam \u00e0s necessidades humanas, garantindo que sejam compreens\u00edveis, \u00e9ticos e confi\u00e1veis!<\/strong><\/p>\n\n\n\n A Engenharia de IA \u00e9 um campo de pesquisa e pr\u00e1tica que combina os princ\u00edpios da engenharia de sistemas, engenharia de software, ci\u00eancia da computa\u00e7\u00e3o e design centrado no ser humano para criar sistemas de IA que atendam \u00e0s necessidades humanas e alcancem os objetivos desejados. <\/p>\n\n\n\n Por meio de conversas com parceiros, a equipe do SEI desenvolveu tr\u00eas pilares que orienta a abordagem \u00e0 Engenharia de IA.<\/p>\n\n\n\n Fundamental para a implementa\u00e7\u00e3o de IA em contextos reais \u00e9 uma compreens\u00e3o profunda das pessoas que utilizar\u00e3o a tecnologia<\/strong>. Este pilar examina como os sistemas de IA s\u00e3o projetados para se alinhar aos seres humanos, seus comportamentos e valores.<\/strong><\/p>\n\n\n\n Existem diferen\u00e7as consider\u00e1veis no resultado sentido pelo ser humanto em um Sistema de Recomenda\u00e7\u00e3o Musical e um Sistema de Recomenda\u00e7\u00e3o de Hipotecas. No de m\u00fasicas, a frustra\u00e7\u00e3o e o impacto na recomenda\u00e7\u00e3o de uma faixa que voc\u00ea n\u00e3o goste pode ser beeem menor que a limita\u00e7\u00e3o na contrata\u00e7\u00e3o de uma hipoteca.<\/p>\n\n\n\n Sistemas de IA centrados no humano s\u00e3o projetados para trabalhar com e para as pessoas. <\/strong>Os ambientes operacionais do mundo real, nos quais equipes e organiza\u00e7\u00f5es esperam integrar sistemas de IA, s\u00e3o din\u00e2micos e complexos, com espa\u00e7os de decis\u00e3o amb\u00edguos. <\/p>\n\n\n\n Os humanos \u2014 seus comportamentos, influ\u00eancias, decis\u00f5es e a\u00e7\u00f5es \u2014 s\u00e3o centrais nesses ambientes . \u00c0 medida que o desejo de usar sistemas de IA cresce, os princ\u00edpios de engenharia centrados no humano s\u00e3o fundamentais para orientar o desenvolvimento do sistema em dire\u00e7\u00e3o a uma implementa\u00e7\u00e3o eficaz e minimizar as consequ\u00eancias indesejadas.<\/p>\n\n\n\n Desafios da IA Centrada no Humano:<\/em><\/p>\n\n\n\n Sistemas de software tradicionais se comportam de acordo com um conjunto cuidadosamente elaborado de regras que direcionam o sistema a produzir um resultado. <\/p>\n\n\n\n Para criar um sistema de aprendizado de m\u00e1quina (ML), que \u00e9 um tipo comum de sistema de IA, os desenvolvedores:<\/p>\n\n\n\n Quando tudo corre bem, o modelo aprendido proporciona o resultado desejado (recomenda\u00e7\u00f5es, identifica\u00e7\u00e3o de padr\u00f5es, etc.)!!!<\/p>\n\n\n\n Dado o papel do modelo, uma das influ\u00eancias mais poderosas em um sistema de ML \u00e9 como a equipe define a fun\u00e7\u00e3o objetivo ou o prop\u00f3sito do sistema.<\/strong><\/p>\n\n\n\n Infelizmente, para os desenvolvedores de sistemas de IA, capturar com precis\u00e3o o que os humanos valorizam como resultados \u00e9 um desafio significativo, e esses valores tendem a mudar ao longo do tempo. Os campos de design centrado no humano e de intera\u00e7\u00e3o humano-computador (HCI) h\u00e1 muito tempo estabelecem a dificuldade que os humanos t\u00eam em articular as decis\u00f5es que tomam e os motivadores que orientam o comportamento.<\/strong><\/p>\n\n\n\n \u201cO que os usu\u00e1rios dizem que fazem e o que realmente fazem pode variar significativamente, especialmente quando est\u00e3o fora do contexto relevante. As pessoas t\u00eam dificuldade em refletir sobre, ou at\u00e9 mesmo perceber, as atividades cotidianas e habituais da vida di\u00e1ria. Elas relatam com convic\u00e7\u00e3o o que acreditam ser verdade, mas n\u00e3o necessariamente o que \u00e9 verdade.\u201d <\/p>\n\n\n\n Os desenvolvedores precisam de m\u00e9todos para determinar a adequa\u00e7\u00e3o dos dados e do comportamento observado para uso em um sistema de IA<\/strong>, bem como uma maior conscientiza\u00e7\u00e3o sobre o frequente descompasso entre o comportamento humano e suas verdadeiras inten\u00e7\u00f5es.<\/p>\n\n\n\n Outras lacunas cr\u00edticas incluem:<\/p>\n\n\n\n Enfrentar esses desafios pode contribuir para a capacidade dos sistemas de aprender com os humanos, <\/strong>melhorar o desempenho ao longo do tempo ou reconhecer quando os sistemas n\u00e3o s\u00e3o mais apropriados devido a uma mudan\u00e7a nas necessidades dos usu\u00e1rios.<\/p>\n\n\n\n A IA centrada no humano exige compreender as necessidades dos usu\u00e1rios, o contexto de uso e o modelo mental do trabalho!<\/p>\n\n\n\n M\u00e9todos de pesquisa baseados em etnografia<\/strong> ajudam a entender por que as pessoas agem de determinada maneira e as cren\u00e7as que orientam seus comportamentos. <\/p>\n\n\n\n A Engenharia de IA precisa desenvolver processos e pr\u00e1ticas que integrem esses insights humanos na fun\u00e7\u00e3o de recompensa dos sistemas de IA <\/strong>e pesquisem estrat\u00e9gias para que os sistemas se ajustem aos objetivos reais dos usu\u00e1rios, evoluam com suas necessidades e melhorem continuamente os resultados desejados.<\/p>\n\n\n\n A pesquisa centrada no humano<\/strong> \u00e9 realizada por profissionais de diversas \u00e1reas, como intera\u00e7\u00e3o humano-m\u00e1quina, experi\u00eancia do usu\u00e1rio (UX) e antropologia digital, entre outros. Para garantir que os sistemas de IA atendam \u00e0s necessidades dos usu\u00e1rios, as equipes devem conduzir pesquisas centradas no humano<\/strong>, como observa\u00e7\u00f5es e entrevistas, com os usu\u00e1rios principais antes de come\u00e7ar o desenvolvimento. Embora essas pesquisas exijam um esfor\u00e7o significativo, elas s\u00e3o essenciais para evitar o desenvolvimento de sistemas que sejam frustrantes ou que n\u00e3o atendam corretamente \u00e0s necessidades dos usu\u00e1rios.<\/p>\n\n\n\n Entender o contexto para o desenvolvimento de IA \u00e9 um processo cont\u00ednuo que requer pesquisa constante com usu\u00e1rios e aprendizagem do comportamento dos mesmos. Como a IA \u00e9 parte de sistemas mais amplos, \u00e9 essencial alternar o foco entre o comportamento imediato dos usu\u00e1rios e o sistema maior. \u00c9 necess\u00e1ria pesquisa para encontrar maneiras de coletar informa\u00e7\u00f5es e entender a inten\u00e7\u00e3o dos usu\u00e1rios em sistemas complexos.<\/p>\n\n\n\n A IA centrada no humano requer a cria\u00e7\u00e3o de sistemas que trabalhem em equipe com habilidades humanas, oferecendo suporte onde a intelig\u00eancia humana \u00e9 limitada e aproveitando suas for\u00e7as \u00fanicas. Isso envolve definir um prop\u00f3sito comum, estabelecer interdepend\u00eancia e responsabilidade m\u00fatua, e garantir a integra\u00e7\u00e3o dos componentes em sistemas maiores. Pesquisas s\u00e3o necess\u00e1rias para entender como facilitar o compartilhamento de informa\u00e7\u00f5es, alinhar prop\u00f3sitos, promover adaptabilidade e apoiar a tomada de decis\u00f5es descentralizada em equipes mistas de humanos e m\u00e1quinas.<\/p>\n\n\n\n As equipes homem-m\u00e1quina n\u00e3o s\u00e3o iguais em termos de responsabilidade; os humanos devem ter a responsabilidade final por decis\u00f5es e resultados, conforme os princ\u00edpios \u00e9ticos do Departamento de Defesa dos EUA. Para isso, \u00e9 necess\u00e1rio que humanos compreendam bem os sistemas de IA para prever seu comportamento. Transpar\u00eancia, previsibilidade e interpretabilidade s\u00e3o essenciais, especialmente em contextos de alto impacto. \u00c9 crucial fornecer informa\u00e7\u00f5es claras sobre o funcionamento e as limita\u00e7\u00f5es dos sistemas de IA e definir responsabilidades entre humanos e m\u00e1quinas. Al\u00e9m disso, s\u00e3o necess\u00e1rias pesquisas para desenvolver estrat\u00e9gias de explica\u00e7\u00e3o de decis\u00f5es de IA, avaliar modelos em cen\u00e1rios cr\u00edticos e garantir que humanos possam intervir ou reverter decis\u00f5es de IA. Ferramentas e diretrizes s\u00e3o necess\u00e1rias para usar IA em decis\u00f5es que impactam significativamente a vida humana. A ado\u00e7\u00e3o de IA depende da confian\u00e7a que os usu\u00e1rios t\u00eam no sistema, que deve ser transparente e respons\u00e1vel.<\/p>\n\n\n\n O desenvolvimento e a implementa\u00e7\u00e3o de uma IA centrada no humano, que considera o contexto dos sistemas e promove a colabora\u00e7\u00e3o homem-m\u00e1quina, exigem uma for\u00e7a de trabalho que compreenda os sistemas de IA e suas limita\u00e7\u00f5es. A \u00e9tica tecnol\u00f3gica \u00e9 um passo inicial para garantir que os sistemas de IA sejam robustos e seguros, mas \u00e9 essencial que as equipes sejam capazes de prever e mitigar problemas. A for\u00e7a de trabalho em Engenharia de IA deve estar preparada para todo o ciclo de vida da IA, e incluir n\u00e3o apenas especialistas em aprendizado de m\u00e1quina e ci\u00eancia de dados, mas tamb\u00e9m arquitetos de sistemas, gerentes de produto, cientistas sociais e especialistas em \u00e9tica.<\/p>\n\n\n\n Sistemas de IA eficazes requerem grandes investimentos de tempo e dinheiro para serem desenvolvidos. Este pilar examina como a infraestrutura, os dados e os modelos de IA podem ser reutilizados<\/strong> em diferentes dom\u00ednios de problemas e implanta\u00e7\u00f5es.<\/p>\n\n\n\n <\/p>\n\n\n\n Grandes melhorias nos recursos de computa\u00e7\u00e3o e na capacidade de armazenamento de dados nos permitem criar modelos de intelig\u00eancia artificial (IA) que abrangem bilh\u00f5es de par\u00e2metros. Pessoas, organiza\u00e7\u00f5es e governos est\u00e3o aplicando cada vez mais modelos de IA para resolver problemas complexos e de ampla escala, como o gerenciamento da rede el\u00e9trica nacional, o monitoramento de surtos de doen\u00e7as durante pandemias e o combate ao bullying online. Esses problemas multifacetados envolvem um grande n\u00famero de pessoas, m\u00faltiplas fontes de dados, v\u00e1rias localiza\u00e7\u00f5es geogr\u00e1ficas, diferentes escalas de tempo e outros inputs complexos.<\/p>\n\n\n\n As solu\u00e7\u00f5es para esses problemas devem considerar as interconex\u00f5es embutidas e a escala para atender ao escopo dos desafios. N\u00e3o \u00e9 t\u00e3o simples quanto encontrar o que funciona para pequenas inst\u00e2ncias de um problema e aplicar os mesmos m\u00e9todos para inst\u00e2ncias maiores<\/strong>. (Se fosse o caso, n\u00e3o haveria diferen\u00e7a entre gerenciar uma equipe de 10 funcion\u00e1rios e uma equipe de 100.) <\/p>\n\n\n\n Portanto, ao criar sistemas escal\u00e1veis de qualquer tipo, devemos reconhecer que as propriedades do sistema mudam conforme o tamanho muda<\/strong>. Consequentemente, \u00e9 necess\u00e1rio considerar cuidadosamente como criar e guiar o desenvolvimento do sistema em uma escala proporcional ao tamanho dos problemas que enfrentamos<\/p>\n\n\n\n Escalabilidade \u00e9 um conceito cr\u00edtico em muitas disciplinas de engenharia e \u00e9 fundamental para a realiza\u00e7\u00e3o de capacidades operacionais de IA. Identificamos tr\u00eas \u00e1reas de foco para avan\u00e7ar na IA escal\u00e1vel:<\/p>\n\n\n\n A gest\u00e3o eficaz de dados e modelos \u00e9 fundamental para a ado\u00e7\u00e3o escal\u00e1vel e respons\u00e1vel da IA. Os dados s\u00e3o a for\u00e7a motriz do aprendizado de m\u00e1quina moderno <\/strong>e s\u00e3o igualmente cr\u00edticos para outras abordagens de IA, como grafos de conhecimento para suporte ao racioc\u00ednio. Os modelos de IA codificam processos de decis\u00e3o ou infer\u00eancia e, no aprendizado de m\u00e1quina, s\u00e3o o resultado de algoritmos treinados em conjuntos de dados. Para garantir o uso respons\u00e1vel e escal\u00e1vel da IA, \u00e9 essencial coletar e organizar conjuntos de dados cuidadosamente<\/strong>, versionar dados e modelos, reutilizar capacidades, e criar pol\u00edticas que incentivem a descoberta e o compartilhamento.<\/p>\n\n\n\n A supervis\u00e3o escal\u00e1vel \u00e9 um desafio significativo na coleta e curadoria de conjuntos de dados para uso em sistemas de IA. Criar conjuntos de dados \u00fateis \u00e9 uma tarefa demorada, cara, suscet\u00edvel a erros e que demanda muito trabalho<\/strong>. A supervis\u00e3o escal\u00e1vel busca m\u00e9todos que reduzam o tempo, custo, erros e esfor\u00e7o envolvidos na coleta e curadoria de dados. Este desafio \u00e9 particularmente pronunciado em aplica\u00e7\u00f5es onde os dados s\u00e3o escassos, dif\u00edceis ou caros de coletar, ou exigem expertise especializada para rotula\u00e7\u00e3o ou s\u00edntese, como em modelos de previs\u00e3o e padr\u00f5es de vida que requerem distribui\u00e7\u00f5es de eventos normais e an\u00f4malos.<\/p>\n\n\n\n Duas abordagens comuns para supervis\u00e3o escal\u00e1vel em aplica\u00e7\u00f5es de IA na ind\u00fastria s\u00e3o o crowdsourcing e a coleta de intera\u00e7\u00f5es regulares de usu\u00e1rios com aplicativos da Internet. <\/strong><\/p>\n\n\n\n Embora essas t\u00e9cnicas sejam amplamente usadas por empresas privadas de tecnologia, organiza\u00e7\u00f5es p\u00fablicas e governamentais tamb\u00e9m t\u00eam oportunidades significativas para coletar dados das intera\u00e7\u00f5es di\u00e1rias de sua for\u00e7a de trabalho. <\/p>\n\n\n\n A coleta adequada de dados e a instrumenta\u00e7\u00e3o dessas intera\u00e7\u00f5es poderiam reduzir significativamente o esfor\u00e7o necess\u00e1rio para criar e rotular conjuntos de dados para o desenvolvimento de novas capacidades de miss\u00e3o habilitadas para IA. No entanto, preocupa\u00e7\u00f5es de seguran\u00e7a<\/strong> t\u00eam historicamente impedido a ado\u00e7\u00e3o de processos de supervis\u00e3o escal\u00e1vel em opera\u00e7\u00f5es.<\/p>\n\n\n\n Escalar a IA com sucesso exige <\/strong>que conjuntos de dados e modelos sejam descobertos, compartilhados, reutilizados e recombinados em diversas capacidades de miss\u00e3o. Isso implica o desenvolvimento de pol\u00edticas e mecanismos institucionais para gerenciar, rastrear, versionar e analisar capacidades reutilizadas e derivadas. A ado\u00e7\u00e3o de mecanismos de gest\u00e3o escal\u00e1vel permite o uso de t\u00e9cnicas poderosas para aplicar aprendizado de m\u00e1quina em contextos onde h\u00e1 dados rotulados limitados ou inexistentes. <\/strong>T\u00e9cnicas como o aprendizado por transfer\u00eancia s\u00e3o frequentemente usadas para adaptar modelos treinados em um dom\u00ednio de origem com dados abundantes para um dom\u00ednio-alvo com dados limitados.<\/p>\n\n\n\n O aprendizado por transfer\u00eancia<\/strong><\/p>\n\n\n\n O aprendizado por transfer\u00eancia permite que um modelo treinado para um problema espec\u00edfico em um dom\u00ednio seja reutilizado para um problema diferente e<\/strong>m outro dom\u00ednio, potencialmente com algum retreinamento. Este m\u00e9todo \u00e9 especialmente \u00fatil quando o dom\u00ednio de origem possui muitos dados rotulados e um modelo bem treinado, enquanto o dom\u00ednio-alvo possui poucos dados. Al\u00e9m disso, o aprendizado com poucos exemplos (few-shot learning)<\/strong> \u00e9 outra t\u00e9cnica que pode ser aplicada quando h\u00e1 escassez de dados rotulados, aplicando aprendizado de m\u00e1quina a conjuntos de dados com um n\u00famero reduzido de inst\u00e2ncias rotuladas.<\/p>\n\n\n\n Promover o compartilhamento, a reutiliza\u00e7\u00e3o e a recombina\u00e7\u00e3o de capacidades de IA por meio de pol\u00edticas e mecanismos adequados facilita a ado\u00e7\u00e3o de t\u00e9cnicas como aprendizado por transfer\u00eancia e aprendizado com poucos exemplos.<\/strong> O apoio organizacional para a gest\u00e3o escal\u00e1vel de dados e modelos democratiza a ado\u00e7\u00e3o e o uso de capacidades de IA, resultando em aplica\u00e7\u00f5es mais robustas e generaliz\u00e1veis em uma variedade de miss\u00f5es. Para isso, \u00e9 essencial que as organiza\u00e7\u00f5es desenvolvam abordagens estruturadas para superar desafios relacionados \u00e0 coleta de dados, obsolesc\u00eancia de ferramentas e infraestrutura,<\/strong> garantindo que as capacidades de IA possam ser escaladas de forma eficiente e eficaz.<\/p>\n\n\n\n \u00c0 medida que a Engenharia de IA cresce e se desenvolve, as organiza\u00e7\u00f5es que adotam suas pr\u00e1ticas podem promover um desenvolvimento e uso mais democr\u00e1ticos e respons\u00e1veis das capacidades de IA em toda a empresa. Isso vai al\u00e9m da gest\u00e3o escal\u00e1vel de dados e modelos, incluindo tamb\u00e9m a ado\u00e7\u00e3o de processos, ferramentas, e estruturas para suportar a escalabilidade da IA no n\u00edvel empresaria<\/strong>l. Essas pr\u00e1ticas incluem desenvolvimento iterativo, pipelines de desenvolvimento reutiliz\u00e1veis, arquiteturas de sistema extens\u00edveis compat\u00edveis com IA,<\/strong> e pol\u00edticas de aquisi\u00e7\u00e3o modernizadas.<\/p>\n\n\n\n Adaptar as pr\u00e1ticas de DevOps para IA <\/strong>e aprendizado de m\u00e1quina \u00e9 essencial para apoiar o desenvolvimento iterativo e os pipelines reutiliz\u00e1veis. O design cuidadoso e o gerenciamento de pipelines de produ\u00e7\u00e3o, bem como o ciclo de vida do desenvolvimento, s\u00e3o fundamentais para essa adapta\u00e7\u00e3o. A prolifera\u00e7\u00e3o recente do aprendizado de m\u00e1quina levou ao desenvolvimento de MLOps, uma extens\u00e3o do DevOps <\/strong>que inclui etapas como o processamento de dados, treinamento de modelos, implanta\u00e7\u00e3o de modelos e monitoramento cont\u00ednuo, garantindo que os componentes de aprendizado de m\u00e1quina funcionem conforme o esperado no mundo real.<\/p>\n\n\n\n Embora o MLOps seja um conjunto relativamente novo de pr\u00e1ticas e ferramentas, ele continua a evoluir com o envolvimento de mais profissionais e organiza\u00e7\u00f5es focados na produ\u00e7\u00e3o e opera\u00e7\u00e3o de IA e aprendizado de m\u00e1quina. A ado\u00e7\u00e3o do MLOps como pr\u00e1tica padr\u00e3o, com pipelines de desenvolvimento replic\u00e1veis e compartilh\u00e1veis, facilita diretamente a escalabilidade da IA dentro das organiza\u00e7\u00f5es. Isso \u00e9 essencial para garantir que as capacidades de IA possam ser escaladas de maneira eficiente e eficaz em toda a empresa.<\/p>\n\n\n\n Para expandir o MLOps como pr\u00e1tica, \u00e9 necess\u00e1rio investir em treinamento e educa\u00e7\u00e3o sobre o design de sistemas de aprendizado de m\u00e1quina voltados para produ\u00e7\u00e3o<\/strong>. Existe uma diferen\u00e7a significativa entre criar um modelo de aprendizado de m\u00e1quina e implant\u00e1-lo em produ\u00e7\u00e3o, e essa necessidade de capacita\u00e7\u00e3o foi reconhecida por institui\u00e7\u00f5es como Stanford e DeepLearning.ai, que ofereceram cursos pioneiros em aprendizado de m\u00e1quina para produ\u00e7\u00e3o. A evolu\u00e7\u00e3o cont\u00ednua desse campo requer o acompanhamento dos esfor\u00e7os educacionais e a unifica\u00e7\u00e3o dos curr\u00edculos de ensino.<\/strong><\/p>\n\n\n\n A escalabilidade tamb\u00e9m influencia o design e o desenvolvimento de sistemas que incorporam componentes de IA e os m\u00e9todos de aquisi\u00e7\u00e3o de sistemas de IA pelas organiza\u00e7\u00f5es. As arquiteturas de sistemas e software precisam ser flex\u00edveis o suficiente para permitir que as capacidades de IA evoluam ao longo do tempo, <\/strong>como o retrenamento peri\u00f3dico de modelos para considerar novos dados ou mudan\u00e7as no contexto operacional. Arquiteturas que facilitam a troca de modelos ou a opera\u00e7\u00e3o de m\u00faltiplos modelos para redund\u00e2ncia s\u00e3o fundamentais para essa adaptabilidade.<\/p>\n\n\n\n Trabalhos recentes sobre padr\u00f5es de design para aprendizado de m\u00e1quina<\/strong> s\u00e3o um passo inicial importante para estabelecer melhores pr\u00e1ticas na engenharia de sistemas de IA. Ao criar uma base s\u00f3lida de padr\u00f5es e pr\u00e1ticas, a Engenharia de IA pode garantir que os sistemas sejam projetados para evoluir de maneira robusta e adapt\u00e1vel<\/strong>, atendendo \u00e0s necessidades din\u00e2micas das miss\u00f5es empresariais e operacionais.<\/p>\n\n\n\n O foco renovado no potencial da IA na \u00faltima d\u00e9cada se deve principalmente \u00e0 disponibilidade de grandes volumes de dados e ao avan\u00e7o dos recursos computacionais c<\/strong>apazes de suportar as demandas das t\u00e9cnicas modernas de IA, como o treinamento de redes neurais profundas de grande escala. Essa evolu\u00e7\u00e3o aumentou exponencialmente a necessidade de recursos computacionais. Por exemplo, a OpenAI identificou em 2018 uma tend\u00eancia de aumento exponencial nos recursos necess\u00e1rios para treinar os maiores modelos de IA<\/strong>, com um crescimento anual de dez vezes. Modelos avan\u00e7ados como o GPT-3, com 175 bilh\u00f5es de par\u00e2metros, refletem essa demanda crescente, sendo estimado em US$ 12 milh\u00f5es o custo de seu treinamento.<\/p>\n\n\n\n A capacidade de escalar a infraestrutura computacional \u00e9 essencial <\/strong>para o desenvolvimento e a implanta\u00e7\u00e3o de modelos de IA e promove inova\u00e7\u00f5es cont\u00ednuas. No entanto, as demandas computacionais intensas representam um desafio significativo para a comunidade de defesa e seguran\u00e7a nacional, que precisa manter a infraestrutura necess\u00e1ria para suportar a complexidade e a variedade das miss\u00f5es. A expans\u00e3o cont\u00ednua dessa infraestrutura pode n\u00e3o ser sustent\u00e1vel, <\/strong>exigindo o desenvolvimento de novos paradigmas de computa\u00e7\u00e3o, algoritmos alternativos e m\u00e9todos mais eficientes para aprimorar as capacidades dos sistemas de IA.<\/p>\n\n\n\n O mercado de computa\u00e7\u00e3o espec\u00edfica para IA est\u00e1 crescendo rapidamente, com muitas inova\u00e7\u00f5es emergindo. Nos \u00faltimos anos, GPUs (unidades de processamento gr\u00e1fico) t\u00eam sido amplamente utilizadas para treinar modelos de IA<\/strong>, enquanto CPUs lidam com a maioria das infer\u00eancias. Contudo, fabricantes de ASICs (Circuitos Integrados de Aplica\u00e7\u00e3o Espec\u00edfica) est\u00e3o explorando melhorias de desempenho em rela\u00e7\u00e3o \u00e0s GPUs e CPUs, especialmente utilizando arquiteturas antigas como Arrays Sist\u00f3licos e novas arquiteturas como Unidades de Processamento de Tensores.<\/strong><\/p>\n\n\n\n Al\u00e9m do desafio de escalar para grandes infraestruturas, a comunidade de defesa e seguran\u00e7a nacional busca tamb\u00e9m escalabilidade de IA para operar em dispositivos de borda usados por combatentes e para opera\u00e7\u00f5es distribu\u00eddas globalmente<\/strong>. Em ambientes com recursos limitados, como aqueles que s\u00e3o atrasados, desconectados ou de baixa largura de banda, desenvolver capacidades de IA requer pesquisa em protocolos de comunica\u00e7\u00e3o, arquiteturas espec\u00edficas para IA, aprendizado federado e TinyML.<\/p>\n\n\n\n A computa\u00e7\u00e3o de borda,<\/strong> que inclui a capacidade de executar IA em dispositivos pr\u00f3ximos ao local de coleta de dados, est\u00e1 se expandindo rapidamente, impulsionada pela tentativa de tornar a IA acess\u00edvel para todos em qualquer lugar. Esta \u00e1rea se divide em tr\u00eas categorias: empurrar da nuvem, puxar da Internet das Coisas e an\u00e1lises h\u00edbridas de nuvem-borda. Muito trabalho tem sido dedicado \u00e0 redu\u00e7\u00e3o do tamanho dos modelos de aprendizado profundo para que possam ser operados de maneira eficiente em dispositivos de borda, como demonstrado pelos esfor\u00e7os da tinyML Foundation.<\/p>\n\n\n\n O aprendizado federado<\/strong> \u00e9 uma abordagem emergente que utiliza dispositivos de borda no treinamento de modelos, mantendo os dados de treinamento localizados e privados. Essa abordagem contrasta com o aprendizado de m\u00e1quina tradicional realizado em grandes data centers, pois tenta treinar modelos globais usando dispositivos remotos. Desafios como custo de comunica\u00e7\u00e3o, heterogeneidade dos sistemas, e preocupa\u00e7\u00f5es com privacidade s\u00e3o quest\u00f5es cr\u00edticas para o aprendizado federado em larga escala. Futuras dire\u00e7\u00f5es de pesquisa incluem novos modelos de comunica\u00e7\u00e3o, redu\u00e7\u00e3o de comunica\u00e7\u00e3o, diagn\u00f3sticos de heterogeneidade, restri\u00e7\u00f5es de privacidade mais detalhadas e o estabelecimento de benchmarks espec\u00edficos para aprendizado federado.<\/p>\n\n\n\n <\/p>\n\n\n\n Um dos maiores desafios para a ampla ado\u00e7\u00e3o de tecnologias e sistemas de IA \u00e9 garantir que eles funcionem conforme o esperado <\/strong>quando implantados fora de ambientes de desenvolvimento, laborat\u00f3rios e testes altamente controlados. Este pilar examina como desenvolvemos e testamos sistemas de IA resilientes.<\/strong><\/p>\n\n\n\n Todos os sistemas, incluindo os de IA, eventualmente falham,<\/strong> independentemente do rigor no design e desenvolvimento. Sistemas de IA podem ser suscet\u00edveis a falhas inesperadas, como a incapacidade de um carro aut\u00f4nomo de reconhecer placas de pare devido a pequenos adesivos, ou a manipula\u00e7\u00e3o de um chatbot por meio de linguagem racista em redes sociais. Essas falhas revelam fragilidades nos componentes do sistema e a falta de versatilidade, mesmo em ambientes controlados. Portanto, \u00e9 crucial desenvolver sistemas de IA robustos e seguros, especialmente em contextos complexos e de alta consequ\u00eancia, como na seguran\u00e7a nacional.<\/strong><\/p>\n\n\n\n Sistemas de IA robustos e seguros s\u00e3o projetados para operar de maneira confi\u00e1vel, mesmo diante de incertezas e amea\u00e7as. <\/strong>Esses sistemas incorporam mecanismos que previnem, evitam ou mitigam os perigos identificados por modelos de amea\u00e7a espec\u00edficos. A robustez n\u00e3o elimina totalmente o risco de falhas, mas permite que os usu\u00e1rios e desenvolvedores mitiguem falhas comuns e saibam responder adequadamente quando estas ocorrerem. O desafio \u00e9 garantir que o comportamento do sistema atenda \u00e0s expectativas de qualidade, evitando comportamentos emergentes inesperados.<\/p>\n\n\n\n Para a ampla ado\u00e7\u00e3o da IA, \u00e9 fundamental garantir que esses sistemas funcionem de maneira previs\u00edvel em ambientes n\u00e3o controlados.<\/strong> Desenvolvedores precisam confiar na IA ao longo de todo o ciclo de vida do sistema, desde o design at\u00e9 a opera\u00e7\u00e3o, o que exige novas ferramentas, processos e pr\u00e1ticas para teste, avalia\u00e7\u00e3o, verifica\u00e7\u00e3o e valida\u00e7\u00e3o (TEV&V). Construir essa confian\u00e7a \u00e9 crucial, pois n\u00e3o h\u00e1 garantias de solu\u00e7\u00f5es perfeitas ou de que os conjuntos de dados de treinamento reflitam todos os aspectos dos cen\u00e1rios reais de uso.<\/p>\n\n\n\n As pr\u00e1ticas de teste e avalia\u00e7\u00e3o atuais, focadas principalmente na precis\u00e3o dos modelos em fases de avalia\u00e7\u00e3o, s\u00e3o limitadas. \u00c9 necess\u00e1rio ampliar essas pr\u00e1ticas para incluir um conjunto mais amplo de qualidades espec\u00edficas <\/strong>da miss\u00e3o, garantindo que o desempenho seja confi\u00e1vel em condi\u00e7\u00f5es incertas. A expans\u00e3o das capacidades de teste e avalia\u00e7\u00e3o ao longo de todo o ciclo de vida dos sistemas de IA permitir\u00e1 a ado\u00e7\u00e3o respons\u00e1vel dessas tecnologias, especialmente para aplica\u00e7\u00f5es de defesa e seguran\u00e7a nacional, promovendo o desenvolvimento iterativo e incremental de capacidades avan\u00e7adas de miss\u00e3o.<\/p>\n\n\n\n O SEI identificou tr\u00eas \u00e1reas espec\u00edficas de foco para avan\u00e7ar na IA Robusta e Segura para defesa e seguran\u00e7a nacional:<\/p>\n\n\n\n Existem duas abordagens principais para garantir a robustez dos sistemas de IA: proteger contra erros de modelo e contra fen\u00f4menos n\u00e3o modelados.<\/strong> <\/p>\n\n\n\n Erros de modelo:<\/strong> incluem problemas como hiperpar\u00e2metros incorretos, enquanto fen\u00f4menos n\u00e3o modelados se referem a mudan\u00e7as imprevis\u00edveis no ambiente, como altera\u00e7\u00f5es clim\u00e1ticas. Para corrigir esses erros, s\u00e3o utilizadas t\u00e9cnicas como otimiza\u00e7\u00e3o robusta e regulariza\u00e7\u00e3o.<\/p>\n\n\n\n Fen\u00f4menos n\u00e3o modelados:<\/strong> Para lidar com esses fen\u00f4menos, estrat\u00e9gias como o uso de portf\u00f3lios de modelos e monitoramento cont\u00ednuo de desempenho s\u00e3o empregadas. Embora essas t\u00e9cnicas sejam estudadas academicamente e testadas em laborat\u00f3rio, muitas ainda n\u00e3o foram implementadas em ferramentas pr\u00e1ticas para melhorar a robustez dos sistemas de IA.<\/p>\n\n\n\n Um desafio significativo para a robustez em sistemas modernos de aprendizado de m\u00e1quina (ML) \u00e9 a subespecifica\u00e7\u00e3o<\/strong>, onde m\u00faltiplas solu\u00e7\u00f5es para um problema de otimiza\u00e7\u00e3o podem apresentar desempenho similar. Essa diversidade de solu\u00e7\u00f5es pode introduzir vieses<\/strong> ocultos e falhas que resultam em comportamentos inesperados quando os modelos s\u00e3o implantados. <\/p>\n\n\n\n Outro aspecto crucial da robustez dos modelos de ML \u00e9 entender e confiar nas medidas de incerteza. <\/strong>Desvios no conjunto de dados, onde os dados operacionais s\u00e3o diferentes dos dados de treinamento, podem resultar em previs\u00f5es excessivamente confiantes e, portanto, imprecisas. Estudos mostram quedas significativas no desempenho dos modelos quando o contexto dos dados muda. T\u00e9cnicas de calibra\u00e7\u00e3o s\u00e3o usadas para ajustar essas previs\u00f5es de incerteza, permitindo que os modelos “saibam quando n\u00e3o sabem” e ajustem suas previs\u00f5es de forma mais precisa.<\/p>\n\n\n\n A robustez \u00e9 fundamental para sistemas de IA que operam em ambientes din\u00e2micos e desafiadores.<\/strong> \u00c9 necess\u00e1rio desenvolver ferramentas e pr\u00e1ticas aceitas para medir e melhorar a robustez dos sistemas de IA ao longo de todo o ciclo de vida, desde a concep\u00e7\u00e3o e avalia\u00e7\u00e3o at\u00e9 a implanta\u00e7\u00e3o e opera\u00e7\u00e3o. Isso inclui a constru\u00e7\u00e3o de robustez no design de sistemas por meio de estrat\u00e9gias como redund\u00e2ncia e o uso de portf\u00f3lios de modelos. Al\u00e9m disso, o monitoramento cont\u00ednuo do desempenho dos sistemas de IA durante a opera\u00e7\u00e3o pode ajudar a garantir que eles permane\u00e7am robustos frente a incertezas e mudan\u00e7as no ambiente.<\/strong><\/p>\n\n\n\n A seguran\u00e7a \u00e9 um aspecto cr\u00edtico no desenvolvimento de sistemas de IA robustos, especialmente para proteger contra subvers\u00f5es intencionais e falhas for\u00e7adas. <\/p>\n\n\n\n Como sistemas de software e ciberf\u00edsicos, os sistemas de IA incluem componentes de IA constru\u00eddos a partir de software e dados, al\u00e9m de outros componentes de software. Portanto, os engenheiros de IA devem aproveitar as melhores pr\u00e1ticas de seguran\u00e7a de software existentes e considerar as implica\u00e7\u00f5es espec\u00edficas de seguran\u00e7a para componentes de IA. <\/p>\n\n\n\n O aprendizado de m\u00e1quina adversaria<\/strong>l \u00e9 um campo que estuda como modelos de ML podem ser atacados e como defender-se contra esses ataques. Ataques adversariais em ML s\u00e3o classificados em tr\u00eas categorias: <\/p>\n\n\n\n Para mitigar esses ataques, diversas estrat\u00e9gias e pol\u00edticas de seguran\u00e7a precisam ser aplicadas nos sistemas onde os modelos de ML s\u00e3o implantados.<\/p>\n\n\n\n Com o avan\u00e7o da IA adversarial, os desenvolvedores e operadores de sistemas enfrentam trade-offs na defesa contra ataques. H\u00e1 um equil\u00edbrio a ser alcan\u00e7ado entre a disponibilidade de informa\u00e7\u00f5es para atacantes e defensores e as pol\u00edticas de defesa, como “fazer”, “aprender” e “revelar”. <\/p>\n\n\n\n Pesquisas recentes mostraram que modelos treinados para se comportarem corretamente podem ser mais vulner\u00e1veis a revelar informa\u00e7\u00f5es sobre seus dados de treinamento, destacando a necessidade de considerar esses trade-offs e de desenvolver ferramentas que ajudem os desenvolvedores de sistemas de IA a entender as implica\u00e7\u00f5es de seguran\u00e7a.<\/p>\n\n\n\n Al\u00e9m das novas superf\u00edcies de ataque espec\u00edficas para algoritmos e modelos de ML, o aumento da quantidade de IA em sistemas reais exige uma aten\u00e7\u00e3o especial \u00e0s implica\u00e7\u00f5es de seguran\u00e7a. Isso inclui expandir a coordena\u00e7\u00e3o de vulnerabilidades de seguran\u00e7a para cobrir novos tipos de vulnerabilidades provenientes de tecnologias de IA e melhorar as capacidades de red teaming, que s\u00e3o valiosas para entender e melhorar a seguran\u00e7a em sistemas de software tradicionais.<\/p>\n\n\n\n Para garantir a robustez e a seguran\u00e7a dos sistemas de IA, \u00e9 necess\u00e1rio ir al\u00e9m do exame dos fundamentos t\u00e9cnicos, algor\u00edtmicos e matem\u00e1ticos das t\u00e9cnicas espec\u00edficas de IA. <\/p>\n\n\n\n Do ponto de vista da Engenharia de IA, h\u00e1 uma demanda crescente por ferramentas, processos, padr\u00f5es de design e melhores pr\u00e1ticas<\/strong> que promovam o desenvolvimento e a opera\u00e7\u00e3o seguros desses sistemas. Engenheiros de IA precisam de ferramentas similares \u00e0s usadas na engenharia de software tradicional, como an\u00e1lise de c\u00f3digo est\u00e1tica e din\u00e2mica, testes fuzz e abordagens padr\u00e3o para testes de unidade, regress\u00e3o e integra\u00e7\u00e3o.<\/p>\n\n\n\n Adicionalmente, essas ferramentas devem ser integradas aos processos modernos de desenvolvimento de software, como ambientes de DevOps e MLOps<\/strong>, bem como aos sistemas de Integra\u00e7\u00e3o Cont\u00ednua e Entrega Cont\u00ednua (CI\/CD). A incorpora\u00e7\u00e3o do Monitoramento Cont\u00ednuo (CM) nos frameworks de CI\/CD<\/strong> \u00e9 essencial para avaliar e assegurar a robustez e a seguran\u00e7a dos sistemas de IA ao longo de todo o seu ciclo de vida, permitindo mitiga\u00e7\u00f5es, melhorias incrementais, retreinamento de modelos ou redesenho do sistema conforme necess\u00e1rio.<\/p>\n\n\n\n A robustez e a seguran\u00e7a s\u00e3o essenciais<\/strong> no desenvolvimento de sistemas de IA para garantir que eles alcancem os resultados desejados e mantenham qualidades<\/strong> como seguran\u00e7a, confiabilidade e \u00e9tica, especialmente no contexto do Departamento de Defesa dos EUA (DoD). Para integrar a IA, os m\u00e9todos atuais de testes e avalia\u00e7\u00f5es de desenvolvimento (DT&E) e operacionais (OT&E) precisam evoluir, considerando requisitos espec\u00edficos para sistemas robustos e seguros, assim como a necessidade de monitoramento cont\u00ednuo.<\/p>\n\n\n\n As equipes de desenvolvimento devem se engajar em ciclos rigorosos de investiga\u00e7\u00e3o, aprendizado, constru\u00e7\u00e3o e teste para identificar falhas e melhorar a robustez e resili\u00eancia dos modelos de IA. \u00c0 medida que a IA \u00e9 usada em contextos de alto risco, a import\u00e2ncia da robustez e seguran\u00e7a cresce, tornando necess\u00e1rio adotar uma abordagem multifacetada e uma cultura de experimenta\u00e7\u00e3o para garantir que os sistemas de IA alcancem seu potencial m\u00e1ximo de impacto ao longo do tempo.<\/p>\n\n\n\n <\/p>\n\n\n\n Fonte: https:\/\/www.sei.cmu.edu\/our-work\/artificial-intelligence-engineering\/<\/a><\/p>\n\n\n\n <\/p>\n","protected":false},"excerpt":{"rendered":" 32 minutos<\/small> O Software Engineering Institute (SEI) \u00e9 uma organiza\u00e7\u00e3o de pesquisa e desenvolvimento afiliada \u00e0 Universidade Carnegie Mellon, nos Estados Unidos. Fundado em 1984, o SEI \u00e9 reconhecido globalmente por seu trabalho na melhoria da engenharia de software e da seguran\u00e7a cibern\u00e9tica. O instituto se concentra no desenvolvimento de pr\u00e1ticas e tecnologias de ponta para auxiliar organiza\u00e7\u00f5es a melhorar a qualidade, a seguran\u00e7a e a efic\u00e1cia de seus sistemas de software. Entre suas contribui\u00e7\u00f5es mais not\u00e1veis est\u00e3o o desenvolvimento do modelo CMMI (Capability Continue<\/span>\u2192<\/a><\/p>\n","protected":false},"author":1,"featured_media":5814,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/posts\/6131"}],"collection":[{"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/comments?post=6131"}],"version-history":[{"count":8,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/posts\/6131\/revisions"}],"predecessor-version":[{"id":6144,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/posts\/6131\/revisions\/6144"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/media\/5814"}],"wp:attachment":[{"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/media?parent=6131"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/categories?post=6131"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.netproject.com.br\/blog\/wp-json\/wp\/v2\/tags?post=6131"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}O que muda em rela\u00e7\u00e3o a Engenharia de Software adotada at\u00e9 ent\u00e3o?<\/h2>\n\n\n\n
\n
Os Pilares do SEI para a Engenharia de IA<\/h2>\n\n\n\n
IA Centrada no Humano<\/strong><\/h3>\n\n\n\n
\n
Qual o contexto?<\/strong><\/h4>\n\n\n\n
\n
As Lacunas<\/h4>\n\n\n\n
\n
A pesquisa centrada no humano<\/h4>\n\n\n\n
Como ficam as equipes?<\/h4>\n\n\n\n
Para refor\u00e7ar<\/h4>\n\n\n\n
IA Escal\u00e1vel<\/strong><\/h3>\n\n\n\n
O conceito de Escalabildiade em Engenharia de IA<\/h4>\n\n\n\n
\n
Gest\u00e3o escal\u00e1vel de dados e modelos<\/strong><\/h4>\n\n\n\n
Escalabilidade empresarial no desenvolvimento e implanta\u00e7\u00e3o de IA<\/strong><\/h4>\n\n\n\n
Algoritmos e infraestrutura escal\u00e1veis<\/strong><\/h4>\n\n\n\n
IA Robusta e Segura<\/strong><\/h3>\n\n\n\n
\n
Robustez de Componentes e Sistemas de IA<\/h4>\n\n\n\n
Desafios de Seguran\u00e7a em Sistemas de IA Modernos<\/h4>\n\n\n\n
\n
Processos e Ferramentas para Testar, Avaliar e Analisar Sistemas de IA<\/h4>\n\n\n\n
Para finalizar<\/h4>\n\n\n\n