TFX, que significa TensorFlow Extended, és una plataforma integral d'extrem a extrem per crear canalitzacions d'aprenentatge automàtic preparats per a la producció. Proporciona un conjunt d'eines i components que faciliten el desenvolupament i el desplegament de sistemes d'aprenentatge automàtic escalables i fiables. TFX està dissenyat per abordar els reptes de la gestió i l'optimització de canalitzacions d'aprenentatge automàtic, permetent als científics de dades i als enginyers centrar-se a crear i iterar models en lloc de tractar amb les complexitats de la infraestructura i la gestió de dades.
TFX organitza el pipeline d'aprenentatge automàtic en diverses capes horitzontals, cadascuna amb un propòsit específic en el flux de treball general. Aquestes capes treballen juntes per garantir el fluix fluid de dades i els artefactes del model, així com l'execució eficient de la canalització. Explorem les diferents capes de TFX per a la gestió i optimització de pipelines:
1. Ingesta de dades i validació:
Aquesta capa s'encarrega d'ingerir dades en brut de diverses fonts, com ara fitxers, bases de dades o sistemes de streaming. TFX proporciona eines com TensorFlow Data Validation (TFDV) per realitzar la validació de dades i la generació d'estadístiques. TFDV ajuda a identificar anomalies, valors que falten i deriva de dades, assegurant la qualitat i la coherència de les dades d'entrada.
2. Preprocessament de dades:
En aquesta capa, TFX ofereix TensorFlow Transform (TFT) per realitzar el preprocessament de dades i l'enginyeria de funcions. TFT permet als usuaris definir transformacions a les dades d'entrada, com ara l'escala, la normalització, la codificació única i molt més. Aquestes transformacions s'apliquen de manera coherent tant durant l'entrenament com durant el servei, garantint la coherència de les dades i reduint el risc de desviació de les dades.
3. Model d'entrenament:
TFX aprofita les potents capacitats d'entrenament de TensorFlow en aquesta capa. Els usuaris poden definir i entrenar els seus models d'aprenentatge automàtic mitjançant les API d'alt nivell de TensorFlow o el codi personalitzat de TensorFlow. TFX proporciona eines com TensorFlow Model Analysis (TFMA) per avaluar i validar els models entrenats mitjançant mètriques, visualitzacions i tècniques de tall. TFMA ajuda a avaluar el rendiment del model i identificar possibles problemes o biaixos.
4. Validació i avaluació del model:
Aquesta capa se centra a validar i avaluar els models entrenats. TFX proporciona TensorFlow Data Validation (TFDV) i TensorFlow Model Analysis (TFMA) per dur a terme una validació i avaluació integrals del model. TFDV ajuda a validar les dades d'entrada amb les expectatives definides durant la fase d'ingestió de dades, mentre que TFMA permet als usuaris avaluar el rendiment del model en funció de mètriques i seccions predefinides.
5. Model de desplegament:
TFX admet el desplegament de models en diversos entorns, com ara TensorFlow Serving, TensorFlow Lite i TensorFlow.js. TensorFlow Serving permet als usuaris servir els seus models com a serveis web escalables i eficients, mentre que TensorFlow Lite i TensorFlow.js permeten el desplegament en plataformes mòbils i web, respectivament. TFX proporciona eines i utilitats per empaquetar i desplegar els models entrenats amb facilitat.
6. Orquestració i gestió del flux de treball:
TFX s'integra amb sistemes de gestió de flux de treball, com ara Apache Airflow i Kubeflow Pipelines, per orquestrar i gestionar tot el pipeline d'aprenentatge automàtic. Aquests sistemes proporcionen capacitats per a la programació, la supervisió i la gestió d'errors, garantint l'execució fiable de la canalització.
Organitzant el pipeline en aquestes capes horitzontals, TFX permet als científics de dades i als enginyers desenvolupar i optimitzar sistemes d'aprenentatge automàtic de manera eficient. Proporciona un enfocament estructurat i escalable per gestionar les complexitats de la ingesta de dades, el preprocessament, la formació de models, la validació, l'avaluació i el desplegament. Amb TFX, els usuaris poden centrar-se a crear models d'alta qualitat i oferir valor a les seves organitzacions.
TFX per a la gestió i optimització de pipelines inclou capes horitzontals per a la ingestió i validació de dades, preprocessament de dades, formació de models, validació i avaluació de models, desplegament de models i gestió d'orquestració i flux de treball. Aquestes capes treballen juntes per agilitzar el desenvolupament i el desplegament de canalitzacions d'aprenentatge automàtic, permetent als científics de dades i als enginyers construir sistemes d'aprenentatge automàtic escalables i fiables.
Altres preguntes i respostes recents sobre Fonaments de TensorFlow de l’EITC/AI/TFF:
- Com es pot utilitzar una capa d'incrustació per assignar automàticament eixos adequats per a una trama de representació de paraules com a vectors?
- Quin és l'objectiu de la agrupació màxima en una CNN?
- Com s'aplica el procés d'extracció de característiques en una xarxa neuronal convolucional (CNN) al reconeixement d'imatges?
- És necessari utilitzar una funció d'aprenentatge asíncrona per als models d'aprenentatge automàtic que s'executen a TensorFlow.js?
- Quin és el paràmetre del nombre màxim de paraules de l'API TensorFlow Keras Tokenizer?
- Es pot utilitzar l'API TensorFlow Keras Tokenizer per trobar les paraules més freqüents?
- Què és TOCO?
- Quina relació hi ha entre diverses èpoques en un model d'aprenentatge automàtic i la precisió de la predicció a partir de l'execució del model?
- L'API de pack neighbors a Neural Structured Learning de TensorFlow produeix un conjunt de dades d'entrenament augmentat basat en dades de gràfics naturals?
- Què és l'API pack neighbors en Neural Structured Learning de TensorFlow?
Vegeu més preguntes i respostes a EITC/AI/TFF TensorFlow Fundamentals