ifconfig pour vérifier l'adresse IP actuellement attribuée ambari-server start Start ambari services bigsql status pour vérifier que tous les services Db2 Big SQL sont en cours d'exécution bigsql start start Db2 Big SQL \connect bigsql JSqsh shell, connect to your Big SQL server en utilisant la connexion bigsql
\show tables -e | more pour afficher les informations essentielles sur tous les tableaux disponibles une page à la fois select tabschema, tabname from syscat.tables fetch first 5 rows only; Sélectionnez les 5 premières lignes from SYSCAT.TABLES \history revoir l'historique des commandes select tabschema, tabname from syscat.tables go dans la deuxième ligne entraîne l'exécution de la requête sur la première ligne.
go | more | La clause more entraîne le transfert de la sortie résultant de l'exécution de la
requête via la commande Unix / Linux more pour afficher un écran de contenu à la fois. create hadoop table test1 (col1 int, col2 varchar(5)); pour créer une table Hadoop simple \tables Afficher toutes les tables du schéma actuel insert into test1 values (1, 'one'); Insérez une ligne dans votre tableau \describe BIGSQL.TEST1 Pour afficher les métadonnées d'une table, drop table test1; to drop the table : supprimer la table hadoop fs -mkdir /user/bigsql/sampledata Créez un nouveau répertoire sur HDFS pour contenir les exemples de fichiers de données hadoop fs -ls /user/bigsql/ assurez-vous que le nouveau répertoire a été créé avec succès hadoop fs -copyFromLocal
/usr/ibmpacks/bigsql/5.0.2.0/bigsql/samples/data/ Chargez les données dans HDFS
/user/bigsql/sampledata hdfs dfs -ls / Vérifiez les autorisations de répertoire pour votre DFS \set terminator = @; Créer une fonction \set terminator = ;; Fin de la fonction de création ROW FORMAT DELIMITED :
Pour spécifier un SerDe personnalisé, définissez sur SERDE et
spécifiez le nom de classe complet d'un SerDe personnalisé et des propriétés SerDe facultatives. Pour utiliser le SerDe natif, définissez sur DELIMITED et spécifiez le délimiteur, le caractère d'échappement, le caractère nul, etc..
FIELDS TERMINATED BY ‘ \t ’ Définir un séparateur de colonnes
LINES TERMINATED BY \n ‘ Définissez un séparateur de lignes.
STORED AS TEXTFILE : Le format de fichier de la table. Les formats disponibles incluent TEXTFILE, SEQUENCEFILE, RCFILE, ORC, PARQUET et AVRO. Vous pouvez également spécifier vos propres formats d'entrée et de sortie via INPUTFORMAT et OUTPUTFORMAT. Uniquement les formats TEXTFILE,SEQUENCEFILE et RCFILE peuvent être utilisés avec ROW FORMAT SERDE et seul TEXTFILE peut être utilisé avec ROW FORMAT DELIMITED.
The ROW FORMAT La clause spécifie que les champs doivent être terminés par des tabulations ("\ t") et les lignes doivent être terminées par des caractères de nouvelle ligne ("\ n").
LOAD HADOOP USING la commande suppose qu'il s'agit d'un schéma HDFS
WITH SOURCE PROPERTIES La clause spécifie que les champs des données source sont délimités par des tabulations ("\ t").
INTO TABLE La clause identifie la table cible pour l'opération LOAD.
OVERWRITE Le mot clé indique que toutes les données existantes dans la table seront remplacées par les données contenues dans le fichier source créer une vue nommée MYVIEW qui extrait des informations sur les ventes de produits présentées dans les promotions marketing
remplir les données sales_report avec les résultats d'une requête
table de dimension de produit stockée dans un répertoire DFS externe à Hive
Créez une table Big SQL externe pour la dimension produit de
vente (sls_product_dim_external). Notez que la clause LOCATION dans chaque instruction fait référence au répertoire DFS dans lequel vous avez copié les exemples de données
Récupérez le nom du produit, la quantité et la méthode de commande des produits
vendus Les relations entre ces tables sont résolues via 3 prédicats de jointure spécifiés dans le cadre de la clause WHERE :
prod.product_number=pnumb.product_number
sales.product_key=prod.product_key
meth.order_method_key=sales.order_method_key
Modifiez la requête pour limiter la méthode de commande à un type:
Récupérez le nom du produit, la quantité et la méthode de commande des produits vendus lors de visites de vente. Ajouter. AND order_method_en='Sales visit' 1/ Pour savoir quelle méthode de vente de toutes les méthodes a le plus grand nombre de commandes, incluez une clause GROUP BY
2/ Fonction d'agrégation SOMME pour totaliser les commandes par produit et par méthode.
3/ Utiliser des alias (par exemple, en tant que produit) pour remplacer un en-tête de colonne plus lisible
Créez la table sls_product_line_lookup_array, en spécifiant un
ARRAY column for all of the product descriptions
'field.delimiter'='|' Définit le caractère que vous utilisez pour
séparer les champs source 'collection.items.delimiter'=',' Définit le caractère que vous utilisez pour séparer les champs d'élément de collection d'un type de données ARRAY ou ROW OVERWRITE Le mot clé indique que toutes les données existantes dans la table seront remplacées par les données contenues dans le fichier source Récupérer uniquement le code de la ligne de produits, la description en anglais et la description en allemand pour les lignes de produits avec des descriptions en anglais commençant par le mot «Personnel»":
REMARQUE: Lorsque vous incluez une colonne complexe dans la liste SELECT ou la clause WHERE d'une requête, vous devez spécifier
l'élément ou le champ d'intérêt individuel.
Select * from sls_product_line_lookup_array; message error
Big SQL permet aux utilisateurs de créer leurs propres fonctions SQL qui peuvent être appelées dans les requêtes. Les fonctions définies par l'utilisateur (UDF) favorisent la réutilisation du code et réduisent la complexité des requêtes . Big SQL fournit de nombreuses fonctions intégrées pour effectuer des calculs courants. Souvent, les organisations doivent effectuer des opérations personnalisées ou complexes sur leurs données qui dépassent le cadre de toute fonction intégrée
1/ Créez un UDF nommé new_final_price
La première ligne crée la fonction, qui est définie
pour prendre quatre paramètres d'entrée: quantité, unit_sale_price, discount_in_percent et sales_tax_in_percent
2/ La clause RETURNS indique qu'une seule valeur (scalaire) de type DOUBLE sera renvoyée. Le langage de la fonction est comme SQL VALUES new_final_price (1, 10, 20, 8.75)@ test function Pour calculer le prix final des articles répertoriés dans les transactions de vente dans la table SLS_SALES_FACT
inclut une clause WHERE pour limiter le jeu de résultats aux
éléments dont le prix de fichier est supérieur à 7000.
Format TEXTFILE pour stocker les données dans les tables que vous avez créées. Ce format est facile à lire.
Big SQL prend en charge plusieurs formats populaires dans l'environnement Hadoop, notamment Avro, les fichiers de séquence, RC (enregistrement en colonne) et Parquet
Parquet est un format de stockage en colonnes pour Hadoop qui est populaire en raison de sa prise en charge de schémas de compression et d'encodage efficaces Command Description useradd -u 3000 albert to add user to the OS passwd albert (example passww0rd) Set the passwords for the user CREATE ROLE BRANCH_A_ROLE; pour créer les rôles et attribuer les privilèges GRANT SELECT ON HR.STAFF TO ROLE BRANCH_A_ROLE; GRANT ROLE BRANCH_A_ROLE TO USER Albert; accorder the user albert to BRANCH_A_ROLE ALTER TABLE HR.STAFF ALTER TABLE statement with the ACTIVATE ROW ACTIVATE ROW ACCESS CONTROL; ACCESS CONTROL clause pour activer le contrôle d'accès aux lignes pour table hdfs dfs -chmod 777 /apps/hive/warehouse set the /apps/hive/warehouse directory on HDFS to 777 : donner un accès de lire écrite et executer su - hdfs Create a folder on HDFS for the user henry and set the hdfs dfs -mkdir /user/henry appropriate permissions hdfs dfs -chown henry:henry /user/henry hdfs dfs -chmod 755 /user/henry hdfs dfs -ls /user/ Vérifiez que le dossier a été correctement créé avec les autorisations appropriées hdfs dfs -mkdir /user/henry/data Create a data directory. hdfs dfs -put Copy the SLS_SALES_FACT.txt file into the data /usr/ibmpacks/current/bigsql/bigsql/samples/data/GOSALESDW directory. .SLS_SALES_FACT.txt /user/henry/data/ hdfs dfs -ls /user/henry/data Verify that the copy was successful Creation table
insertion dans la table
afficher les contenu de table
FINANCE_ACCESS: permission-name
ON HR.STAFE: table-name identifies identifie la table sur laquelle l'autorisation de ligne est créée
FOR ROWS WHERE: Indique qu'une autorisation de ligne est créée. Une autorisation de ligne spécifie une condition de recherche sous laquelle les lignes de la table sont accessibles (Une autorisation de ligne spécifie une condition de recherche sous laquelle les lignes de la table sont accessibles)
VERIFY_ROLE_FOR_USER : La fonction renvoie une valeur qui indique si les rôles associés à l'ID d'autorisation spécifié dans le premier argument sont inclus dans les noms de rôle spécifiés dans la liste du deuxième argument.
SESSION_USER: Specifies la valeur de SESSION_USER (or USER) special register
Le résultat est 1 si l'un des rôles associés à l'utilisateur identifié par SESSION_USER
ENFORCED FOR ALL ACCESS: Spécifie que l'autorisation de ligne s'applique à toutes les références de la table DISABLE or ENABLE: DISABLE Spécifie que l'autorisation de ligne doit être désactivée pour le contrôle d'accès aux lignes ENABLE Spécifie que l'autorisation de ligne doit être activée pour le contrôle d'accès aux lignes AND HR.STAFF.BRANCH_NAME = 'Branch_B': à voir Branch_B data seulement CREATE MASK : instruction pour créer des masques de colonne permettant à chaque rôle de recevoir certaines valeurs
masquées
columns SALARY_MASK: Spécifie les noms du masque de colonne
ON HR.STAFF: Identifie la table pour laquelle le masque de colonne est créé
FOR COLUMN: Identifie la colonne à laquelle s'applique le masque
RETURN CASE : Spécifie une expression CASE qui détermine la valeur
renvoyée pour la colonne
DISABLE or ENABLE
DISABLE: Spécifie que le masque de colonne doit être désactivé pour
le contrôle d'accès aux colonnes.
ENABLE spécifie que le masque de colonne doit être activé pour le
contrôle d'accès aux colonnes
ALTER TABLE déclaration avec le ACTIVATE ROW ACCESS CONTROL clause activer le contrôle d'accès aux lignes pour la table
Db2_warehouse: nom-serveur spécifie le nom de la source de données qui est en cours de définition dans la base de données fédérée
TYPE server-typeDB2/UDB: Spécifie le type de la source de données qui est définie dans la base de données fédérée et détermine l'encapsuleur par défaut utilisé.
VERSION: Spécifie la version de la source de données indiquée par nom-serveur
AUTHORIZATION remote-authorization-name: Requis uniquement pour les sources de données de la famille Db2. Spécifie l'ID d'autorisation sous lequel toutes les actions nécessaires sont effectuées au niveau de la source de données lorsque l'instruction CREATE SERVER est traitée
PASSWORD: Requis uniquement pour les sources de données de la famille Db2. Spécifie le mot de passe associé à l'ID d'autorisation représenté par nom-autorisation à distance.
OPTIONS: Spécifiez les options de configuration pour le serveur à créer. Les options que vous pouvez spécifier dépendent de la source de données de l'objet pour lequel un serveur est créé. Db2_warehouse Un nom que vous attribuez au serveur de base de données Db2. TYPE DB2 / udb: spécifie le type de serveur de source de données auquel vous configurez l'accès. VERSION 11: la version du serveur de base de données Db2 à laquelle vous souhaitez accéder. AUTHORIZATION "<userid>" ID d'autorisation au niveau de la source de données. PASSWORD "<password>" Mot de passe associé à l'ID d'autorisation au niveau de la source de données. HOST Alias de nom d'hôte «<hostname>» ou adresse IP de l'hôte de la base de données Db2 à laquelle vous souhaitez accéder. PORT '50000' Le port sur lequel la base de données Db2 à laquelle vous souhaitez accéder écoute. DBNAME 'BLUDB' Un alias pour la base de données Db2 à laquelle vous souhaitez accéder.
Bigsql: Mappe l'ID d'autorisation locale à l'ID utilisateur et au mot de passe distants. SERVER db2_warehouse: Spécifie le nom du serveur de source de données de la famille Db2 que vous avez défini dans l'instruction CREATE SERVER. REMOTE_AUTHID '<userid>': Spécifie l'ID utilisateur de connexion sur le serveur de source de données de la famille Db2 sur lequel vous mappez l'entrepôt db2. REMOTE_PASSWORD '<password>': Spécifie le mot de passe associé à «<userid>».
db2_warehouse_gosalesdw_mrk_promotion_fact: Un surnom unique qui identifie la table ou la vue Db2
db2_warehouse.gosalesdw.mrk_promotion_fact : db2_warehouse: est le nom que vous avez attribué au serveur de base de données Db2 dans l'instruction CREATE SERVER gosalesdw: est l'ID utilisateur du propriétaire de la table ou de la vue mrk_promotion_fact: est le nom de la table ou de la vue distante à laquelle vous souhaitez accéder.
