Académique Documents
Professionnel Documents
Culture Documents
AVANT
ARRIERE
4 2 5
48V PS 0
AC Input 6 3 7 AC sequencer
Fan tray
8 9 10
11 12 13
14 15
12
13
14
Dmarrage de la plateforme
[1.] Dmarrer la SSP principale (main SSP)
System Board
3 DIMM 2 1 0 Bank 3
Depuis la main SSP, verifier que le failover est actif et quil ny a pas de problme :
sspname:platform_name% showfailover sspname:platform_name% power [3.] Allumer le cabinet : AC Input Modules et squenceurs
Attendre que les Control Boards (CBs) soient dmarres et communiquent avec la SSP (clignotement des LEDs vertes S/W toutes les secondes) ; attendre que les ventilateurs redescendent un niveau normal.
[4.] Lancer un power on all depuis la main SSP sspname:platform_name% power -on -all [5.] Vrifier que les priphriques externes (baies de disques, etc.) sont allums. [6.] Dmarrer chacun des domains par un bringup -A
Depuis la version 3.3 de SSP, la commande bringup dispose dun timeout de 10 minutes lorsquelle attend une rponse
Arrt de la plateforme
[1.] Arrt de Solaris sur chacun des domaines : # shutdown -y -g0 -i0 [2.] Excuter un power B off depuis la main SSP : sspname:platform_name% power -B -off [3.] Attendre que les breakers des AC Input Power passent sur OFF, que les fans sarrtent, que les CBs steignent. [4.] Vrifier par la commande power : sspname:platform_name% power [5.] Arrter la spare SSP : spare_ssp# sync; sync; shutdown -y -g0 -i5 [6.] Arrter la main SSP main_ssp# sync; sync; shutdown -y -g0 -i5
6 5 DIMM
Blacklist
Un bringup est ncessaire pour que les modifications apportes au fichier soient prises en compte.
SBus 0,0
# vi /var/opt/SUNWssp/etc/nom_plateforme/blacklist proc <system-board>.<proc-number> sysbd <system-bd number> scard <sb>.<ioctl>.<slot> mem <sb> mgroup <sb.bank> cplane <half-centerplane> pc <sb>.<pc> xdb <sb>.<xdb> cic <sb>.<cic>
Processeur System Board Carte SBus Toute la mmoire dune SB Banc Mmoire Moiti du Centerplane Port Controller XDB (CrossFire Data Buffer) CIC (Coherency Interface Controller)
CPU 3
CPU 2
CPU 1
CPU 0
SBus 1,0
Alimentations :
ssp% power ssp% power off [-f] | on [-cb 0|1] [-d|-q]
Mmo E10000
Informations
Liste et tat des composants
Hexa Binaire Informations sur la plateforme :
ssp% hostinfo [-h][-p][-F][-t][-S] -h liste les System Boards prsentes -p tat des composants de la plateforme -F tat des ventilateurs -t -S
Numro de la SB (0 15) : : : : : : : : 0 1 2 3 4 5 6 7 1000 1001 1010 1011 1100 1101 1110 1111 : : : : : : : : 8 9 10 11 12 13 14 15
Numro du CPU (0 3)
inutilis
0 = CPU 1 = I/O
Ventilateurs, alimentations :
ssp% power ssp% fan
Messages / Logs
Board 0 1 2 3 4 5 6 7 CPU 0 00 04 08 0c 10 14 18 1c 1 01 05 09 0d 11 15 19 1d 2 02 06 0a 0e 12 16 1a 1e 3 03 07 0b 0f 13 17 1b 1f 0 20 24 28 2c 30 34 38 3c 1 21 25 29 2d 31 35 39 3d CPU 2 22 26 2a 2e 32 36 3a 3e 3 23 27 2b 2f 33 37 3b 3f Board 8 9 10 11 12 13 14 15
POST :
ssp% more $SSPVAR/adm/nom_domaine/post/postMMDD.HHMM.log
Logs de la SSP :
ssp% more /var/adm/messages
I/Os : Exemple :
SSP
/sbus@41 4 1 0 1 0 0 0 1 SysIO / Psycho 0 : inutilis
SBus 0 / PCI 0
Version
Hexa Binaire
ssp% pkginfo -l SUNWsspr
0 Type
Numro de la SB (0 15) 0000 0001 0010 0011 0100 0101 0110 0111 : : : : : : : : 0 1 2 3 4 5 6 7 1000 1001 1010 1011 1100 1101 1110 1111 : : : : : : : : 8 9 10 11 12 13 14 15
Packages
SUNWsspdf SUNWsspdo SUNWsspdr SUNWsspid SUNWsspmn SUNWsspob SUNWsspop SUNWssppo SUNWsspr SUNWsspue SUNWuessp SUNWsspfp : : : : : : : : : : : : data files SSP domain utilities DR/ADR IDN man pages OBP core utilities POST SSP, root user environment answerbook flash prom upgrade
inutilis
0 = CPU 1 = I/O
1 :
SBus 1 / PCI 1
Pour le SBus, chaque SysIO correspond deux slots (U1 et U3 pour SBus 0, U5 et U11 pour SBus 1)
Board 0 1 2 3 4 5 6 7 SysIO 0 40 44 48 4c 50 54 58 5c 1 41 45 49 4d 51 55 59 5d 0 60 64 68 6c 70 74 78 7c SysIO 1 61 65 69 6d 71 75 79 7d Board 8 9 10 11 12 13 14 15
(ssp startup files, snmpd config files) (logfiles) (executables, host objects, control board objects, man)
Mmo E10000
AGD 2002/2009
4/21
Mmo E10000
AGD 2002/2009
5/21
Sur chacun des domaines : 1- Modifier le fichier /etc/ssphostname 2- Killer le process cvcd 3- Relancer cvcd Solaris 2.6 : /sbin/cvcd Solaris 7 et sup .: /platform/SUNW,Ultra-Enterprise-10000/lib/cvcd 4- Si besoin, mettre jour /etc/syslog.conf
Sauvegarde / restauration
ssp% $SSPOPT/bin/ssp_backup rpertoire_de_backup ssp% $SSPOPT/bin/ssp_restore rpertoire_de_backup
Console
Network console
ssp% domain_switch nom_domaine ssp% $SSPOPT/bin/netcon [d|f|g|l|r] [e esc_char] ~# ~. ~@ ~^ ~? ~= ~& ~*
Break vers lOBP ou kadb. Dconnexion et sortie de la session netcon. Unlocked Write permission. Libre write permission. Affiche ltat de toutes les sessions console ouvertes et le comm. path utilize (rseau / JTAG). Bascule le comm.. path entre rseau TCP/IP et JTAG (et rciproquement). Locked Write permission. Issue. Locked Write permission ; termine toutes les autres sessions ouvertes, et empche louverture de nouvelles.
Domaines
Cration / suppression / dmarrage
ssp% domain_create -d nom_domaine -b liste_SBs -o version_OS [-p nom_plateforme] ssp% domain_remove -d nom_domaine ssp% bringup A on|off
Basculer de SSP :
sspname:platform_name% setfailover force
dtermine si un domaine est up ou down lie le domaine pour former ou agrandir un InterDomain Network dlie le domaine dun InterDomain Network interruption de processeur, gnre un core dump reset un domaine hangu
AGD 2002/2009 7/21
Mmo E10000
PROM
Emplacement du template :
$SSPVAR/.ssp_private/eeprom_save/eeprom.image.nom_domaine
Dmons
Dmons SSP
cbs : Control Board Server
hpost
Niveaux :
7 16 17 24 32 64 127
Niveau minimal : probe du matriel et de la conf, pas de test Niveau par dfaut : tests basiques des CPUs, de la mmoire et des cartes I/O Tests bbsram CPUs Tests DTAG, mmoire et I/O, CPUs, xcall, JTAG interrupt, JTAG chain_lengths
Yet more DTAG & memory tests, I/O ecc tests.
Dmarre au boot de la SSP ; envoie des commandes au dmon cbe (Control Board Executive) sur la CB. Fichiers de configuration :
$SSPVAR/.ssp_private/cb_config $SSPVAR/.ssp_private/cb_port
Le plus haut niveau normal ; tests mmoire et DTAG plus pousss, coherence du cache, Niveau maximal Excution automatique lors du bringup ; -l pour le niveau Domaine arrt sous peine de le planter !!! Exemple :
ssp% hpost e71
Commandes associes :
ssp% cb_reset ssp% cb_prom
Excution :
ssp% bringup -A on [-lX] ssp% hpost [-lX]
Reset et reboot une CB fige ou dont lIP a chang (neutre pour les domaines). Update de la flash PROM des CBs.
Charge les scripts de dtection sur la CB via cbs ; vnements transmis par snmp Fichiers de configuration :
$SSPVAR/etc/nom_plateforme/edd.erc $SSPVAR/etc/nom_plateforme/nom_domaine/edd.erc $SSPVAR/etc/nom_plateforme/edd.emc
Cas particuliers : Ajouter, dans le fichier /$SSPVAR/nom_plateforme/nom_domaine/.postrc : no_scards_ok pour une SB sans carte I/O no_memory_ok pour une SB sans mmoire
configuration pour la plateforme configuration pour les domaines liste les vnements surveills arrt/relance de la dtection
Commandes associes :
DR (Dynamic Reconfiguration)
Pr-requis
Pas dinterleaving entre SB pour la mmoire : mem_board_interleave_ok absente de $SSPVAR/etc/nom_plateforme/nom_domaine/.postrc Paramtrage OBP pour Solaris 2.5.1 et 2.6 : 2.5.1 : dr-max-mem 0 dr-max-mem = 0 ou 1 ou 2 2.6: Paramtrage /etc/system (domaine) pour Solaris 7 et sup. :
set kernel_cage_enable=1
Fournit laccs aux fichiers de conf de la SSP aux clients qui en ont besoin.
machine_server
Gre la communication entre SSP et domaines (une instance par domaine) ; relais entre la domaine console et le dmon cvcd (domaine up) ou lOBP (domaine down).
obp_helper : mulateur nvram, IDprom et TOD snmpd
Commandes
Ajout dune board via addboard :
ssp% showusage -b numro_board -r CPU ssp% addboard -b numro_board -d nom_domaine -r nombre_essai -t attente [-q] Retrait dune board via deleteboard : ssp% showusage -b numro_board -r CPU ssp% deleteboard -b numro_board -d nom_domaine -r nombre_essai -t attente [-q] Attachement dune board via dr : ssp% domain_switch nom_domaine ssp% dr dr> init_attach system_board dr> complete_attach system_board dr> reconfig dr> exit
Mmo E10000 AGD 2002/2009 8/21
Gnre les traps SNMP pour les vnements dtects par cbe suivant les rgles de edd. ; envoie les traps vers le dmon straps.
straps
/etc/ssphostname
AGD 2002/2009 9/21
cbe
[root@ultra45] 99_MISC> redx -lc redxl> dumpf load Edd-Arbstop-Dump-09_06_11_16_59 Created Thu Jun 11 16:59:46 2009 By hpost v. 3.5 Oct 21 2002 16:04:45 executing as pid=8059 On ssp name = ASR-SSP0. HOSTNAME = DIDON platform_name = E-MRBC-MBHG Boardmask = 31AF2 -D option Edd-Arbstop-Dump There were 0 errors encountered while creating this dump.
Sexcute sur la CB ; est lanc au dmarrage de la plateforme Surveille et gre le matriel de la plateforme sous le contrle de la SSP (demon cbs). Charge les fichiers suivants (prsents sur la SSP) au boot : /tftpboot/xxxxxxxxxx image cbe numro de port /tftpboot/xxxxxxxxxx.cb_port (xxxxxxxxxx : adresse IP de la CB, en hexa)
Conserver les 4 derniers caractres (hexa) ; le premier chiffre (mode dopration) est sans intrt ici.
1 0 15 0 14 0 13 1 12 1 11 0 10 A 1 9 0 8 1 7 1 6 F 1 5 1 4 0 3 0 2 2 1 1 0 0
Recordstop
Se produit dans les cas suivants : - erreur corrigible ou incorrigible dtecte sur le PSI (Port/System Interface) dun XDB. - erreur corrigible entre des XDBs, dtecte par le centerplane - erreur corrigible lors dun data transfert sur le LDAT ou sur le XBAR entre des XDBs Les conditions conduisant un Recordstop peuvent tre dtectes par les composants suivants :
PC MC CIC XDB Centerplane
Ici, le domaine est compos des system boards 12, 11, 9, 7, 6, 5,4 et 1.
Arbstops
Se produit lors dune erreur fatale dtecte par le matriel. - tout ASIC dune SB peut dtecter une erreur fatale - lASIC demande un Arbstop au LAARB de la SB - le LAARB de la SB transmet la requte tous les GAARBs du centerplane - les GAARBs du centerplane gnrent un Arbstop pour tous les LAARBs et les ASICs du centerplane. - les LAARBs gnrent finalement un Arbstop pour tous les ASICs de la SB.
Xfstate
Est gnr en cas de problme lors des POSTs.
Lancement
[root@ultra45]# redx lc redx>
Commandes de base
dumpf load <fichier> shscan all wfail wfail s wfail -B help exit
charge un fichier dump Arbstop, Record-Stop ou xfstate affiche tous les ASICs du domaine affiche le contenu des registres affiche les composants en faute idem, dans un format utilisable dans le fichier blacklist affiche de laide quitte redx
Boardmasks Permet de dterminer les SBs qui composent le domaine ayant connu le problme.
Mmo E10000 AGD 2002/2009 10/21 Mmo E10000 AGD 2002/2009 11/21
Documentation
Plateforme
805-2917-16 805-3827-11 805-2913-13 805-2914-15 805-4651-12 805-7188-11 806-1861-11 806-3759-10 806-4561-11 806-5078-10 806-5605-10 806-5977-10 806-6759-10 805-7189-12 805-7190-15 806-7896-12 Sun Enterprise 10000 System Service Manual Sun Enterprise 10000 System Service Processor Quick Reference Sun Enterprise 10000 System Read Me First Sun Enterprise 10000 System Site Planning Guide Sun Enterprise 10000 System Hardware Installation and De-Installation Guide Sun Enterprise 10000 System Power Patch Note Sun Enterprise 10000 System Dual Grid Power Option Installation Guide Sun Enterprise 10000 System Dual Grid Power Option Service Manual Sun Enterprise 10000 6x00/5x00/4x00/3x00 Systems and CPU/Memory Boards Cleaning Guide Sun Enterprise 10000 System Board Installation Instructions Sun Enterprise 10000 6x00/5x00/4x00/3x00 System and CPU/Memory Boards Thermal Pad Installation Guide Sun Enterprise 10000 System Centerplane Installation Sun Enterprise 10000 System SBus Bracket Kit Installation Instructions Sun Enterprise 10000 System Board Installation and Configuration Guide Sun Enterprise 10000 I/O Area Installation and Configuration Guide 501-6009/.../501-5816 Processor Module Patch Requirements for a Sun Enterprise 10000 System
Sun Enterprise Server Alternate Pathing 2.3 Reference Manual Sun Enterprise Server Alternate Pathing 2.3 Installation and Release Notes Sun Enterprise Server Alternate Pathing User's Guide Sun Enterprise Server Alternate Pathing Reference Manual Sun Enterprise Server Alternate Pathing User's Guide Sun Enterprise Server Alternate Pathing 2.1 Reference Manual
Capacity On Demand
806-2190-10 806-2191-10 806-2283-10 Sun Enterprise 10000 Capacity on Demand 1.0 Administrator Guide Sun Enterprise 10000 Capacity on Demand 1.0 Reference Manual Sun Enterprise 10000 Capacity on Demand 1.0 Installation Guide and Release Notes
Domaines
806-4120-10 806-4121-10 Sun Enterprise 10000 Domain Error Messages Sun Enterprise 10000 Domain Configuration Guide
SSP
InfoDoc 21628 / Solution 204399 Matrice versions SSP
806-7614-10 806-7613-10 806-7617-10 806-7616-10 806-4871-10 806-4870-10 806-4123-10 806-5697-10 806-2888-10 806-2887-10 806-4123-10 806-4122-10 806-1501-10 806-1500-10 805-7520-10 805-7519-10
Sun Enterprise 10000 SSP 3.5 Reference Manual Sun Enterprise 10000 SSP 3.5 User Guide Sun Enterprise 10000 Dynamic Reconfiguration Reference Manual Sun Enterprise 10000 Dynamic Reconfiguration User Guide Sun Enterprise 10000 SSP 3.4 Reference Manual Sun Enterprise 10000 SSP 3.4 User Guide Sun Enterprise 10000 Dynamic Reconfiguration Reference Manual Sun Enterprise 10000 Dynamic Reconfiguration User Guide Sun Enterprise 10000 SSP 3.3 Reference Manual Sun Enterprise 10000 SSP 3.3 User Guide Sun Enterprise 10000 Dynamic Reconfiguration Reference Manual Sun Enterprise 10000 Dynamic Reconfiguration User Guide Sun Enterprise 10000 SSP 3.2 Reference Manual Sun Enterprise 10000 SSP 3.2 User Guide Sun Enterprise 10000 SSP 3.1.1 Reference Manual Sun Enterprise 10000 SSP 3.1.1 User Guide
Alternate Pathing
806-4150-10 806-4151-10 806-4152-10 806-1933-10
Mmo E10000
Sun Enterprise Server Alternate Pathing 2.3.1 User Guide Sun Enterprise Server Alternate Pathing 2.3.1 Reference Manual Sun Enterprise Server Alternate Pathing 2.3.1 Installation and Release Notes Sun Enterprise Server Alternate Pathing 2.3 User Guide
AGD 2002/2009 12/21 Mmo E10000 AGD 2002/2009 13/21
Annexe - LEDs
System Board LEDs
LABEL 3.3VDC COLOR DESCRIPTION
Yellow 3.3VDC is present The SB is NOT safe to service Yellow 5VDC is present The SB is NOT safe to service
5VDC
VDC CORE
5VDC HK
Green
3.3VDC HK
Green
HK S/W
Green
Displays the state of a designated bit position on the power control JTAG ring
7 6 5 4 3 2 1 0
Green
Mmo E10000
AGD 2002/2009
14/21
Mmo E10000
AGD 2002/2009
15/21
COLOR
DESCRIPTION
Yellow 3.3VDC is present on the System board The SB is NOT safe to service
S/W 0 - S/W 7 Green Programmable bits that indicate the state of an 8-bit register in the SPARClite address space S/W 0 - S/W 6 Green Displays a walking 1s pattern when the Control Board Executive is operating normally S/W 7 Green Indicates the network is operational
5VDC HK
Green 5.0VDC Housekeeping power is present Green 3.3VDC Housekeeping power is present
3.3VDC HK
HK S/W
Green Displays the state of a designated bit position on the power control JTAG ring
Ethernet transmit status Ethernet receive status Ethernet link status Ethernet collision status
5VDC HK
Green 5.0VDC Housekeeping power is present Green 3.3VDC Housekeeping power is present
3.3VDC HK
5VDC
Yellow 5VDC is present on the CB The CB is NOT safe to service Green 5VDC Fan Control power is present Yellow Peripheral Cabinet power control is present
5VDC FAN
5VDC PER
Mmo E10000
AGD 2002/2009
16/21
Mmo E10000
AGD 2002/2009
17/21
Annexe - ASICS
ASIC : Application Specific Integrated Circuit CIC .............. GAARB ............ GDARB ............ GAB .............. GAMUX ............ GDB .............. GDMUX ............ GDPATH (GDB) ..... LAARB ............ LAB .............. LDARB ............ LDAT ............. LDPATH (LDB) ..... LDMUX ............ MC ............... PC ............... PSI .............. PUP .............. UDB .............. XARB ............. XBAR ............. XDB .............. XMUX ............. Coherency Interface Controller Global Address ARBitration function or interrupts Global Data ARBitration function or interrupts Global Address Bus or buses (Centerplane) Global Address MUltipleXer (multiplexer set making up GAB) Global Data Bus (Centerplane) Global Data MUltipleXer (multiplexer set making up XBAR Global Data PATH Local Address ARBitration function Local Address Bus (System Board local) Local Data ARBitration function Local DATa-side interface Local Data Path (System Board Local) Local Data MUltipleXer (System Board local) Memory Controller Port Controller Port Side Inteface Pack/Unpack Memory Data XMux UltraSPARC Data Buffer Xfire Arbiter ASIC, or its function Xfire Interconnect = 16x16 Global Data Interconnect (Centerplane) Xfire Data Buffer Xfire Address or Data MUltipleXer functio nor
Mmo E10000
AGD 2002/2009
18/21
Mmo E10000
AGD 2002/2009
19/21
Fin du document
Mmo E10000
AGD 2002/2009
20/21